Модификация объективной метрики качества SSIM w для оценки искажений при временном маскировании

Секция «Компьютерная графика»

Модификация объективной метрики качества 88!М для оценки искажений при временном маскировании1

Д. Л. Куликов

Московский Государственный Университет им. М. В. Ломоносова, факультет ВМиК, кафедра АСВК, лаборатория Компьютерной Графики и Мультимедиа

ё1шПкоу@ graphics.cs.msu.ru

Введение

Задача оценки качества работы алгоритмов маскирования искажений очень важна, так как при разработке методов и алгоритмов обработки не всегда возможно проводить экспертную оценку и поэтому необходим критерий для автоматической оценки качества. При этом, поскольку большинство методов маскирования не восстанавливают исходную информацию, а заменяют наиболее похожей, при разработке метрики качества важно уделять внимание не близости маскированного и исходного неискаженного видео, а визуальной заметности артефактов. Алгоритмы оценки качества видео и изображений основаны на имитации системы человеческого зрения [1]. Поскольку система человеческого зрения на данный момент изучена не полностью, то не существует методов оценки качества, полностью соответствующим человеческому восприятию.

Для оценки качества работы алгоритмов обработки изображений и видео обычно используют метрики Р8КЯ[2] и 881М[3].

Р8КЯ оценивает фактически среднеквадратичное отклонение в логарифмическом масштабе.

основные вида искажений: искажения структуры.

Как показывают эксперименты, метрика 881М имеет более высокую степень корреляции с субъективными (экспертными) оценками качества. При этом для задачи оценки артефактов, возникающих из-за ошибок кодека или передачи закодированного сигнала, и маскированных при помощи различных методов данная оценка не всегда адекватна.

Проблемы существующего подхода

Для анализа методов обработки видео последовательностей также используют метрику 881М. При этом для получения среднего значения метрики для всей последовательности обычно усредняют значения метрики для отдельных кадров. В результате анализа адекватности данной метрик при обработке видео последовательностей было выяснено, что при среднем показателе ранкового коэффициент тау Кендалла[4] для метрики 881М по сравнению с экспертной оценкой т = 0.67 для некоторых векторов из тестового набора показатель т = 0.42. Характерной особенностью этих векторов являлось слабое плавное движение кадра.

Низкая степень корреляции появляется из-за того, что при использовании временных методов маскирования, вносящих искажения именно временного характера, как то непостоянство маскируемой области во времени, метрики 881М высоко, хотя визуально артефакты заметны и экспертная оценка низкая. При этом визуальная заметность искажений во временной области при одинаковых условиях превышает заметность искажений в пространственной области, поэтому предложен алгоритм адаптации с учетом временных особенностей.

Общая схема алгоритма

Поэтому было предложено при оценке степени близости двух видео последовательностей с использованием метрики 881М дополнительно оценивать постоянство характеристик маскируемой области на основе анализа силы отклонения векторов в исследуемых блоках по отношению к опорному кадру для исходной и обработанной видео последовательности.

Общая схема алгоритма показана на 0. На первом шаге алгоритма вычисляется метрика 881М для двух кадров - исходного и обработанного. Далее анализ однородности векторного поля для исходной видео последовательности и для обработанной. На втором шаге выполняется вычисление коэффициента искажения на основе проведенного анализа векторов движения. На третьем шаге выполняется вычисление адаптированной метрики 88!МБ для кадра.

Схема вычисления метрики ЗБГМВ для оценки одного кадра

Анализ однородности векторного поля

Для оценки однородности видеопоследовательности во временной области при помощи механизма использования векторов движения предлагается использовать следующий метод. В качестве коэффициента однородности используется отношения среднего соответствия вектора движения для оцениваемого блока с векторами движения для соседних блоков с аналогичным значением для вектора движения соответствующего блока в опорном (предыдущем) кадре. Для вычисления коэффициента однородности векторного поля в анализируемом блоке используется следующий алгоритм:

ТН V ту3 св(ту1)

о х =& св(ту1

ту3 св (ту1)

^Г -тУ3,

ТН \\ ту3св(ту1)

и о у =у

ту3 св (ту1)

р (ту1) =

оТН - «V тг - ту.

+ 1°у - ал \\rnVy - туу)

Далее на основе полученных коэффициентов вычисляется коэффициент искажения.

Вычисление коэффициента искажения и значения метрики

При оценке заметности маскированного блока (области) во временной области необходимо проводить анализ относительно исходного неискаженного видео, так как даже сильные изменения во временной области могут быть вызваны не методом маскирования, а являются внутренними характеристиками видео последовательности. Поэтому при вычислении коэффициента искажения используется отношение коэффициента соответствия для блока исходной видеопоследовательности Bf и обработанной - В§:

ш1и( р (Вг ), р (^ )) тах(р(В, ), рВ ))

Далее производится вычисления значения метрики 881МВ для исследуемого блока на основе значения метрики 881М и вычисленного коэффициента искажения:

ШМВ(В) = а88Ш(В) + (1 - а)1 (В)

Для вычисления значения метрик для всего кадра используется среднее значение метрики для всех блоков/пикселей. Для получения значения метрики для всей последовательности используется среднее значение метрики для всех кадров последовательности.

Сравнение SSIM и SSIMB

Для оценки адекватности метрики SSIMB человеческому восприятию и сравнению ее с классической метрикой SSIM используется следующий подход: проводится экспертная оценка качества обработки по методике SAMVIQ [5]. Для оценки адекватности предлагается сравнивать результаты экспертной оценки и объективных метрик при помощи ранкового коэффициент тау Кендалла т. На 0 показано сравнение средних коэффициентов т значений трех метрик PSNR, SSIM и SSIMA с экспертными оценками качества видео последовательностей, обработанных различными методами маскирования.

□ tau 0.6786 0.6964 0.7143

Сравнение метрик PSNR, SSIM и SSIMB Как видно из графика, предложенный подход адаптации метрики SSIM повышает адекватность данной метрики.

Заключение

В данной статье дана оценка адекватности объективных метрик качества PSNR и SSIM применительно к задаче маскирования искажений и предложен подход к адаптации метрики SSIM к искажениям в межкадровой области для оценки качества работы методов временного маскирования на основе анализа гладкости векторного поля между кадрами при помощи механизма векторов движения. Предложенный

подход повысил степень корреляции между значениями метрики и экспертной оценкой при сравнении с метрикой PSNR и исходной метрикой SSIM.

Список литературы

[1] Marcus J. Nadenau, StefanWinkler, David Alleysson and Murat Kunt. Human Vision Models for Perceptually Optimized Image Processing - A Review. Submitted to Proceedings of IEEE, September 2000.

[2] B. Girod. What&s wrong with mean-squared error? Digital Images and Human Vision, A. B. Watson, Ed. Cambridge, MA: MIT Press C. 207-220, 1993.

[3] Zhou Wang, Alan Conrad Bovik, Hamid Rahim Sheikh, Eero P. Simoncelli. Image Quality Assessment: From Error Visibility to Structural Similarity. IEEE Transactions on Image Processing, VOL. 13, NO. 4, April 2004.

[4] H. Abdi, "The kendall rank correlation coefficient," in Encyclopedia of Measurement and Statistics, N. J. Salkind, Ed. Thousand Oaks (CA), USA: Sage, 2007.9

[5] F. Kozamernik, V. Steinmann, P. Sunna, E. Wyckens. "SAMVIQ - a new EBU methodology for video quality evaluations in multimedia". SMPTE Journal, April 2004.