Структурное сходство - Structural similarity

«SSIM» перенаправляется сюда. Для использования в других целях см. SSIM (значения).

В структурное сходство показатель индекса (SSIM) - это метод прогнозирования воспринимаемого качества цифрового телевидения и кинематографических изображений, а также других видов цифровых изображений и видео. SSIM используется для измерения сходства между двумя изображениями. Индекс SSIM - это полная справочная метрика; другими словами, измерение или прогноз Качество изображения основан на исходном несжатом или свободном от искажений изображении в качестве эталона.

SSIM - это модель, основанная на восприятии, которая рассматривает деградацию изображения как воспринимаемое изменение в структурной информации, а также включает важные явления восприятия, включая маскирование яркости и маскирование контраста. Разница с другими методами, такими как MSE или же PSNR заключается в том, что эти подходы оценивают абсолютные ошибки. Структурная информация - это идея о том, что пиксели имеют сильные взаимозависимости, особенно когда они пространственно близки. Эти зависимости несут важную информацию о структуре объектов визуальной сцены. Маскирование яркости - это явление, при котором искажения изображения (в этом контексте) имеют тенденцию быть менее заметными в ярких областях, в то время как маскирование контраста - это явление, при котором искажения становятся менее заметными там, где есть значительная активность или «текстура» в изображении.

История

Предшественник SSIM назывался Универсальный индекс качества (UQI) или Индекс Ванга – Бовика, который был разработан Чжоу Ван и Алан Бовик в 2001 году. Это развилось благодаря их сотрудничеству с Хамидом Шейхом и Ээро Симончелли, в текущую версию SSIM, опубликованную в апреле 2004 г. в IEEE Transactions по обработке изображений.^[1] В дополнение к определению индекса качества SSIM, в документе приводится общий контекст для разработки и оценки показателей качества восприятия, включая связь с визуальной нейробиологией и восприятием человека, а также прямую проверку индекса по сравнению с оценками людей.

Базовая модель была разработана в Лаборатории инженерии изображения и видео (LIVE) на Техасский университет в Остине и доработан совместно с лабораторией компьютерного зрения (LCV) в г. Нью-Йоркский университет. Дальнейшие варианты модели были разработаны в Лаборатории графических и визуальных вычислений в г. Университет Ватерлоо и были проданы на коммерческом рынке.

Впоследствии SSIM получил широкое распространение в сообществе обработки изображений. Документ SSIM 2004 года цитировался более 20 000 раз, согласно Google ученый,^[2] что делает ее одной из самых цитируемых статей в области обработки изображений и видеотехники. Было предоставлено Общество обработки сигналов IEEE Премия за лучшую работу за 2009 год.^[3] Он также получил Общество обработки сигналов IEEE Награда за устойчивое воздействие за 2016 год свидетельствует о том, что статья имела необычно высокое влияние в течение как минимум 10 лет после публикации.

Алгоритм

Индекс SSIM рассчитывается для различных окон изображения. Расстояние между двумя окнами ${\displaystyle x}$ и ${\displaystyle y}$ обычного размера N×N является:^[4]

$${\displaystyle {\hbox{SSIM}}(x,y)={\frac {(2\mu _{x}\mu _{y}+c_{1})(2\sigma _{xy}+c_{2})}{(\mu _{x}^{2}+\mu _{y}^{2}+c_{1})(\sigma _{x}^{2}+\sigma _{y}^{2}+c_{2})}}}$$

с:

• ${\displaystyle \scriptstyle \mu _{x}}$ то средний из ${\displaystyle \scriptstyle x}$;
• ${\displaystyle \scriptstyle \mu _{y}}$ то средний из ${\displaystyle \scriptstyle y}$;
• ${\displaystyle \scriptstyle \sigma _{x}^{2}}$ то отклонение из ${\displaystyle \scriptstyle x}$;
• ${\displaystyle \scriptstyle \sigma _{y}^{2}}$ то отклонение из ${\displaystyle \scriptstyle y}$;
• ${\displaystyle \scriptstyle \sigma _{xy}}$ то ковариация из ${\displaystyle \scriptstyle x}$ и ${\displaystyle \scriptstyle y}$;
• ${\displaystyle \scriptstyle c_{1}=(k_{1}L)^{2}}$, ${\displaystyle \scriptstyle c_{2}=(k_{2}L)^{2}}$ две переменные для стабилизации деления со слабым знаменателем;
• ${\displaystyle \scriptstyle L}$ то динамический диапазон значений пикселей (обычно это ${\displaystyle \scriptstyle 2^{\#bits\ per\ pixel}-1}$);
• ${\displaystyle \scriptstyle k_{1}=0.01}$ и ${\displaystyle \scriptstyle k_{2}=0.03}$ по умолчанию.

Компоненты формулы

Формула SSIM основана на трех сравнительных измерениях между выборками ${\displaystyle x}$ и ${\displaystyle y}$: яркость (${\displaystyle l}$), контраст (${\displaystyle c}$) и структура (${\displaystyle s}$). Индивидуальные функции сравнения:^[4]

$${\displaystyle l(x,y)={\frac {2\mu _{x}\mu _{y}+c_{1}}{\mu _{x}^{2}+\mu _{y}^{2}+c_{1}}}}$$

$${\displaystyle c(x,y)={\frac {2\sigma _{x}\sigma _{y}+c_{2}}{\sigma _{x}^{2}+\sigma _{y}^{2}+c_{2}}}}$$

$${\displaystyle s(x,y)={\frac {\sigma _{xy}+c_{3}}{\sigma _{x}\sigma _{y}+c_{3}}}}$$

с, в дополнение к приведенным выше определениям:

• ${\displaystyle c_{3}=c_{2}/2}$

Тогда SSIM представляет собой взвешенную комбинацию этих сравнительных показателей:

${\displaystyle {\text{SSIM}}(x,y)=\left[l(x,y)^{\alpha }\cdot c(x,y)^{\beta }\cdot s(x,y)^{\gamma }\right]}$

Установка весов ${\displaystyle \alpha ,\beta ,\gamma }$ к 1 формулу можно привести к приведенной выше форме.

Математические свойства

SSIM удовлетворяет свойствам неотрицательности, тождественности неразличимых элементов и симметрии, но не неравенству треугольника, и, следовательно, не является функция расстояния. Однако при определенных условиях SSIM может быть преобразован в нормированную корневую меру MSE, которая является функцией расстояния.^[5] Квадрат такой функции не выпуклый, а локально выпуклый и квазивыпуклый,^[5] сделать SSIM реальной целью для оптимизации.

Применение формулы

Для оценки качества изображения эта формула обычно применяется только к яркость, хотя его также можно наносить на цвет (например, RGB ) значения или хроматические (например, YCbCr ) значения. Результирующий индекс SSIM представляет собой десятичное значение от -1 до 1, а значение 1 доступно только в случае двух идентичных наборов данных и, следовательно, указывает на полное структурное сходство. Значение 0 указывает на отсутствие структурного сходства. Для изображения он обычно вычисляется с использованием скользящего гауссова окна размером 11x11 или блочного окна размером 8x8. Окно можно перемещать попиксельно на изображении, чтобы создать карту качества изображения SSIM. В случае оценки качества видео,^[6] Авторы предлагают использовать только подгруппу возможных окон, чтобы упростить расчет.

Варианты

Мультимасштабный SSIM

Более продвинутая форма SSIM, называемая Multiscale SSIM (MS-SSIM).^[4] проводится в нескольких масштабах посредством процесса нескольких этапов подвыборки, напоминающего многомасштабную обработку в ранней системе технического зрения. Было показано, что он работает одинаково хорошо или лучше, чем SSIM, с различными базами данных субъективных изображений и видео.^[4][7][8]

Трехкомпонентный SSIM

Трехкомпонентный SSIM (3-SSIM) - это форма SSIM, которая учитывает тот факт, что человеческий глаз может более точно видеть различия на текстурированных или краевых областях, чем на гладких областях.^[9] Результирующая метрика вычисляется как средневзвешенное значение SSIM для трех категорий областей: краев, текстур и гладких областей. Предлагаемый весовой коэффициент составляет 0,5 для краев, 0,25 для текстурированных и гладких областей. Авторы отмечают, что взвешивание 1/0/0 (игнорирование всего, кроме искажений краев) приводит к результатам, которые ближе к субъективным оценкам. Это говорит о том, что краевые области играют доминирующую роль в восприятии качества изображения.

Структурное несходство

Структурное несходство (DSSIM) может быть получено из SSIM, хотя оно не является функцией расстояния, поскольку неравенство треугольника не обязательно выполняется.

$${\displaystyle {\hbox{DSSIM}}(x,y)={\frac {1-{\hbox{SSIM}}(x,y)}{2}}}$$

Метрики качества видео и временные варианты

Стоит отметить, что исходная версия SSIM была разработана для измерения качества неподвижных изображений. Он не содержит каких-либо параметров, напрямую связанных с временными эффектами человеческого восприятия и человеческого суждения.^[7] Обычной практикой является вычисление среднего значения SSIM по всем кадрам в видеопоследовательности. Однако было разработано несколько временных вариантов SSIM.^[10][6][11]

Комплексный вейвлет SSIM

Вариант комплексного вейвлет-преобразования SSIM (CW-SSIM) разработан для решения проблем масштабирования, перемещения и поворота изображения. Вместо того, чтобы давать низкие оценки изображениям с такими условиями, CW-SSIM использует преимущества комплексного вейвлет-преобразования и, следовательно, дает более высокие оценки упомянутым изображениям. CW-SSIM определяется следующим образом:

$${\displaystyle {\text{CW-SSIM}}(c_{x},c_{y})={\bigg (}{\frac {2\sum _{i=1}^{N}|c_{x,i}||c_{y,i}|+K}{\sum _{i=1}^{N}|c_{x,i}|^{2}+\sum _{i=1}^{N}|c_{y,i}|^{2}+K}}{\bigg )}{\bigg (}{\frac {2|\sum _{i=1}^{N}c_{x,i}c_{y,i}^{*}|+K}{2\sum _{i=1}^{N}|c_{x,i}c_{y,i}^{*}|+K}}{\bigg )}}$$

Где ${\displaystyle c_{x}}$ - комплексное вейвлет-преобразование сигнала ${\displaystyle x}$ и ${\displaystyle c_{y}}$ - комплексное вейвлет-преобразование для сигнала ${\displaystyle y}$. Кроме того, ${\displaystyle K}$ - небольшое положительное число, используемое для стабильности функции. В идеале он должен быть нулевым. Как и SSIM, CW-SSIM имеет максимальное значение 1. Максимальное значение 1 указывает на то, что два сигнала полностью структурно подобны, а значение 0 указывает на отсутствие структурного сходства.^[12]

SSIMPLUS

Индекс SSIMPLUS основан на SSIM и является коммерчески доступным инструментом.^[13] Он расширяет возможности SSIM, в основном, для целевых видеоприложений. Он дает оценки в диапазоне от 0 до 100, линейно соответствующие субъективным оценкам человека. Это также позволяет адаптировать оценки к предполагаемому устройству просмотра, сравнивая видео в разных разрешениях и содержимом.

По словам его авторов, SSIMPLUS обеспечивает более высокую точность и более высокую скорость, чем другие показатели качества изображения и видео. Однако независимая оценка SSIMPLUS не проводилась, поскольку сам алгоритм не является общедоступным.

Заявление

SSIM может применяться для решения множества различных задач. Вот несколько примеров:

• Сжатие изображения: с потерями сжатие изображений информация намеренно отбрасывается, чтобы уменьшить пространство для хранения изображений и видео. В таких схемах сжатия обычно используется MSE. По словам его авторов, рекомендуется использовать SSIM вместо MSE для получения лучших результатов для распакованных изображений.^[12]
• Восстановление изображения: Восстановление изображения фокусируется на решении проблемы ${\displaystyle y=h*x+n}$ куда ${\displaystyle y}$ размытое изображение, которое нужно восстановить, ${\displaystyle h}$ ядро размытия, ${\displaystyle n}$ - аддитивный шум и ${\displaystyle x}$ это исходное изображение, которое мы хотим восстановить. Традиционный фильтр, который используется для решения этой проблемы, - это фильтр Винера. Однако конструкция фильтра Винера основана на MSE. По словам авторов алгоритма, использование варианта SSIM, в частности Stat-SSIM, обеспечивает лучшие визуальные результаты.^[12]
• Распознавание образов: поскольку SSIM имитирует аспекты человеческого восприятия, его можно использовать для распознавания образов. Столкнувшись с такими проблемами, как масштабирование, трансляция и поворот изображения, авторы алгоритма утверждают, что лучше использовать CW-SSIM,^[14] который нечувствителен к этим вариациям и может применяться напрямую путем сопоставления шаблонов без использования обучающей выборки. Поскольку подходы к распознаванию образов на основе данных могут обеспечить лучшую производительность, когда для обучения доступен большой объем данных, авторы предлагают использовать CW-SSIM в подходах, основанных на данных.^[14]

Сравнение производительности

Из-за своей популярности SSIM часто сравнивают с другими метриками, включая более простые метрики, такие как MSE и PSNR, а также другие воспринимаемые изображения и показатели качества видео. SSIM неоднократно демонстрировалось, что значительно превосходит MSE и его производные по точности, в том числе исследования его собственных авторов и других.^{[7][15][16][17][18][19]}

В статье Доссельмана и Янга утверждается, что производительность SSIM «намного ближе к производительности MSE», чем обычно предполагалось. Хотя они не оспаривают преимущества SSIM над MSE, они констатируют аналитическую и функциональную зависимость между двумя показателями.^[8] Согласно их исследованиям, было обнаружено, что SSIM коррелирует, а также методы, основанные на MSE, с субъективными базами данных, отличными от баз данных от создателей SSIM. В качестве примера они приводят Рейбмана и Пула, которые обнаружили, что MSE превосходит SSIM в базе данных, содержащей видео с нарушением потери пакетов.^[20] В другой статье была выявлена ​​аналитическая связь между PSNR и SSIM.^[21]

Смотрите также

• Среднеквадратичная ошибка
• Пиковое отношение сигнал / шум
• Качество видео

Рекомендации

1. Ван, Чжоу; Bovik, A.C .; Sheikh, H.R .; Симончелли, Э. (2004-04-01). «Оценка качества изображения: от видимости ошибок до структурного сходства». IEEE Transactions по обработке изображений. 13 (4): 600–612. Bibcode:2004ITIP ... 13..600 Вт. CiteSeerX  10.1.1.2.5689. Дои:10.1109 / TIP.2003.819861. ISSN  1057-7149. PMID  15376593.
2. "Google ученый". scholar.google.com. Получено 2019-07-04.
3. «Общество обработки сигналов IEEE, награда за лучшую работу» (PDF).
4. Wang, Z .; Simoncelli, E.P .; Бовик, A.C. (2003-11-01). Мультимасштабное структурное сходство для оценки качества изображения. Отчет о Тридцать седьмой конференции Asilomar по сигналам, системам и компьютерам, 2004 г.. 2. С. 1398–1402 Том 2. CiteSeerX  10.1.1.58.1939. Дои:10.1109 / ACSSC.2003.1292216. ISBN  978-0-7803-8104-9.
5. Brunet, D .; Vass, J .; Vrscay, E. R .; Ван З. (апрель 2012 г.). «О математических свойствах индекса структурного подобия» (PDF). IEEE Transactions по обработке изображений. 21 (4): 2324–2328. Bibcode:2012ITIP ... 21.1488B. Дои:10.1109 / TIP.2011.2173206. PMID  22042163.
6. Wang, Z .; Lu, L .; Бовик, А.С. (февраль 2004 г.). «Оценка качества видео на основе измерения структурных искажений». Обработка сигналов: передача изображений. 19 (2): 121–132. CiteSeerX  10.1.1.2.6330. Дои:10.1016 / S0923-5965 (03) 00076-6.
7. Согаард, Якоб; Красула, Лукаш; Шахид, Мухаммад; Темель, Доганкан; Brunnström, Kjell; Разаак, Манзур (14 февраля 2016 г.). «Применимость существующих объективных показателей качества восприятия для адаптивного потокового видео» (PDF). Электронное изображение. 2016 (13): 1–7. Дои:10.2352 / issn.2470-1173.2016.13.iqsp-206.
8. Доссельманн, Ричард; Ян, Сюэ Дон (2009-11-06). «Комплексная оценка индекса структурного подобия». Обработка сигналов, изображений и видео. 5 (1): 81–91. Дои:10.1007 / s11760-009-0144-1. ISSN  1863-1703.
9. Ли, Чаофэн; Бовик, Алан Конрад (01.01.2010). «Контентно-взвешенная оценка качества видео с использованием трехкомпонентной модели изображения». Журнал электронного изображения. 19 (1): 011003–011003–9. Bibcode:2010JEI .... 19a1003L. Дои:10.1117/1.3267087. ISSN  1017-9909.
10. "Страница переадресации". www.compression.ru.
11. Wang, Z .; Ли, К. (декабрь 2007 г.). «Оценка качества видео с использованием статистической модели восприятия скорости зрения человека» (PDF). Журнал Оптического общества Америки A. 24 (12): B61 – B69. Bibcode:2007JOSAA..24 ... 61 Вт. CiteSeerX  10.1.1.113.4177. Дои:10.1364 / JOSAA.24.000B61. PMID  18059915.
12. Чжоу Ван; Бовик, A.C. (январь 2009 г.). «Среднеквадратичная ошибка: нравится это или нет? Новый взгляд на показатели достоверности сигнала». Журнал IEEE Signal Processing Magazine. 26 (1): 98–117. Bibcode:2009ISPM ... 26 ... 98 Вт. Дои:10.1109 / msp.2008.930649. ISSN  1053-5888.
13. Рехман, А .; Zeng, K .; Ван, Чжоу (февраль 2015 г.). Роговиц, Бернис Э; Папас, Фрасивулос Н; Де Риддер, Хьюиб (ред.). "Оценка качества видео, адаптированного к устройству отображения" (PDF). IS & T-SPIE Электронная визуализация, человеческое зрение и электронная визуализация XX. Человеческое зрение и электронное изображение XX. 9394: 939406. Bibcode:2015SPIE.9394E..06R. Дои:10.1117/12.2077917.
14. Gao, Y .; Рехман, А .; Ван З. (сентябрь 2011 г.). «Классификация изображений на основе CW-SSIM» (PDF).
15. Zhang, L .; Zhang, L .; Mou, X .; Чжан, Д. (сентябрь 2012 г.). Комплексная оценка алгоритмов оценки качества полного эталонного изображения. 2012 19-я Международная конференция IEEE по обработке изображений. С. 1477–1480. CiteSeerX  10.1.1.476.2566. Дои:10.1109 / icip.2012.6467150. ISBN  978-1-4673-2533-2.
16. Чжоу Ван; Ван, Чжоу; Ли, Цян (май 2011 г.). «Взвешивание информационного содержания для оценки качества воспринимаемого изображения». IEEE Transactions по обработке изображений. 20 (5): 1185–1198. Bibcode:2011ITIP ... 20,1185 Вт. Дои:10.1109 / tip.2010.2092435. PMID  21078577.
17. Channappayya, S. S .; Bovik, A.C .; Caramanis, C .; Хит, Р. У. (март 2008 г.). SSIM-оптимальное восстановление линейного изображения. Международная конференция IEEE по акустике, обработке речи и сигналов, 2008 г.. С. 765–768. CiteSeerX  10.1.1.152.7952. Дои:10.1109 / icassp.2008.4517722. ISBN  978-1-4244-1483-3.
18. Гор, Акшай; Гупта, Савита (01.02.2015). «Полные эталонные показатели качества изображения для сжатых изображений JPEG». AEU - Международный журнал электроники и связи. 69 (2): 604–608. Дои:10.1016 / j.aeue.2014.09.002.
19. Wang, Z .; Симончелли, Э. П. (сентябрь 2008 г.). «Соревнование по максимальной дифференциации (MAD): методология сравнения вычислительных моделей воспринимаемых величин» (PDF). Журнал видения. 8 (12): 8.1–13. Дои:10.1167/8.12.8. ЧВК  4143340. PMID  18831621.
20. Reibman, A. R .; Пул, Д. (сентябрь 2007 г.). Характеристика ухудшения потери пакетов в сжатом видео. 2007 Международная конференция IEEE по обработке изображений. 5. С. V - 77 – V - 80. CiteSeerX  10.1.1.159.5710. Дои:10.1109 / icip.2007.4379769. ISBN  978-1-4244-1436-9.
21. Hore, A .; Цзыоу Д. (август 2010 г.). Метрики качества изображения: PSNR против SSIM. 2010 20-я Международная конференция по распознаванию образов. С. 2366–2369. Дои:10.1109 / icpr.2010.579. ISBN  978-1-4244-7542-1.

внешняя ссылка

• Домашняя страница
• Реализация Rust
• Реализация C / C ++
• Реализация DSSIM C ++
• Реализация C # Криса Ломонта
• реализация qpsnr (многопоточный C ++)
• Реализация в программном обеспечении VQMT
• Реализация на Python