Угловой детектор Харриса - Harris Corner Detector

Угловой детектор Харриса это обнаружение угла оператор, который обычно используется в компьютерное зрение алгоритмы для извлечения углов и вывода Особенности изображения. Впервые он был введен Крисом Харрисом и Майком Стивенсом в 1988 году после улучшения Угловой детектор Моравца.^[1] По сравнению с предыдущим, детектор углов Харриса учитывает разницу угловой оценки напрямую по отношению к направлению, вместо использования смещающих участков для каждых 45 градусов углов, и было доказано, что он более точен в различении краев и углов. .^[2] С тех пор он был улучшен и принят во многие алгоритмы для предварительной обработки изображений для последующих приложений.

Вступление

Угол - это точка, локальная окрестность которой находится в двух основных и разных краевых направлениях. Другими словами, угол можно интерпретировать как соединение двух краев, где край - это внезапное изменение яркости изображения.^[3] Углы являются важными элементами изображения, и их обычно называют точками интереса, которые инвариантны к перемещению, повороту и освещению. Хотя углы составляют лишь небольшой процент изображения, они содержат наиболее важные функции для восстановления информации об изображении, и их можно использовать для минимизации объема обрабатываемых данных для отслеживания движения, сшивание изображений, построение 2D мозаики, стереозрение, представление изображений и другие связанные области компьютерного зрения.

Чтобы уловить углы изображения, исследователи предложили множество различных детекторов углов, включая Канаде-Лукас-Томази (KLT) и оператор Харриса, которые являются наиболее простыми, эффективными и надежными для использования при обнаружении углов. Эти две популярные методологии тесно связаны с местной структурной матрицей и основаны на ней. По сравнению с угловым детектором Канаде-Лукаса-Томази, угловой детектор Харриса обеспечивает хорошую воспроизводимость при изменении освещения и поворота, и, следовательно, он чаще используется для стереосопоставления и поиска базы данных изображений. Хотя все еще существуют недостатки и ограничения, угловой детектор Харриса по-прежнему является важным и фундаментальным методом для многих приложений компьютерного зрения.

Разработка алгоритма обнаружения углов Харриса ^[1]

Без потери общности мы будем предполагать, что используется двухмерное изображение в градациях серого. Пусть это изображение задается ${\displaystyle I}$. Подумайте о том, чтобы сделать патч для изображения ${\displaystyle (x,y)\in W}$(окно) и сдвигая его на ${\displaystyle (\Delta x,\Delta y)}$. В сумма квадратов разностей (SSD) между этими двумя патчами, обозначенными ${\displaystyle f}$, дан кем-то:

${\displaystyle f(\Delta x,\Delta y)={\underset {(x_{k},y_{k})\in W}{\sum }}\left(I(x_{k},y_{k})-I(x_{k}+\Delta x,y_{k}+\Delta y)\right)^{2}}$

${\displaystyle I(x+\Delta x,y+\Delta y)}$ можно аппроксимировать Расширение Тейлора. Позволять ${\displaystyle I_{x}}$ и ${\displaystyle I_{y}}$ быть частичным производные из ${\displaystyle I}$, так что

${\displaystyle I(x+\Delta x,y+\Delta y)\approx I(x,y)+I_{x}(x,y)\Delta x+I_{y}(x,y)\Delta y}$

Это дает приближение

${\displaystyle f(\Delta x,\Delta y)\approx {\underset {(x,y)\in W}{\sum }}\left(I_{x}(x,y)\Delta x+I_{y}(x,y)\Delta y\right)^{2},}$

который можно записать в матричной форме:

${\displaystyle f(\Delta x,\Delta y)\approx {\begin{pmatrix}\Delta x&\Delta y\end{pmatrix}}M{\begin{pmatrix}\Delta x\\\Delta y\end{pmatrix}},}$

куда M это структурный тензор,

${\displaystyle M={\underset {(x,y)\in W}{\sum }}{\begin{bmatrix}I_{x}^{2}&I_{x}I_{y}\\I_{x}I_{y}&I_{y}^{2}\end{bmatrix}}={\begin{bmatrix}{\underset {(x,y)\in W}{\sum }}I_{x}^{2}&{\underset {(x,y)\in W}{\sum }}I_{x}I_{y}\\{\underset {(x,y)\in W}{\sum }}I_{x}I_{y}&{\underset {(x,y)\in W}{\sum }}I_{y}^{2}\end{bmatrix}}}$

Процесс алгоритма обнаружения угла Харриса^[4][5][6]

Обычно алгоритм детектора углов Харриса можно разделить на пять шагов.

1. Цвет в оттенки серого
2. Расчет пространственной производной
3. Настройка тензора структуры
4. Расчет ответа Харриса
5. Не максимальное подавление

Цвет в оттенки серого

Если мы используем детектор углов Харриса в цветном изображении, первым шагом будет преобразование его в изображение в градациях серого, что повысит скорость обработки.

Значение пикселя серой шкалы может быть вычислено как взвешенная сумма значений R, B и G цветного изображения,

${\displaystyle \sum _{C\,\in \,\{R,B,G\}}w_{C}\cdot C}$,

где, например,

${\displaystyle w_{R}=0.299,\ w_{B}=0.587,\ w_{G}=1-(w_{R}+w_{B}).}$

Расчет пространственной производной

Далее мы собираемся вычислить ${\displaystyle I_{x}(x,y)}$ и ${\displaystyle I_{y}(x,y)}$.

Настройка тензора структуры

С ${\displaystyle I_{x}(x,y)}$ , ${\displaystyle I_{y}(x,y)}$, можно построить структурный тензор ${\displaystyle M}$.

Расчет ответа Харриса

За ${\displaystyle x\ll y}$, надо ${\displaystyle {\tfrac {x\cdot y}{x+y}}=x{\tfrac {1}{1+x/y}}\approx x.}$На этом этапе мы вычисляем наименьшее собственное значение структурного тензора, используя это приближение:

${\displaystyle \lambda _{min}\approx {\frac {\lambda _{1}\lambda _{2}}{(\lambda _{1}+\lambda _{2})}}={\frac {\det(M)}{\mathrm {tr} (M)}}}$

со следом ${\displaystyle \mathrm {tr} (M)=m_{11}+m_{22}}$.

Другой часто используемый расчет ответа Харриса показан ниже:

${\displaystyle R=\lambda _{1}\lambda _{2}-k\cdot (\lambda _{1}+\lambda _{2})^{2}=\det(M)-k\cdot \mathrm {tr} (M)^{2}}$

куда ${\displaystyle k}$ - константа, определенная эмпирически; ${\displaystyle k\in [0.04,0.06]}$ .

Не максимальное подавление

Чтобы подобрать оптимальные значения для обозначения углов, мы находим локальные максимумы как углы в пределах окна, которое представляет собой фильтр 3 на 3.

Улучшение^[7][8]

1. Угловой детектор Харриса-Лапласа^[9]
2. Угловой детектор на основе дифференциального морфологического разложения^[10]
3. Многоуровневый детектор углов на тензорной основе с двусторонней структурой^[11]

Приложения

1. Выравнивание, сшивание и регистрация изображений^[12]
2. Создание 2D-мозаики^[13]
3. Моделирование и реконструкция 3D сцены^[14]
4. Обнаружение движения^[15]
5. Распознавание объектов^[16]
6. Индексирование изображений и поиск на основе содержимого^[17]
7. Видео отслеживание^[18]

Смотрите также

• Структурный тензор
• Детектор аффинной области Харриса
• Обнаружение углов
• Обнаружение функций (компьютерное зрение)
• Компьютерное зрение
• Список тем компьютерного зрения

Рекомендации

1. Крис Харрис и Майк Стивенс (1988). «Комбинированный детектор угла и края». Конференция Alvey Vision. 15.
2. Дей, Ниланджан; и другие. (2012). «Сравнительное исследование между Moravec и Harris Corner при обнаружении зашумленных изображений с использованием технологии адаптивного вейвлет-порога». arXiv:1209.1558 [cs.CV ].
3. Константинос Г. Дерпанис (2004). Угловой детектор harris. Йоркский университет.
4. "Обнаружение угла оператора Харриса с использованием метода скользящего окна - Google Scholar". scholar.google.com. Получено 2015-11-29.
5. «Сравнение и применение алгоритмов обнаружения углов - Google Scholar». scholar.google.com. Получено 2015-11-29.
6. Хавьер Санчес, Нельсон Монсон и Агустин Сальгадо (2018). «Анализ и реализация детектора угла Харриса». Обработка изображений в режиме онлайн. 8: 305–328. Дои:10.5201 / ipol.2018.229.
7. Bellavia, F .; Теголо, Д .; Валенти, К. (01.03.2011). «Улучшение стратегии выбора угла Харриса». ИЭПП компьютерного зрения. 5 (2): 87. Дои:10.1049 / iet-cvi.2009.0127.
8. Ростен, Эдвард; Драммонд, Том (2007-05-07). Леонардис, Алеш; Бишоф, Хорст; Пинц, Аксель (ред.). Машинное обучение для высокоскоростного обнаружения углов. Конспект лекций по информатике. Springer Berlin Heidelberg. С. 430–443. CiteSeerX  10.1.1.64.8513. Дои:10.1007/11744023_34. ISBN  978-3-540-33832-1.
9. "Сравнение детекторов аффинных областей - Google Scholar". scholar.google.com. Получено 2015-11-29.
10. Gueguen, L .; Песареси, М. (2011). «Многоуровневый угловой детектор Харриса на основе дифференциального морфологического разложения». Письма с распознаванием образов. 32 (14): 1714–1719. Дои:10.1016 / j.patrec.2011.07.021.
11. "Многоуровневый детектор углов на основе тензорной двусторонней структуры - Google Scholar". scholar.google.com. Получено 2015-11-29.
12. Канг, Хуан; Сяо, Чуанбай; Deng, M .; Ю, Цзин; Лю, Хайфэн (01.08.2011). Регистрация изображений на основе harris corner и взаимной информации. 2011 Международная конференция по электронному машиностроению и информационным технологиям (EMEIT). 7. С. 3434–3437. Дои:10.1109 / EMEIT.2011.6023066. ISBN  978-1-61284-087-1.
13. «Создание подводной мозаики с использованием видеопоследовательностей с разных высот - Google Scholar». scholar.google.com. Получено 2015-12-02.
14. «Автоматическая реконструкция 3D-сцены из последовательностей изображений - Google Scholar». scholar.google.com. Получено 2015-12-02.
15. Лю, Мэн; У, Чэндун; Чжан, Юньчжоу (01.07.2008). Алгоритм оптического отслеживания потока с несколькими разрешениями на основе функции многомасштабных угловых точек Харриса. Конференция по контролю и принятию решений, 2008. CCDC 2008. Китайский.. С. 5287–5291. Дои:10.1109 / CCDC.2008.4598340. ISBN  978-1-4244-1733-9.
16. "Распознавание объектов по локальным масштабно-инвариантным функциям - Google Scholar". scholar.google.com. Получено 2015-11-29.
17. «Важнейшие аспекты поиска на основе контента - Академия Google». scholar.google.com. Получено 2015-12-02.
18. «Отслеживание и распознавание объектов с использованием дескриптора SURF и определения угла Харриса - Google Scholar». scholar.google.com. Получено 2015-12-02.

внешняя ссылка

• «Изучение OpenCV на примерах: определение угла Харриса»
• «Обнаружение угла Харриса - документация OpenCV»
• «Обнаружение угла Харриса - Учебные пособия по OpenCV-Python»
• Онлайн-реализация детектора угла Харриса - IPOL