Оптический поток - Optical flow

Оптический поток, испытываемый вращающимся наблюдателем (в данном случае мухой). Направление и величина оптического потока в каждом месте представлены направлением и длиной каждой стрелки.

Оптический поток или же оптический поток это образец очевидного движение объектов, поверхностей и краев в визуальной сцене, вызванных относительное движение между наблюдателем и сценой.^[1][2] Оптический поток также можно определить как распределение видимых скоростей движения яркостного рисунка на изображении.^[3] Понятие оптического потока было введено американским психологом. Джеймс Дж. Гибсон в 1940-х годах для описания визуального стимула, предоставляемого животным, перемещающимся по миру.^[4] Гибсон подчеркнул важность оптического потока для восприятие аффорданса, способность различать возможности для действий в окружающей среде. Последователи Гибсона и его экологический подход к психологии дополнительно продемонстрировали роль стимула оптического потока для восприятия движения наблюдателем в мире; восприятие формы, расстояния и движения предметов в мире; и контроль передвижения.^[5]

Термин оптический поток также используется робототехниками, охватывая связанные методы обработки изображений и управления навигацией, включая обнаружение движения, сегментация объекта, информация о времени нахождения в контакте, фокус вычислений расширения, яркость, кодирование с компенсацией движения и измерение стереосогласования.^[6][7]

Оценка

Последовательности упорядоченных изображений позволяют оценивать движение либо как мгновенные скорости изображения, либо как дискретные смещения изображения.^[7] Fleet и Weiss предоставляют учебное пособие по оптическому потоку на основе градиента.^[8]Джон Л. Бэррон, Дэвид Дж. Флит и Стивен Бошемин проводят анализ производительности ряда методов оптического потока. Это подчеркивает точность и плотность измерений.^[9]

Методы оптического потока пытаются вычислить движение между двумя кадрами изображения, которые снимаются время от времени. т и ${\displaystyle t+\Delta t}$ на каждом воксель позиция. Эти методы называются дифференциальными, поскольку они основаны на локальном Серия Тейлор аппроксимации сигнала изображения; то есть они используют частные производные по пространственным и временным координатам.

Для 2D +т габаритный корпус (3D или п-D случаи аналогичны) воксель на месте ${\displaystyle (x,y,t)}$ с интенсивностью ${\displaystyle I(x,y,t)}$ будет перемещен ${\displaystyle \Delta x}$, ${\displaystyle \Delta y}$ и ${\displaystyle \Delta t}$ между двумя кадрами изображения и следующими ограничение постоянства яркости можно дать:

${\displaystyle I(x,y,t)=I(x+\Delta x,y+\Delta y,t+\Delta t)}$

Предполагая, что движение небольшое, ограничение изображения на ${\displaystyle I(x,y,t)}$ с Серия Тейлор можно развить, чтобы получить:

${\displaystyle I(x+\Delta x,y+\Delta y,t+\Delta t)=I(x,y,t)+{\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t+}$условия высшего порядка

Из усечения членов высшего порядка, линеаризации, следует, что:

${\displaystyle {\frac {\partial I}{\partial x}}\Delta x+{\frac {\partial I}{\partial y}}\Delta y+{\frac {\partial I}{\partial t}}\Delta t=0}$

или, разделив на ${\displaystyle \Delta t}$,

${\displaystyle {\frac {\partial I}{\partial x}}{\frac {\Delta x}{\Delta t}}+{\frac {\partial I}{\partial y}}{\frac {\Delta y}{\Delta t}}+{\frac {\partial I}{\partial t}}{\frac {\Delta t}{\Delta t}}=0}$

что приводит к

${\displaystyle {\frac {\partial I}{\partial x}}V_{x}+{\frac {\partial I}{\partial y}}V_{y}+{\frac {\partial I}{\partial t}}=0}$

куда ${\displaystyle V_{x},V_{y}}$ являются ${\displaystyle x}$ и ${\displaystyle y}$ компоненты скорости или оптического потока ${\displaystyle I(x,y,t)}$ и ${\displaystyle {\tfrac {\partial I}{\partial x}}}$, ${\displaystyle {\tfrac {\partial I}{\partial y}}}$ и ${\displaystyle {\tfrac {\partial I}{\partial t}}}$ производные изображения при ${\displaystyle (x,y,t)}$ по соответствующим направлениям. ${\displaystyle I_{x}}$,${\displaystyle I_{y}}$ и ${\displaystyle I_{t}}$ можно записать для производных следующим образом.

Таким образом:

${\displaystyle I_{x}V_{x}+I_{y}V_{y}=-I_{t}}$

или же

${\displaystyle \nabla I\cdot {\vec {V}}=-I_{t}}$

Это уравнение с двумя неизвестными и не может быть решено как таковое. Это известно как проблема диафрагмы алгоритмов оптического потока. Чтобы найти оптический поток, необходима другая система уравнений, заданная некоторым дополнительным ограничением. Все методы оптического потока вводят дополнительные условия для оценки фактического потока.

Методы определения

• Фазовая корреляция - инверсия нормализованного поперечного спектра мощности
• Блочные методы - минимизация суммы квадратов разностей или сумма абсолютных разностей, или максимизация нормализованного взаимная корреляция
• Дифференциальные методы оценки оптического потока, основанные на частных производных сигнала изображения и / или искомого поля потока и частных производных более высокого порядка, таких как:
  • Метод Лукаса – Канаде - относительно участков изображения и аффинной модели для поля течения^[10]
  • Метод Хорна – Шунка - оптимизация функционала на основе остатков от ограничения постоянства яркости и конкретного члена регуляризации, выражающего ожидаемую гладкость поля потока^[10]
  • Бакстона – Бакстона - на основе модели движения краев в последовательностях изображений^[11]
  • Метод Блэка – Джепсона - грубый оптический поток через корреляцию^[7]
  • Общий вариационные методы - ряд модификаций / расширений Horn – Schunck с использованием других терминов данных и других терминов сглаживания.
• Дискретные методы оптимизации - пространство поиска квантуется, а затем выполняется сопоставление изображений путем присвоения меток каждому пикселю, так что соответствующая деформация минимизирует расстояние между источником и целевым изображением.^[12] Оптимальное решение часто получается через Теорема о максимальном расходе и минимальном разрезе алгоритмы, линейное программирование или методы распространения убеждений.

Многие из них, в дополнение к современным алгоритмам, оцениваются с помощью набора данных Middlebury Benchmark.^[13][14]

Использует

Оценка движения и сжатие видео стали основным аспектом исследования оптических потоков. В то время как поле оптического потока внешне похоже на плотное поле движения, полученное с помощью методов оценки движения, оптический поток - это исследование не только определения самого поля оптического потока, но также его использования для оценки трехмерной природы. и структура сцены, а также трехмерное движение объектов и наблюдателя относительно сцены, большинство из которых использует изображение якобиана.

Оптический поток использовался исследователями робототехники во многих областях, таких как: обнаружение объекта и отслеживание, извлечение доминирующей плоскости изображения, обнаружение движения, навигация робота и визуальная одометрия.^[6] Информация об оптическом потоке признана полезной для управления воздушными транспортными средствами.^[15]

Применение оптического потока включает в себя задачу определения не только движения наблюдателя и объектов в сцене, но и структура объектов и окружающей среды. Поскольку осознание движения и создание ментальных карт структуры нашей окружающей среды являются важнейшими компонентами животного (и человека) зрение, преобразование этой врожденной способности в компьютерные возможности столь же важно в области машинное зрение.^[16]

Вектор оптического потока движущегося объекта в видеопоследовательности.

Рассмотрим пятикадровый клип мяча, движущегося из нижнего левого угла поля зрения в верхний правый. Методы оценки движения могут определять, что в двумерной плоскости мяч движется вверх и вправо, а векторы, описывающие это движение, могут быть извлечены из последовательности кадров. Для сжатия видео (например, MPEG ), последовательность теперь описана так же хорошо, как и должно быть. Однако в области машинного зрения вопрос о том, движется ли мяч вправо или наблюдатель движется влево, является непознаваемой, но важной информацией. Даже если бы в пяти кадрах присутствовал статический узорчатый фон, мы не могли бы с уверенностью утверждать, что мяч движется вправо, потому что узор может находиться на бесконечном расстоянии от наблюдателя.

Оптический датчик потока

Не путать с Оптические расходомеры.

Оптический датчик потока - это видеодатчик, способный измерять оптический поток или визуальное движение и выводить результат измерения на основе оптического потока. Существуют различные конфигурации оптических датчиков потока. Одна конфигурация представляет собой микросхему датчика изображения, подключенную к процессору, запрограммированному для выполнения алгоритма оптического потока. В другой конфигурации используется микросхема технического зрения, которая представляет собой интегральную схему, имеющую как датчик изображений и процессор на одном кристалле, что позволяет реализовать компактность.^[17][18] Примером этого является обычный оптический датчик мыши, используемый в Оптическая мышь. В некоторых случаях схема обработки может быть реализована с использованием схем аналоговых или смешанных сигналов, чтобы обеспечить быстрое вычисление оптического потока с использованием минимального потребления тока.

Одно из направлений современных исследований - использование нейроморфная инженерия методы для реализации схем, которые реагируют на оптический поток и, следовательно, могут быть подходящими для использования в оптическом датчике потока.^[19] Такие схемы могут черпать вдохновение из биологических нейронных схем, которые аналогичным образом реагируют на оптический поток.

Датчики оптического потока широко используются в компьютерах. оптические мыши, в качестве основного компонента для измерения движения мыши по поверхности.

Датчики оптического потока также используются в робототехника приложения, в первую очередь там, где необходимо измерить визуальное или относительное движение между роботом и другими объектами в непосредственной близости от робота. Использование оптических датчиков потока в беспилотные летательные аппараты (БПЛА), для обеспечения устойчивости и обхода препятствий, также является областью текущих исследований.^[20]

Смотрите также

• Окружающая оптическая матрица
• Оптическая мышь
• Дальность изображения
• Блок обработки зрения

Рекомендации

1. Бертон, Эндрю; Рэдфорд, Джон (1978). Мышление в перспективе: критические эссе в изучении мыслительных процессов. Рутледж. ISBN  978-0-416-85840-2.
2. Уоррен, Дэвид Х .; Стрелов, Эдвард Р. (1985). Электронное пространственное зондирование для слепых: вклад восприятия. Springer. ISBN  978-90-247-2689-9.
3. Хорн, Бертольд К.П .; Шунк, Брайан Г. (август 1981 г.). «Определение оптического потока» (PDF). Искусственный интеллект. 17 (1–3): 185–203. Дои:10.1016/0004-3702(81)90024-2. HDL:1721.1/6337.
4. Гибсон, Дж. Дж. (1950). Восприятие визуального мира. Хоутон Миффлин.
5. Royden, C. S .; Мур, К. Д. (2012). «Использование сигналов скорости при обнаружении движущихся объектов движущимися наблюдателями». Исследование зрения. 59: 17–24. Дои:10.1016 / j.visres.2012.02.006. PMID  22406544. S2CID  52847487.
6. Aires, Kelson R.T .; Сантана, Андре М .; Медейрос, Аделардо А. Д. (2008). Оптический поток с использованием информации о цвете (PDF). ACM Нью-Йорк, Нью-Йорк, США. ISBN  978-1-59593-753-7.
7. Beauchemin, S. S .; Бэррон, Дж. Л. (1995). Расчет оптического потока. ACM Нью-Йорк, США.
8. Флит, Дэвид Дж .; Вайс, Яир (2006). «Оценка оптического потока» (PDF). В Парагиосе, Никос; Чен, Юньмэй; Faugeras, Olivier D. (ред.). Справочник по математическим моделям компьютерного зрения. Springer. С. 237–257. ISBN  978-0-387-26371-7.
9. Barron, John L .; Флит, Дэвид Дж. И Бошемин, Стивен (1994). «Выполнение методов оптического потока» (PDF). Международный журнал компьютерного зрения. 12: 43–77. CiteSeerX  10.1.1.173.481. Дои:10.1007 / bf01420984. S2CID  1290100.
10. Zhang, G .; Шансон, Х. (2018). «Применение методов локального оптического потока к высокоскоростным потокам со свободной поверхностью: проверка и применение к ступенчатым желобам» (PDF). Экспериментальная терминология и гидродинамика. 90: 186–199. Дои:10.1016 / j.expthermflusci.2017.09.010.
11. Глин В. Хамфрис и Вики Брюс (1989). Визуальное познание. Психология Press. ISBN  978-0-86377-124-8.
12. Б. Глокер; Н. Комодакис; Г. Циритас; Н. Наваб; Н. Парагиос (2008). Плотная регистрация изображений с помощью MRF и эффективного линейного программирования (PDF). Журнал анализа медицинских изображений.
13. Бейкер, Саймон; Шарштейн, Даниэль; Lewis, J. P .; Рот, Стефан; Черный, Майкл Дж .; Селиски, Ричард (март 2011). «База данных и методология оценки оптического потока». Международный журнал компьютерного зрения. 92 (1): 1–31. Дои:10.1007 / s11263-010-0390-2. ISSN  0920-5691. S2CID  316800.
14. Бейкер, Саймон; Шарштейн, Даниэль; Lewis, J. P .; Рот, Стефан; Черный, Майкл Дж .; Szeliski, Ричард. «Оптический поток». vision.middlebury.edu. Получено 2019-10-18.
15. Barrows, G.L .; Chahl, J. S .; Сринивасан, М. В. (2003). «Биологически вдохновленное визуальное восприятие и управление полетом». Аэронавигационный журнал. 107 (1069): 159–268. Дои:10.1017 / S0001924000011891 (неактивен 11.11.2020) - через Cambridge University Press.
16. Браун, Кристофер М. (1987). Достижения в области компьютерного зрения. Лоуренс Эрлбаум Ассошиэйтс. ISBN  978-0-89859-648-9.
17. Мойни, Алиреза (2000). Чипы Vision. Бостон, Массачусетс: Springer США. ISBN  9781461552673. OCLC  851803922.
18. Мид, Карвер (1989). Аналоговые СБИС и нейронные системы. Ридинг, Массачусетс: Эддисон-Уэсли. ISBN  0201059924. OCLC  17954003.
19. Стокер, Алан А. (2006). Аналоговые схемы СБИС для восприятия визуального движения. Чичестер, Англия: John Wiley & Sons. ISBN  0470034882. OCLC  71521689.
20. Флореано, Дарио; Зуффери, Жан-Кристоф; Srinivasan, Mandyam V .; Эллингтон, Чарли, ред. (2009). Летающие насекомые и роботы. Гейдельберг: Springer. ISBN  9783540893936. OCLC  495477442.

внешняя ссылка

• Поиск оптического потока
• Статья Art of Optical Flow на fxguide.com (с использованием оптического потока в Visual Effects)
• Оценка оптического потока и наземные последовательности.
• Оценка оптического потока Миддлбери и последовательности достоверных данных.
• mrf-registration.net - Оценка оптического потока через MRF
• Французская аэрокосмическая лаборатория: Реализация оптического потока на основе Лукаса-Канаде на GPU
• Реализация CUDA от CUVI (CUDA Vision & Imaging Library)
• Оптический поток Хорна и Шунка: Онлайн-демонстрация и исходный код метода Хорна и Шунка
• Оптический поток TV-L1: Онлайн-демонстрация и исходный код Zach et al. метод
• Надежный оптический поток: Онлайн-демонстрация и исходный код Brox et al. метод