Компьютерное стереозрение - Computer stereo vision

Компьютерное стереозрение извлечение трехмерной информации из цифровых изображений, например, полученных с помощью CCD камера. Сравнивая информацию о сцене с двух точек обзора, можно извлекать трехмерную информацию, исследуя относительное положение объектов на двух панелях. Это похоже на биологический процесс Стереопсис.

Контур

В традиционном стереозрении две камеры, смещенные друг относительно друга по горизонтали, используются для получения двух разных видов сцены, аналогично человеческому. бинокулярное зрение. Сравнивая эти два изображения, можно получить информацию об относительной глубине в виде карта несоответствия, который кодирует разницу в горизонтальных координатах соответствующий точки изображения. Значения в этой карте диспаратности обратно пропорциональны глубине сцены в соответствующем местоположении пикселя.

Чтобы человек мог сравнить два изображения, они должны быть наложены друг на друга в стереоскопическом устройстве, при этом изображение с правой камеры отображается в правый глаз наблюдателя, а с левой - в левый глаз.

В системе компьютерного зрения требуется несколько этапов предварительной обработки.^[1]

1. Изображение сначала должно быть неискаженным, чтобы бочкообразное искажение и тангенциальное искажение удалены. Это гарантирует, что наблюдаемое изображение соответствует проекции идеального камеры-обскуры.
2. Изображение должно быть спроецировано обратно на общую плоскость, чтобы можно было сравнить пары изображений, известные как исправление изображения.
3. Информационная мера, которая сравнивает два изображения, сведена к минимуму. Это дает наилучшую оценку положения функций на двух изображениях и создает карту несоответствия.
4. При желании полученная карта диспаратности проецируется в 3D облако точек. Используя проекционные параметры камер, можно вычислить облако точек, чтобы обеспечить измерения в известном масштабе.

Активное стереозрение

Активное стереозрение - это форма стереозрения, в которой активно используется свет, такой как лазер или структурированный свет чтобы упростить задачу стереосопоставления. Противоположный термин - пассивное стереозрение.

Обычное зрение структурированным светом (SLV)

Обычное зрение со структурированным светом (SLV) использует структурированный свет или лазер и находит соответствия проектор-камера.^[2][3]

Обычное активное стереозрение (ASV)

Обычное активное стереозрение (ASV) использует структурированный свет или лазер, однако стереосогласование выполняется только для соответствий камера-камера, так же, как и в пассивном стереозрении.

Структурированный свет стерео (SLS)^[4]

Существует гибридная техника, в которой используются соответствия камера-камера и проектор-камера.^[4]

Приложения

3D стерео дисплеи находит множество приложений в сфере развлечений, передачи информации и автоматизированных систем. Стереозрение очень важно в таких областях, как робототехника, чтобы извлекать информацию об относительном положении 3D-объектов вблизи автономных систем. Другие приложения для робототехники включают распознавание объекта,^[5] где информация о глубине позволяет системе разделять компоненты загораживающего изображения, такие как одно кресло перед другим, которые робот не сможет различить как отдельный объект по каким-либо другим критериям.

Научные приложения для цифрового стереозрения включают извлечение информации из аэрофотосъемка, для расчета контурных карт или даже извлечения геометрии для трехмерного картирования зданий, фотограмметрических спутниковых карт,^[6] или расчет 3D гелиографический информация, такая как полученная НАСА СТЕРЕО проект.

Подробное определение

Дальнейшая информация: Триангуляция (компьютерное зрение)

Диаграмма, описывающая отношение смещения изображения к глубине со стереоскопическими изображениями, предполагающими плоские копланарные изображения.

Пиксель записывает цвет в позиции. Положение определяется позицией в сетке пикселей (x, y) и глубиной до пикселя. z.

Стереоскопическое зрение дает два изображения одной и той же сцены с разных позиций. На соседней диаграмме свет из точки А передается через точки входа камер-обскур в B и D, на экраны изображений в E и ЧАС.

На прилагаемой диаграмме расстояние между центрами двух объективов камеры равно BD = BC + CD. Треугольники похожи,

• ACB и BFE
• ACD и DGH

${\displaystyle {\begin{aligned}{\text{Therefore displacement }}d&=EF+GH\\&=BF({\frac {EF}{BF}}+{\frac {GH}{BF}})\\&=BF({\frac {EF}{BF}}+{\frac {GH}{DG}})\\&=BF({\frac {BC+CD}{AC}})\\&=BF{\frac {BD}{AC}}\\&={\frac {k}{z}}{\text{, where}}\\\end{aligned}}}$

• k = BD BF
• z = AC - расстояние от плоскости камеры до объекта.

Итак, предполагая, что камеры расположены горизонтально, а плоскости изображения плоские на одной плоскости, смещение по оси y между одним и тем же пикселем в двух изображениях составляет,

${\displaystyle d={\frac {k}{z}}}$

Где k - расстояние между двумя камерами, умноженное на расстояние от объектива до изображения.

Компонент глубины на двух изображениях ${\displaystyle z_{1}}$ и ${\displaystyle z_{2}}$, предоставленный,

${\displaystyle z_{2}(x,y)=\min \left\{v:v=z_{1}(x,y-{\frac {k}{z_{1}(x,y)}})\right\}}$

${\displaystyle z_{1}(x,y)=\min \left\{v:v=z_{2}(x,y+{\frac {k}{z_{2}(x,y)}})\right\}}$

Эти формулы учитывают окклюзия из воксели, видимые на одном изображении на поверхности объекта более близкими вокселями, видимыми на другом изображении, на поверхности объекта.

Исправление изображения

Где плоскости изображения не копланарны исправление изображения требуется для корректировки изображений, как если бы они были копланарными. Это может быть достигнуто линейным преобразованием.

Изображения могут также нуждаться в исправлении, чтобы сделать каждое изображение эквивалентным изображению, полученному с камеры-обскуры, проецируемой на плоскую плоскость.

Гладкость

Гладкость - это мера того, насколько близки похожие цвета. Есть предположение, что предметы с большей вероятностью будут раскрашены небольшим количеством цветов. Таким образом, если мы обнаруживаем два пикселя одного цвета, они, скорее всего, принадлежат одному и тому же объекту.

Описанный выше метод оценки гладкости основан на теории информации и предположении, что влияние цвета воксела влияет на цвет ближайших вокселей в соответствии с нормальным распределением по расстоянию между точками. Модель основана на приблизительных предположениях о мире.

Другой метод, основанный на предварительных предположениях о гладкости, - это автокорреляция.

Гладкость - свойство мира. По сути, это не свойство изображения. Например, изображение, состоящее из случайных точек, не будет иметь гладкости, и выводы о соседних точках будут бесполезны.

Теоретически гладкость наряду с другими свойствами мира следует изучать. Похоже, это то, что делает система человеческого зрения.

Информационная мера

Мера информации о наименьших квадратах

Нормальное распределение

${\displaystyle P(x,\mu ,\sigma )={\frac {1}{\sigma {\sqrt {2\pi }}}}e^{-{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}}}$

Вероятность связана с информационным содержанием, описываемым длина сообщения L,

${\displaystyle P(x)=2^{-L(x)}}$

${\displaystyle L(x)=-\log _{2}{P(x)}}$

так,

${\displaystyle L(x,\mu ,\sigma )=\log _{2}(\sigma {\sqrt {2\pi }})+{\frac {(x-\mu )^{2}}{2\sigma ^{2}}}\log _{2}e}$

Для сравнения стереоскопических изображений имеет значение только относительная длина сообщения. Исходя из этого, информационная мера я, называемая суммой квадратов разностей (SSD),

${\displaystyle I(x,\mu ,\sigma )={\frac {(x-\mu )^{2}}{\sigma ^{2}}}}$

куда,

${\displaystyle L(x,\mu ,\sigma )=\log _{2}(\sigma {\sqrt {2\pi }})+I(x,\mu ,\sigma ){\frac {\log _{2}e}{2}}}$

Из-за затрат времени на обработку возведения чисел в квадрат в SSD многие реализации используют сумму абсолютной разницы (SAD) в качестве основы для вычисления меры информации. Другие методы используют нормализованную кросс-корреляцию (NCC).

Информационная мера для стереоскопических изображений

В наименьших квадратов мера может использоваться для измерения информационного содержания стереоскопических изображений,^[7] заданные глубины в каждой точке ${\displaystyle z(x,y)}$. Во-первых, извлекается информация, необходимая для выражения одного изображения с помощью другого. Это называется ${\displaystyle I_{m}}$.

А разница в цвете Функция должна использоваться для точного измерения разницы между цветами. Написана функция цветового различия CD В следующих. Информация, необходимая для регистрации соответствия цветов между двумя изображениями, составляет:

${\displaystyle I_{m}(z_{1},z_{2})={\frac {1}{\sigma _{m}^{2}}}\sum _{x,y}\operatorname {cd} (\operatorname {color} _{1}(x,y+{\frac {k}{z_{1}(x,y)}}),\operatorname {color} _{2}(x,y))^{2}}$

Сделано предположение о плавности изображения. Предположим, что два пикселя с большей вероятностью будут одного цвета, чем ближе воксели, которые они представляют. Эта мера предназначена для того, чтобы похожие цвета были сгруппированы на одинаковой глубине. Например, если объект спереди закрывает область неба позади, мера гладкости благоприятствует тому, чтобы все синие пиксели были сгруппированы вместе на одинаковой глубине.

Общая мера гладкости использует расстояние между вокселями как оценку ожидаемого стандартного отклонения цветовой разницы,

${\displaystyle I_{s}(z_{1},z_{2})={\frac {1}{2\sigma _{h}^{2}}}\sum _{i:\{1,2\}}\sum _{x_{1},y_{1}}\sum _{x_{2},y_{2}}{\frac {\operatorname {cd} (\operatorname {color} _{i}(x_{1},y_{1}),\operatorname {color} _{i}(x_{2},y_{2}))^{2}}{(x_{1}-x_{2})^{2}+(y_{1}-y_{2})^{2}+(z_{i}(x_{1},y_{1})-z_{i}(x_{2},y_{2}))^{2}}}}$

Общее информационное содержание тогда является суммой,

${\displaystyle I_{t}(z_{1},z_{2})=I_{m}(z_{1},z_{2})+I_{s}(z_{1},z_{2})}$

Компонент z каждого пикселя должен быть выбран так, чтобы дать минимальное значение для информационного содержания. Это даст наиболее вероятную глубину для каждого пикселя. Минимальная общая мера информации составляет,

${\displaystyle I_{\operatorname {min} }=\min {\{i:i=I_{t}(z_{1},z_{2})\}}\}}$

Функции глубины для левого и правого изображений являются парными,

${\displaystyle (z_{1},z_{2})\in \{(z_{1},z_{2}):I_{t}(z_{1},z_{2})=I_{\operatorname {min} }\}}$

Способы реализации

Проблема минимизации НП-полный. Это означает, что для достижения общего решения этой проблемы потребуется много времени. Однако существуют методы для компьютеров на основе эвристика которые приблизят результат за разумное время. Также существуют методы, основанные на нейронные сети.^[8] Эффективное внедрение стереоскопического зрения - область активных исследований.

Смотрите также

• 3D-реконструкция из нескольких изображений
• 3D сканер
• Автостереоскопия
• Компьютерное зрение
• Эпиполярная геометрия
• Полуглобальное соответствие
• Конструкция из движения
• Стерео камера
• Стереофотограмметрия
• Стереопсис
• Стереоскопическая передача глубины
• Трифокальный тензор - для трифокальной стереоскопии (использование трех изображений вместо двух).

Рекомендации

1. Брадски, Гэри; Kaehler, Адриан. Изучение OpenCV: компьютерное зрение с библиотекой OpenCV. О'Рейли.
2. К. Дже, С. В. Ли и Р.-Х. Парк. Высококонтрастный узор из цветных полос для быстрой визуализации в диапазоне структурированного света. Компьютерное зрение - ECCV 2004, LNCS 3021, стр. 95–107, Springer-Verlag Berlin Heidelberg, 10 мая 2004 г.
3. К. Дже, С. В. Ли и Р.-Х. Парк. Шаблон перестановки цветных полос для быстрой визуализации в диапазоне структурированного света. Optics Communications, том 285, выпуск 9, стр. 2320-2331, 1 мая 2012 г.
4. W. Jang, C. Je, Y. Seo и S. W. Lee. Стерео структурированный свет: сравнительный анализ и интеграция структурированного света и активного стерео для измерения динамической формы. Оптика и лазеры в технике, том 51, выпуск 11, стр. 1255-1264, ноябрь 2013 г.
5. Суми, Ясуши и др. "Распознавание 3D-объектов в загроможденной среде с помощью сегментного стереозрения. »Международный журнал компьютерного зрения 46.1 (2002): 5-23.
6. Татарский, Нуроллах и др. "Согласование спутникового стереосигнала высокого разрешения с помощью объектно-полуглобального согласования и итеративного управляемого фильтра, сохраняющего границы. »IEEE Geoscience and Remote Sensing Letters (2020): 1-5.
7. Лазарос, Налпантидис; Сиракулис, Георгиос Христу; Гастератос1, Антониос (2008). «Обзор алгоритмов стереозрения: от программного обеспечения к оборудованию». Международный журнал оптомехатроники. 2 (4): 435–462. Дои:10.1080/15599610802438680. S2CID  18115413.
8. ВАН, ЧУНГ-ХУА; ХСЯО, ЧИХ-ПИНГ (1999). «О согласовании несоответствия в стереозрении через структуру нейронной сети». Proc. Natl. Sci. Counc. ROC (A). 23 (5): 665–678. CiteSeerX  10.1.1.105.9067.

внешняя ссылка

• Учебник по неоткалиброванному стереозрению
• Узнайте о стереозрении с MATLAB
• Программное обеспечение Stereo Vision и Rover Navigation для исследования планет
• Калькулятор для выбора базовой линии стерео и фокусного расстояния, а также для вычисления ожидаемых ошибок измерения глубины
• LIBELAS: библиотека для эффективного согласования крупномасштабного стерео
• Руководство по Viva3D Stereo Vision и подробное руководство
• Как выбрать стереокамеру?