Эпиполярная геометрия - Epipolar geometry

Типичный вариант использования эпиполярной геометрии
Две камеры делают снимок одной и той же сцены с разных точек зрения. Затем эпиполярная геометрия описывает соотношение между двумя результирующими видами.

Эпиполярная геометрия это геометрия стереозрение. Когда две камеры просматривают трехмерную сцену с двух разных позиций, существует ряд геометрических соотношений между трехмерными точками и их проекциями на двухмерные изображения, которые приводят к ограничениям между точками изображения. Эти соотношения получены на основе предположения, что камеры могут быть аппроксимированы модель камеры-обскуры.

Определения

В рисунок ниже изображает две камеры-обскуры, смотрящие на точку Икс. В реальных камерах плоскость изображения фактически находится за фокальным центром и создает изображение, симметричное относительно фокального центра объектива. Однако здесь проблема упрощается за счет размещения виртуальная плоскость изображения перед фокусным центром, т.е. оптический центр каждого объектива камеры, чтобы получить изображение, не преобразованное из-за симметрии. О_L и О_р представляют собой центры симметрии линз двух камер. Икс представляет интерес в обеих камерах. Точки Икс_L и Икс_р проекции точки Икс на плоскости изображения.

Эпиполярная геометрия

Каждая камера фиксирует двухмерное изображение трехмерного мира. Это преобразование из 3D в 2D называется перспективная проекция и описывается моделью камеры-обскуры. Обычно эту операцию проецирования моделируют лучами, которые исходят от камеры, проходя через ее фокусный центр. Каждый исходящий луч соответствует одной точке на изображении.

Эпиполь или эпиполярная точка

Поскольку оптические центры линз камер различны, каждый центр проецируется на отдельную точку в плоскости изображения другой камеры. Эти две точки изображения, обозначенные е_L и е_р, называются эпиполи или же эпиполярные точки. Оба эпиполя е_L и е_р в соответствующих плоскостях изображения и в обоих оптических центрах О_L и О_р лежат на одной трехмерной линии.

Эпиполярная линия

Линия О_L–Икс рассматривается левой камерой как точка, потому что она находится прямо на одной линии с оптическим центром объектива этой камеры. Однако правая камера видит эту линию как линию на своей плоскости изображения. Эта строка (е_р–Икс_р) в правой камере называется эпиполярная линия. Симметрично линия О_р–Икс видна правой камерой, когда точка видна как эпиполярная линия е_L–Икс_Lлевой камерой.

Эпиполярная линия зависит от положения точки Икс в трехмерном пространстве, т.е. как Икс варьируется, набор эпиполярных линий создается на обоих изображениях. Поскольку линия 3DО_L–Икс проходит через оптический центр линзы О_L, соответствующая эпиполярная линия на правом изображении должна проходить через эпиполь е_р (и соответственно для эпиполярных линий на левом изображении). Все эпиполярные линии на одном изображении содержат эпиполярную точку этого изображения. Фактически, любая линия, содержащая эпиполярную точку, является эпиполярной линией, поскольку ее можно вывести из некоторой трехмерной точки. Икс.

Эпиполярная плоскость

В качестве альтернативной визуализации рассмотрим точки Икс, О_L & О_р которые образуют плоскость, называемую эпиполярная плоскость. Эпиполярная плоскость пересекает плоскость изображения каждой камеры, где она образует линии - эпиполярные линии. Все эпиполярные плоскости и эпиполярные линии пересекают эпиполь независимо от того, где Икс расположен.

Эпиполярное ограничение и триангуляция

Если взаимное расположение двух камер известно, это приводит к двум важным наблюдениям:

Предположим, что точка проекции Икс_L известна, а эпиполярная линия е_р–Икс_р известно, и суть Икс проецируется в правильное изображение, в точку Икс_р который должен лежать на этой конкретной эпиполярной линии. Это означает, что для каждой точки, наблюдаемой на одном изображении, должна наблюдаться одна и та же точка на другом изображении на известной эпиполярной линии. Это обеспечивает эпиполярное ограничение: проекция X на правую плоскость камеры Икс_р должен содержаться в е_р–Икс_р эпиполярная линия. Все точки X, например. Икс₁, Икс₂, Икс₃ на О_L–Икс_L line проверит это ограничение. Это означает, что можно проверить, если две точки соответствовать в ту же 3D-точку. Эпиполярные ограничения также можно описать основная матрица или фундаментальная матрица между двумя камерами.
Если точки Икс_L и Икс_р известны, известны и их проекционные линии. Если две точки изображения соответствуют одной и той же точке 3D Икс линии проекции должны пересекаться точно в Икс. Это означает, что Икс может быть вычислен по координатам двух точек изображения, процесс называется триангуляция.

Упрощенные случаи

Эпиполярная геометрия упрощается, если две плоскости изображения камеры совпадают. В этом случае совпадают и эпиполярные линии (е_L–Икс_L = е_р–Икс_р). Кроме того, эпиполярные линии параллельны линии О_L–О_р между центрами проецирования и на практике могут быть выровнены с горизонтальными осями двух изображений. Это означает, что для каждой точки на одном изображении можно найти соответствующую точку на другом изображении, глядя только вдоль горизонтальной линии. Если камеры не могут быть расположены таким образом, координаты изображения с камер могут быть преобразованы, чтобы имитировать общую плоскость изображения. Этот процесс называется исправление изображения.

Эпиполярная геометрия датчика с ручкой

В отличие от обычной рамочной камеры, в которой используется двухмерная ПЗС-матрица, телескопическая камера использует массив одномерных ПЗС-матриц для создания длинной непрерывной полосы изображения, которая называется «ковер изображения». Эпиполярная геометрия этого датчика сильно отличается от геометрии проекционных камер-обскур. Во-первых, эпиполярная линия датчика с нажимной щеткой не прямая, а кривая в виде гиперболы. Во-вторых, пара эпиполярных «кривых» не существует.^[1] Однако в некоторых особых условиях эпиполярная геометрия спутниковых изображений может рассматриваться как линейная модель.^[2]

Смотрите также

дальнейшее чтение

Ричард Хартли и Эндрю Зиссерман (2003). Многоканальная геометрия в компьютерном зрении. Издательство Кембриджского университета. ISBN 0-521-54051-8.

Куанг-Туан Луонг. «Изучение эпиполярной геометрии». Центр Искусственного Интеллекта. SRI International. Получено 2007-03-04.

Робин Оуэнс. «Эпиполярная геометрия». Получено 2007-03-04.

Линда Г. Шапиро и Джордж К. Стокман (2001). Компьютерное зрение. Прентис Холл. стр.395 –403. ISBN 0-13-030796-3.

Вишвджит С. Налва (1993). Экскурсия по компьютерному зрению. Эддисон Уэсли. С. 216–240. ISBN 0-201-54853-4.

Роберто Чиполла и Питер Гиблин (2000). Визуальное движение кривых и поверхностей. Издательство Кембриджского университета, Кембридж. ISBN 0-521-63251-X.

[1] Джэхон О. «Новый подход к эпиполярной передискретизации HRSI и привязке аэрофотоснимков на основе спутниковых стереофонических изображений», 2011, дата обращения 05.08.2011.

[2] Нуролла Татар и Хоссейн Арефи. «Стерео-исправление спутниковых изображений с пушбрумом путем надежной оценки фундаментальной матрицы», 2019, pp. 1–19, по состоянию на 3 июня 2019 г.

[1]

[2]