Бинокулярное несоответствие - Binocular disparity

Бинокулярное несоответствие относится к разнице в расположении изображения объекта, видимого слева и справа глаза, в результате горизонтального разделения глаз (параллакс ). Мозг использует бинокулярное неравенство для извлечения информации о глубине из двумерного изображения. изображения сетчатки в стереопсис. В компьютерное зрение, бинокулярное несоответствие относится к разнице в координатах одинаковых объектов в двух стереоизображениях.

Подобное несоответствие может использоваться при дальномере дальномер совпадений для определения расстояния и / или высоты до цели. В астрономии несоответствие между различными точками на Земле может использоваться для определения различных небесных объектов. параллакс, а орбиту Земли можно использовать для звездный параллакс.

Определение

Рисунок 1. Определение бинокулярной диспаратности (далеко и близко).

Глаза человека разделены по горизонтали примерно на 50–75 мм (межзрачковое расстояние ) в зависимости от каждого человека. Таким образом, каждый глаз имеет немного другой взгляд на окружающий мир. Это легко увидеть, поочередно закрывая один глаз, глядя на вертикальный край. Бинокулярное несоответствие можно наблюдать по очевидному горизонтальному смещению вертикального края между обоими изображениями.

В любой момент линии взгляда двух глаз встречаются в точке пространства. Эта точка в пространстве проецируется в одно и то же место (то есть в центр) сетчатки обоих глаз. Однако из-за разных точек обзора, наблюдаемых левым и правым глазом, многие другие точки в пространстве не попадают в соответствующие места сетчатки. Визуальное бинокулярное несоответствие определяется как разница между проекционными точками двух глаз и обычно выражается в градусах как угол обзора.^[1]

Термин «бинокулярная диспаратность» относится к геометрическим измерениям, выполненным вне глаза. Несоответствие изображений на реальной сетчатке зависит от внутренних факторов глаза, особенно от расположения узловых точек, даже если поперечное сечение сетчатки представляет собой идеальный круг. Несоответствие на сетчатке соответствует бинокулярному несоответствию при измерении в градусах и сильно отличается при измерении в виде расстояния из-за сложной структуры внутри глаза.

Рисунок 1: Полный черный круг - это точка фиксации. Синий объект находится ближе к наблюдателю. Следовательно, он имеет "близкое" несоответствие d_п. Объекты, расположенные более далеко (зеленые), соответственно, имеют «дальнее» несоответствие. d_ж. Бинокулярное несоответствие - это угол между двумя линиями проекции. Одна из них - это реальная проекция объекта на действительную точку проекции. Другой - воображаемая проекция, проходящая через узловая точка точки фиксации.

В компьютерном зрении бинокулярная диспаратность рассчитывается по стереоизображениям, снятым с набора стереокамер. Переменное расстояние между этими камерами, называемое базовой линией, может влиять на несоответствие конкретной точки на их соответствующей плоскости изображения. По мере увеличения базовой линии диспаратность увеличивается из-за большего угла, необходимого для наведения прицела на точку. Однако в компьютерном зрении бинокулярное несоответствие рассматривается как разность координат точки между правым и левым изображениями, а не как угол обзора. Обычно единицы измерения измеряются в пикселях.

Обман нейронов с помощью 2D-изображений

Рис. 2. Моделирование отклонения от глубины в плоскости. (относится к рисунку 1)

Клетки мозга (нейроны ) в части мозга, ответственной за обработку зрительной информации, поступающей от сетчатки (первичная зрительная кора ) могут обнаружить несоответствие в их входных данных от глаз. В частности, эти нейроны будут активны, если объект с «их» особым несоответствием находится в пределах той части поля зрения, к которой они имеют доступ (рецептивное поле ).^[2]

Исследователи, изучающие точные свойства этих нейронов в отношении несоответствия визуального стимулы с разными диспропорциями по ячейкам и посмотрите, активны они или нет. Одна из возможностей предъявления стимулов с разной степенью неравенства - это размещать объекты на разной глубине перед глазами. Однако недостаток этого метода может быть недостаточно точным для объектов, расположенных дальше, поскольку они имеют меньшее несоответствие, а объекты, расположенные ближе, будут иметь большее несоответствие. Вместо этого нейробиологи используют альтернативный метод, схематически изображенный на рисунке 2.

Фигура 2: В качестве альтернативы несоответствие объекта с глубиной, отличной от точки фиксации, может быть получено путем представления изображения объекта одному глазу и смещенной вбок версии того же изображения другому глазу. Полный черный круг - это точка фиксации. По линии фиксации левого глаза размещаются предметы разной глубины. Такое же несоответствие, возникающее из-за смещения объекта по глубине (закрашенные цветные кружки), можно также получить, сдвигая объект вбок на постоянной глубине на изображении, которое видит один глаз (черные кружки с цветными полями). Обратите внимание, что для близких диспропорций поперечный сдвиг должен быть больше, чтобы соответствовать той же глубине по сравнению с дальними диспропорциями. Это то, что нейробиологи обычно делают с случайные точечные стимулы для изучения селективности диспаратности нейронов, поскольку латеральное расстояние, необходимое для проверки несоответствий, меньше, чем расстояния, необходимые для использования тестов глубины. Этот принцип также применялся в автостереограмма иллюзии.

Вычисление неравенства с использованием цифровых стереоизображений

Несоответствие характеристик двух стереоизображений обычно вычисляется как сдвиг влево элемента изображения при просмотре на правом изображении.^[3] Например, единственная точка, которая появляется на Икс координировать т (измеряется в пиксели ) на левом изображении может присутствовать на Икс координировать т - 3 на правом изображении. В этом случае несоответствие в этом месте на правом изображении будет 3 пикселя.

Стереоизображения не всегда могут быть правильно выровнены, чтобы можно было быстро вычислить несоответствие. Например, набор камер можно немного повернуть от уровня. Через процесс, известный как исправление изображения, оба изображения поворачиваются, чтобы учесть расхождения только в горизонтальном направлении (т. е. нет расхождения в у координаты изображения).^[3] Это свойство также может быть достигнуто путем точного выравнивания стереокамер перед захватом изображения.

Компьютерный алгоритм

После исправления проблема переписки может быть решена с помощью алгоритма, который сканирует как левое, так и правое изображения на предмет совпадения характеристик изображения. Распространенным подходом к этой проблеме является формирование меньшего участка изображения вокруг каждого пикселя в левом изображении. Эти участки изображения сравниваются со всеми возможными несоответствиями в правом изображении путем сравнения соответствующих им участков изображения. Например, для диспаратности 1 фрагмент на левом изображении будет сравниваться с фрагментом аналогичного размера на правом, сдвинутым влево на один пиксель. Сравнение этих двух фрагментов может быть выполнено путем получения вычислительной меры по одному из следующих уравнений, которые сравнивают каждый из пикселей в фрагментах. Для всех следующих уравнений L и р обратитесь к левому и правому столбцам, а р и c относятся к текущей строке и столбцу любого из исследуемых изображений. d относится к несоответствию правильного изображения.

• Нормализованная корреляция: ${\displaystyle {\frac {\sum {\sum {L(r,c)\cdot R(r,c-d)}}}{\sqrt {(\sum {\sum {L(r,c)^{2}}})\cdot (\sum {\sum {R(r,c-d)^{2}}})}}}}$
• Сумма квадратов разностей: ${\displaystyle \sum {\sum {(L(r,c)-R(r,c-d))^{2}}}}$
• Сумма абсолютных разностей: ${\displaystyle \sum {\sum {\left|L(r,c)-R(r,c-d)\right\vert }}}$

Несоответствие с наименьшим вычисленным значением с использованием одного из вышеуказанных методов считается несоответствием для характеристики изображения. Этот самый низкий балл указывает на то, что алгоритм нашел наилучшее соответствие соответствующих функций на обоих изображениях.

Описанный выше метод является перебор алгоритм. При больших размерах фрагментов и / или изображений этот метод может занять очень много времени, так как пиксели постоянно пересматриваются, чтобы найти самый низкий показатель корреляции. Однако этот метод также предполагает ненужное повторение, поскольку многие пиксели перекрываются. Более эффективный алгоритм предполагает запоминание всех значений из предыдущего пикселя. Еще более эффективный алгоритм включает запоминание сумм столбцов из предыдущей строки (в дополнение к запоминанию всех значений из предыдущего пикселя). Методы сохранения предыдущей информации могут значительно увеличить алгоритмическая эффективность этого процесса анализа изображений.

Использование несоответствия изображений

Информация о несоответствии может быть использована для дальнейшего извлечения информации из стереоизображений. Один из случаев, когда несоответствие наиболее полезно, - это расчет глубины / расстояния. Неравномерность и расстояние до камер обратно пропорциональны. По мере удаления от камер неравенство уменьшается. Это обеспечивает восприятие глубины стереоизображения. Используя геометрию и алгебру, точки, которые появляются в 2D стерео изображениях, могут быть отображены как координаты в 3D пространстве.

Эта концепция особенно полезна для навигации. Например, Марсоход для исследования Марса использует аналогичный метод для сканирования местности на предмет препятствий.^[4] Марсоход делает пару изображений с помощью своих стереоскопических навигационных камер, и выполняются расчеты несоответствия для обнаружения возвышенных объектов (например, валунов).^[5] Кроме того, данные о местоположении и скорости могут быть извлечены из последующих стереоизображений путем измерения смещения объектов относительно марсохода. В некоторых случаях это лучший источник информации такого типа, так как датчики энкодера в колесах могут быть неточными из-за проскальзывания шин.

В популярной культуре

Бинокулярное неравенство является предпосылкой для зарисовки из фильма. Мир Уэйна в котором Уэйн, лежащий в постели как Тиа Каррере Персонаж, Кассандра, сидит над ним, сравнивает соответствующие изображения из его левого и правого глаза, отмечая, что есть что, говоря: «Камера 1 ... Камера 2 ... Камера 1 ... Камера 2».

Смотрите также

• Бинокулярное суммирование
• Бинокулярное зрение
• Циклодиспарность
• Эпиполярная геометрия

Рекомендации

1. Цянь, Н., Бинокулярное неравенство и восприятие глубины, Neuron, 18, 359–368, 1997.
2. Гонсалес, Ф. и Перес, Р., Нейронные механизмы, лежащие в основе стереоскопического зрения, Prog Neurobiol, 55 (3), 191–224, 1998.
3. Линда Г. Шапиро и Джордж К. Стокман (2001). Компьютерное зрение. Прентис Холл, 371–409. ISBN  0-13-030796-3.
4. «Лаборатория компьютерного зрения». JPL.NASA.GOV. Лаборатория реактивного движения / НАСА, без даты. Интернет. 5 июня 2011г. <https://www-robotics.jpl.nasa.gov/facilities/facilityImage.cfm?Facility=13&Image=335 >.
5. «Космический корабль: наземные операции: вездеход». JPL.NASA.GOV. Лаборатория реактивного движения / НАСА, без даты. Интернет. 5 июня 2011 г. http://marsrovers.jpl.nasa.gov/mission/spacecraft_rover_eyes.html.