Фотометрическое стерео - Photometric stereo

Фотометрическая стереосистема анализирует несколько изображений объекта при различных условиях освещения, чтобы оценить направление нормали в каждом пикселе.

Фотометрическое стерео это техника в компьютерное зрение для оценки нормали к поверхности объектов, наблюдая за этим объектом при различных условиях освещения. Он основан на том факте, что количество света, отраженного поверхностью, зависит от ориентации поверхности по отношению к источнику света и наблюдателю.[1] При измерении количества света, отраженного в камеру, пространство возможных ориентаций поверхности ограничено. При наличии достаточного количества источников света под разными углами ориентация поверхности может быть ограничена одной ориентацией или даже чрезмерно ограничена.

Эта техника была впервые представлена ​​Вудхэмом в 1980 году.[2] Особый случай, когда данные представляют собой одно изображение, известен как форма от штриховки, и был проанализирован Б. К. П. Хорном в 1989 г.[3] Фотометрическое стерео с тех пор было распространено на многие другие ситуации, включая расширенные источники света и неЛамбертианский отделка поверхности. Текущее исследование направлено на то, чтобы метод работал при наличии проецируемых теней, бликов и неравномерного освещения.

Основной метод

Согласно исходным предположениям Вудхэма - Ламбертовский коэффициент отражения, известные точечные далекие источники света и однородные альбедо - задача решается обращением линейного уравнения , куда является (известным) вектором наблюдаемые интенсивности, - (неизвестная) нормаль к поверхности, а является (известным) матрица нормированных световых направлений.

Эту модель можно легко распространить на поверхности с неоднородным альбедо, сохраняя при этом линейность задачи.[4] Принимая коэффициент отражения альбедо , формула для интенсивности отраженного света принимает следующий вид:

Если является квадратным (всего 3 лампочки) и неособым, его можно перевернуть, давая:

Поскольку известно, что вектор нормали имеет длину 1, должна быть длиной вектора , и - нормализованное направление этого вектора. не является квадратным (имеется более трех огней), обобщение обратного можно получить с помощью Псевдообратная матрица Мура-Пенроуза,[5] просто умножив обе стороны на давая:

После этого вектор нормали и альбедо могут быть решены, как описано выше.

Неламбертовские поверхности

Классическая задача фотометрического стерео касается только Ламбертовские поверхности, с идеально рассеянным отражением. Это нереально для многих типов материалов, особенно металлов, стекла и гладких пластиков, и приведет к аберрациям в результирующих векторах нормалей.

Было разработано множество методов, позволяющих опровергнуть это предположение. В этом разделе перечислены некоторые из них.

Зеркальные отражения

Исторически в компьютерная графика, обычно используемая модель для рендеринга поверхностей началась с ламбертовских поверхностей, а затем в нее были добавлены простые зеркальные отражения. Компьютерное зрение пошло по тому же пути с фотометрическим стерео. Зеркальные отражения были одними из первых отклонений от ламбертовской модели. Это несколько разработанных приспособлений.

  • Многие методы в конечном итоге полагаются на моделирование функции отражения поверхности, то есть того, сколько света отражается в каждом направлении.[6] Эта функция отражения должна быть обратимый. Измеряется интенсивность отраженного света по направлению к камере, и функция обратной отражательной способности подгоняется к измеренным значениям интенсивности, что приводит к уникальному решению для вектора нормали.

Общие BRDF и не только

Согласно Двунаправленная функция распределения отражательной способности (BRDF), поверхность может распределять количество света, которое она получает, в любом направлении наружу. Это наиболее общая известная модель для непрозрачный поверхности. Некоторые методы были разработаны для моделирования (почти) общих BRDF. На практике все это требует множества источников света для получения надежных данных. Это методы, с помощью которых можно измерить поверхности с общими BRDF.

  • Определите явный BRDF перед сканированием.[7] Для этого требуется другая поверхность, которая имеет такую ​​же или очень похожую BRDF, фактическая геометрия которой (или, по крайней мере, векторы нормали для многих точек на поверхности) уже известна.[8] Затем источники света индивидуально освещают известную поверхность и измеряют степень отражения в камере. Используя эту информацию, можно создать справочную таблицу, которая отображает отраженные интенсивности для каждого источника света в список возможных векторов нормалей. Это накладывает ограничения на возможные векторы нормали, которые может иметь поверхность, и сводит проблему фотометрического стерео к интерполяции между измерениями. Типичными известными поверхностями для калибровки справочного стола являются сферы для их широкого разнообразия ориентации поверхности.
  • Ограничение симметричности BRDF.[9] Если BRDF симметричен, направление света можно ограничить конусом относительно направления на камеру. Какой это конус, зависит от самого BRDF, вектора нормали к поверхности и измеренной интенсивности. Учитывая достаточную измеренную интенсивность и результирующие направления света, эти конусы можно аппроксимировать, а значит, и векторы нормали к поверхности.

Некоторый прогресс был достигнут в моделировании даже более общих поверхностей, таких как Пространственно изменяющиеся функции двунаправленного распределения (СВБРДФ), Функции распределения коэффициента отражения двунаправленного поверхностного рассеяния (БССРДФ), и с учетом размышления.[10][11] Однако такие методы все еще довольно ограничены в фотометрической стереосистеме. Лучшие результаты были достигнуты с структурированный свет.[12]

Смотрите также

Рекомендации

  1. ^ Инь Ву. «Радиометрия, BRDF и фотометрическое стерео» (PDF). Северо-Западный университет. Получено 2015-03-25.
  2. ^ Вудхэм, Р.Дж. 1980 г. Фотометрический метод определения ориентации поверхности по нескольким изображениям. Оптическая инженерия 19, I, 139-144.
  3. ^ Б. К. П. Хорн, 1989. Получение формы из информации о затенении. В издании Б. К. П. Хорна и М. Дж. Брукса, «Форма от затенения», страницы 121–171. MIT Press.
  4. ^ С. Барский и Мария Петру, 2003. Техника фотометрического стерео с 4 источниками для трехмерных поверхностей при наличии светлых участков и теней. В IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 25, выпуск 10, страницы 1239-1252. IEEE.
  5. ^ Чаман Сингх Верма и Мон-Джу Ву. «Фотометрическое стерео». Университет Висконсин-Мэдисон. Получено 2015-03-24.
  6. ^ Хемант Д. Тагаре и Руи Дж. П. де Фигейредо, 1991. Теория фотометрического стерео для одного класса диффузных неламбертовских поверхностей. В IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 13, нет. 2. IEEE.
  7. ^ Кацуши Икеучи, 1981. Определение ориентации зеркальных поверхностей с помощью метода фотометрического стерео. В IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. ПАМИ-3, выпуск 6, страницы 661-669. IEEE.
  8. ^ Аарон Герцманн и Стивен М. Зейтц, 2005 г. Фотометрическое стерео на основе примеров: реконструкция формы с помощью общих проверок BRDF. В IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 27, нет. 8. IEEE.
  9. ^ Майкл Холройд, Джейсон Лоуренс, Грег Хамфрис и Тодд Зиклер, 2008 г. Фотометрический подход к оценке нормалей и касательных. В ACM SIGGRAPH Asia 2008 Papers, стр. 133: 1-133: 9. ACM.
  10. ^ Шри К. Наяр, Кацуши Икеучи и Такео Канаде, 1991. Форма от отражений. В International Journal of Computer Vision, vol. 6, номер 3, страницы 173–195.
  11. ^ Мяо Ляо, Синью Хуан и Жуйган Ян, 2011 г. Удаление переотражений для фотометрического стерео с помощью спектрально-зависимой альбедо. В 2011 г. конференция IEEE по компьютерному зрению и распознаванию образов, стр. 689-696. IEEE.
  12. ^ Тонгбо Чен, Хендрик Ленш, Кристиан Фукс и Х.П. Зайдель, 2007. Поляризация и фазовый сдвиг для 3D-сканирования полупрозрачных объектов. В конференции IEEE по компьютерному зрению и распознаванию образов, 2007, страницы 1-8. IEEE.