Сегментация изображения - Image segmentation

Модель сегментированного левого человека бедренная кость. Он показывает внешнюю поверхность (красный), поверхность между компактной костью и губчатой ​​костью (зеленый) и поверхность костного мозга (синий).

В цифровая обработка изображений и компьютерное зрение, сегментация изображений это процесс разделения цифровое изображение на несколько сегментов (наборы из пиксели, также называемые объектами изображения). Цель сегментации - упростить и / или изменить представление изображения на что-то более значимое и более простое для анализа.^[1][2] Сегментация изображения обычно используется для поиска объектов и границы (линии, кривые и т. д.) на изображениях. Точнее, сегментация изображения - это процесс присвоения метки каждому пикселю в изображении таким образом, чтобы пиксели с одинаковой меткой обладали определенными характеристиками.

Результат сегментации изображения - это набор сегментов, которые вместе покрывают все изображение, или набор контуры извлечены из изображения (см. обнаружение края ). Каждый из пикселей в области похож на некоторые характеристики или вычисленные свойства, такие как цвет, интенсивность, или же текстура. Соседние регионы значительно различаются по одним и тем же характеристикам.^[1]При применении к стопке изображений типично для медицинская визуализация, полученные контуры после сегментации изображения можно использовать для создания 3D реконструкции с помощью алгоритмов интерполяции типа маршевые кубики.^[3]

Приложения

Объемная сегментация 3D-рендеринга компьютерная томография из грудная клетка: Передняя стенка грудной клетки, дыхательные пути и легочные сосуды перед корнем легкого были удалены цифровым способом, чтобы визуализировать грудное содержимое:
– синий: легочные артерии
– красный: легочные вены (а также брюшная стенка )
– желтый: the средостение
– фиолетовый: the диафрагма

Вот некоторые из практических применений сегментации изображений:

• Поиск изображений на основе содержимого^[4]
• Машинное зрение
• Медицинская визуализация,^[5][6] включая визуализированный объем изображения из компьютерная томография и магнитно-резонансная томография.
  • Найдите опухоли и другие патологии^[7][8]
  • Измерьте объемы тканей
  • Диагностика, изучение анатомического строения^[9]
  • Планирование операции
  • Виртуальная симуляция хирургии
  • Внутриоперационная навигация
• Обнаружение объекта^[10]
  • Обнаружение пешеходов
  • Распознавание лиц
  • Обнаружение стоп-сигнала
  • Найдите объекты на спутниковых снимках (дороги, леса, посевы и т. Д.)
• Задачи распознавания
  • Распознавание лица
  • Распознавание отпечатков пальцев
  • Признание ириса
• Системы управления движением
• Видеонаблюдение
• Совместная сегментация видеообъектов и локализация действий^[11][12]

Несколько универсальных алгоритмы были разработаны методы сегментации изображений. Чтобы быть полезными, эти методы обычно должны сочетаться со специфическими знаниями предметной области, чтобы эффективно решать проблемы сегментации предметной области.

Классы методов сегментации

Существует три класса техник сегментации.

• Классические подходы
• Методы на основе ИИ
• Техники, не попадающие в две вышеуказанные категории.^[13]

Группы сегментации изображений

• Семантическая сегментация - это подход, определяющий для каждого пикселя принадлежность к классу объекта.^[14] Например, когда все люди на фигуре сегментированы как один объект, а фон - как один объект.
• Сегментация экземпляра - это подход, который определяет для каждого пикселя принадлежащий объекту экземпляр. Он обнаруживает каждый отдельный интересующий объект на изображении.^[15] Например, когда каждый человек на фигуре сегментируется как отдельный объект.

Пороговое значение

Самый простой метод сегментации изображения называется пороговое значение метод. Этот метод основан на уровне клипа (или пороговом значении) для преобразования полутонового изображения в двоичное изображение.

Ключ этого метода - выбрать пороговое значение (или значения, когда выбраны несколько уровней). В промышленности используются несколько популярных методов, включая метод максимальной энтропии, сбалансированная пороговая обработка гистограммы, Метод Оцу (максимальная дисперсия) и k-означает кластеризацию.

Недавно были разработаны методы определения пороговых значений изображений компьютерной томографии (КТ). Ключевая идея состоит в том, что, в отличие от метода Оцу, пороговые значения выводятся из рентгенограмм, а не (реконструированного) изображения.^[16][17]

Новые методы предполагали использование многомерных нелинейных пороговых значений на основе нечетких правил. В этих работах решение о принадлежности каждого пикселя к сегменту основывается на многомерных правилах, полученных из нечеткой логики и эволюционных алгоритмов, основанных на среде освещения изображения и приложении.^[18]

Методы кластеризации

Основная статья: Кластеризация данных

Исходное изображение.

Изображение после запуска k-средства с к = 16. Обратите внимание, что распространенным методом повышения производительности для больших изображений является уменьшение разрешения изображения, вычисление кластеров и последующее присвоение значений большему изображению, если это необходимо.

В Алгоритм K-средних является итеративный техника, которая используется для разделить изображение в K кластеры.^[19] Базовый алгоритм является

1. Выбирать K кластерные центры, либо случайно или на основе некоторых эвристический метод, например K-означает ++
2. Назначьте каждый пиксель изображения кластеру, который минимизирует расстояние между пикселем и центром кластера
3. Пересчитайте центры кластера, усреднив все пиксели в кластере.
4. Повторяйте шаги 2 и 3 до тех пор, пока не будет достигнута сходимость (т. Е. Кластеры не меняются)

В этом случае, расстояние это квадрат или абсолютная разница между пикселем и центром кластера. Разница обычно основана на пикселях цвет, интенсивность, текстура, и местоположение, или взвешенная комбинация этих факторов. K можно выбрать вручную, случайно, или эвристический. Этот алгоритм гарантированно сходится, но он может не вернуть оптимальный решение. Качество решения зависит от начального набора кластеров и значения K.

Движение и интерактивная сегментация

Сегментация на основе движения - это метод, основанный на движении изображения для выполнения сегментации.

Идея проста: посмотрите на различия между парой изображений. Если предположить, что интересующий объект движется, разница будет именно в этом объекте.

Улучшив эту идею, Kenney et al. предлагаемая интерактивная сегментация [2]. Они используют робота, чтобы толкать объекты, чтобы генерировать сигнал движения, необходимый для сегментации на основе движения.

Интерактивная сегментация следует концепции интерактивного восприятия, предложенной Довом Кацем. [3] и Оливер Брок [4].

Методы на основе сжатия

Методы, основанные на сжатии, постулируют, что оптимальная сегментация - это та, которая минимизирует, по всем возможным сегментам, длину кодирования данных.^[20][21] Связь между этими двумя концепциями заключается в том, что сегментация пытается найти закономерности в изображении, и любая регулярность изображения может использоваться для его сжатия. Метод описывает каждый сегмент текстурой и формой границы. Каждый из этих компонентов моделируется функцией распределения вероятностей, и длина его кодирования вычисляется следующим образом:

1. Кодирование границ использует тот факт, что области на естественных изображениях имеют тенденцию иметь гладкий контур. Этот приор используется Кодирование Хаффмана закодировать разницу код цепи контуров изображения. Таким образом, чем более гладкая граница, тем меньшую длину кодирования она достигает.
2. Текстура кодируется сжатие с потерями способом, похожим на минимальная длина описания (MDL) принцип, но здесь длина данных, представленных в модели, аппроксимируется числом выборок, умноженным на энтропия модели. Текстура в каждой области моделируется многомерное нормальное распределение энтропия которого имеет выражение в замкнутой форме. Интересным свойством этой модели является то, что оцененная энтропия ограничивает истинную энтропию данных сверху. Это связано с тем, что среди всех распределений с заданным средним значением и ковариацией нормальное распределение имеет наибольшую энтропию. Таким образом, истинная длина кодирования не может быть больше той, которую алгоритм пытается минимизировать.

Для любой данной сегментации изображения эта схема дает количество битов, необходимых для кодирования этого изображения на основе данной сегментации. Таким образом, среди всех возможных сегментов изображения цель состоит в том, чтобы найти сегментацию, которая дает наименьшую длину кодирования. Этого можно добиться с помощью простого метода агломеративной кластеризации. Искажение при сжатии с потерями определяет грубость сегментации, и его оптимальное значение может отличаться для каждого изображения. Этот параметр можно эвристически оценить по контрастности текстур на изображении. Например, когда текстуры в изображении похожи, например, в камуфляжных изображениях, требуется более высокая чувствительность и, следовательно, меньшее квантование.

Методы на основе гистограмм

Гистограмма основанные на технологиях методы очень эффективны по сравнению с другими методами сегментации изображений, потому что они обычно требуют только одного прохода через пиксели. В этом методе гистограмма вычисляется из всех пикселей изображения, а пики и впадины на гистограмме используются для определения местоположения кластеры на изображении.^[1] Цвет или же интенсивность может использоваться как мера.

Уточнение этой техники заключается в рекурсивно примените метод поиска гистограммы к кластерам изображения, чтобы разделить их на более мелкие кластеры. Эта операция повторяется с меньшими и меньшими кластерами, пока не перестанут образовываться кластеры.^[1][22]

Одним из недостатков метода поиска гистограммы является то, что может быть трудно идентифицировать значительные пики и впадины на изображении.

Подходы на основе гистограмм также можно быстро адаптировать для применения к нескольким кадрам, сохраняя при этом их эффективность за один проход. При рассмотрении нескольких кадров гистограмма может быть построена несколькими способами. Тот же подход, который применяется к одному кадру, может быть применен к нескольким, и после объединения результатов пики и впадины, которые ранее было трудно идентифицировать, с большей вероятностью будут различимы. Гистограмма также может применяться на попиксельной основе, где полученная информация используется для определения наиболее частого цвета для местоположения пикселя. Этот подход сегментирует на основе активных объектов и статической среды, что приводит к другому типу сегментации, полезной в видео слежение.

Обнаружение края

Обнаружение края является хорошо развитой областью обработки изображений. Границы и края областей тесно связаны, поскольку часто происходит резкая регулировка интенсивности на границах области. Поэтому методы обнаружения краев использовались в качестве основы для другого метода сегментации.

Края, идентифицированные при обнаружении кромок, часто не соединяются. Однако, чтобы отделить объект от изображения, нужны закрытые границы области. Желаемые края - это границы между такими объектами или пространственными таксонами.^[23][24]

Пространственные таксоны^[25] информационные гранулы,^[26] состоящий из четкой области пикселей, размещенной на уровнях абстракции в иерархической архитектуре вложенной сцены. Они похожи на Гештальт психологическое обозначение фигуры-фона, но оно расширено, чтобы включить передний план, группы объектов, объекты и заметные части объекта. Методы обнаружения краев могут быть применены к области пространственного таксона точно так же, как они были бы применены к силуэту. Этот метод особенно полезен, когда отключенный край является частью иллюзорного контура.^[27][28]

Методы сегментации также могут применяться к краям, полученным с помощью детекторов края. Линдеберг и Ли^[29] разработал интегрированный метод, который сегментирует кромки на прямые и изогнутые кромочные сегменты для распознавания объектов по частям на основе минимальной длины описания (M_DL) критерий, который был оптимизирован методом, подобным разделению и слиянию, с точками-кандидатами, полученными из дополнительных реплик соединения, чтобы получить более вероятные точки, в которых следует рассматривать разбиения на разные сегменты.

Метод двойной кластеризации

Этот метод представляет собой комбинацию трех характеристик изображения: разбиение изображения на основе анализа гистограмм проверяется высокой компактностью кластеров (объектов) и высокими градиентами их границ. Для этого необходимо ввести два пробела: одно пробел - одномерная гистограмма яркости. ЧАС = ЧАС(B); второе пространство - это двойное трехмерное пространство самого исходного изображения B = B(Икс, у). Первое пространство позволяет измерить, насколько компактно распределена яркость изображения, вычисляя минимальную кластеризацию kmin. Пороговая яркость T, соответствующая kmin, определяет двоичное (черно-белое) изображение - растровое изображение. б = φ(Икс, у), куда φ(Икс, у) = 0, если B(Икс, у) < Т, и φ(Икс, у) = 1, если B(Икс, у) ≥ Т. Растровое изображение б это объект в двойном пространстве. На этом растровом изображении должна быть определена мера, отражающая, насколько компактно распределены черные (или белые) пиксели. Итак, цель - найти объекты с хорошими границами. Для всех Т мера M_{ОКРУГ КОЛУМБИЯ} = грамм/(k × L) должен быть рассчитан (где k разница в яркости между объектом и фоном, L - длина всех границ, а грамм средний градиент на границах). Максимум MDC определяет сегментацию.^[30]

Способы выращивания в регионах

Регион выращивания методы основаны в основном на предположении, что соседние пиксели в одной области имеют одинаковые значения. Обычная процедура - это сравнение одного пикселя с его соседями. Если критерий подобия удовлетворен, пиксель может быть установлен так, чтобы он принадлежал тому же кластеру, что и один или несколько его соседей. Выбор критерия подобия важен, и на результаты во всех случаях влияет шум.

Метод объединения статистических областей^[31] (SRM) начинается с построения графа пикселей с использованием 4-связности с краями, взвешенными по абсолютному значению разницы яркости. Первоначально каждый пиксель формирует область одного пикселя. Затем SRM сортирует эти края в очереди по приоритету и решает, следует ли объединить текущие области, принадлежащие краевым пикселям, с использованием статистического предиката.

Один регион выращивания метод - метод выращивания посевной области. Этот метод принимает набор семян в качестве входных данных вместе с изображением. Семена отмечают каждый из объектов, которые нужно сегментировать. Области итеративно увеличиваются путем сравнения всех нераспределенных соседних пикселей с областями. Разница между значением интенсивности пикселя и средним значением области, ${\displaystyle \delta }$, используется как мера сходства. Пиксель с наименьшей разницей, измеренной таким образом, назначается соответствующей области. Этот процесс продолжается до тех пор, пока все пиксели не будут присвоены области. Поскольку для выращивания посевной области требуются семена в качестве дополнительных входных данных, результаты сегментации зависят от выбора семян, а шум на изображении может привести к неправильному размещению семян.

Другой регион выращивания Метод выращивания незасеянной области. Это модифицированный алгоритм, не требующий явных начальных чисел. Все начинается с одного региона ${\displaystyle A_{1}}$- выбранный здесь пиксель не оказывает заметного влияния на окончательную сегментацию. На каждой итерации он учитывает соседние пиксели так же, как растёт засеянная область. Он отличается от посевной области тем, что если минимальная ${\displaystyle \delta }$ меньше предопределенного порога ${\displaystyle T}$ затем он добавляется в соответствующий регион ${\displaystyle A_{j}}$. Если нет, то пиксель считается отличным от всех текущих регионов. ${\displaystyle A_{i}}$ и новый регион ${\displaystyle A_{n+1}}$ создается с помощью этого пикселя.

Один из вариантов этой техники, предложенный Харалик и Шапиро (1985),^[1] основан на пикселе интенсивности. В иметь в виду и разбросать области и интенсивность пикселя-кандидата используются для вычисления тестовой статистики. Если статистика теста достаточно мала, пиксель добавляется к области, а среднее значение области и разброс вычисляются заново. В противном случае пиксель отклоняется и используется для формирования новой области.

Особый региональный метод выращивания называется ${\displaystyle \lambda }$-связанная сегментация (см. также лямбда-связность ). Он основан на пикселе интенсивности и пути, связывающие районы. Степень связности (связности) рассчитывается на основе пути, образованного пикселями. За определенное значение ${\displaystyle \lambda }$, два пикселя называются ${\displaystyle \lambda }$-связано, если существует путь, соединяющий эти два пикселя, и связность этого пути не менее ${\displaystyle \lambda }$. ${\displaystyle \lambda }$-связность - это отношение эквивалентности.^[32]

Сегментация с разделением и слиянием основан на квадродерево раздел изображения. Иногда это называют сегментацией дерева квадрантов.

Этот метод начинается с корня дерева, представляющего все изображение. Если он оказывается неоднородным (неоднородным), то он разбивается на четыре дочерних квадрата (процесс разделения) и так далее. Если, напротив, четыре дочерних квадрата однородны, они объединяются как несколько связанных компонентов (процесс объединения). Узел в дереве - это сегментированный узел. Этот процесс продолжается рекурсивно до тех пор, пока дальнейшие разделения или слияния не станут невозможными.^[33][34] Когда в реализации алгоритма метода задействована специальная структура данных, его временная сложность может достигать ${\displaystyle O(n\log n)}$, оптимальный алгоритм метода.^[35]

Методы на основе дифференциальных уравнений в частных производных

Используя уравнение в частных производных (PDE) и решая уравнение PDE по числовой схеме, можно сегментировать изображение.^[36] Распространение кривой - популярный метод в этой категории, с многочисленными приложениями для извлечения объектов, отслеживания объектов, стерео реконструкции и т. Д. Центральная идея состоит в том, чтобы развить начальную кривую в направлении наименьшего потенциала функции затрат, где ее определение отражает задачу быть адресованным. Что касается большинства обратные задачи, минимизация функционала стоимости является нетривиальной и накладывает определенные ограничения гладкости на решение, которые в данном случае могут быть выражены как геометрические ограничения на развивающейся кривой.

Параметрические методы

Лагранжиан Методы основаны на параметризации контура в соответствии с некоторой стратегией выборки и последующем развитии каждого элемента в соответствии с изображением и внутренними условиями. Такие методы являются быстрыми и эффективными, однако первоначальная «чисто параметрическая» формулировка (благодаря Кассу, Виткин и Терзопулос в 1987 году и известный как "змеи "), обычно критикуют за его ограничения в отношении выбора стратегии выборки, внутренних геометрических свойств кривой, изменений топологии (разделение и слияние кривой), решения проблем в более высоких измерениях и т. д. В настоящее время эффективные" дискретизированные "формулировки имеют были разработаны для устранения этих ограничений при сохранении высокой эффективности.В обоих случаях минимизация энергии обычно проводится с использованием спуска с наивысшим градиентом, в результате чего производные вычисляются с использованием, например, конечных разностей.

Методы установки уровня

В метод установки уровня изначально был предложен для отслеживания движущихся интерфейсов Дервье и Томассет^[37][38]в 1979 и 1981 годах, а затем был заново изобретен Ошером и Сетхианом в 1988 году.^[39]В конце 1990-х это распространилось на различные области визуализации. Его можно использовать для эффективного решения проблемы кривой / поверхности / и т. Д. распространение неявным образом. Основная идея состоит в том, чтобы представить развивающийся контур с помощью функции со знаком, нуль которой соответствует фактическому контуру. Тогда, согласно уравнению движения контура, можно легко вывести аналогичный поток для неявной поверхности, который при применении к нулевому уровню будет отражать распространение контура. Метод установки уровней дает множество преимуществ: он неявный, не содержит параметров, обеспечивает прямой способ оценки геометрических свойств развивающейся структуры, позволяет изменять топологию и является внутренним. Его можно использовать для определения структуры оптимизации, предложенной Чжао, Мерриманом и Ошером в 1996 году. Можно сделать вывод, что это очень удобная структура для решения многочисленных задач компьютерного зрения и анализа медицинских изображений.^[40] Исследования различных структуры данных с набором уровней привело к очень эффективной реализации этого метода.

Методы быстрого марша

В метод быстрого марша использовался при сегментации изображений,^[41] и эта модель была улучшена (допуская как положительные, так и отрицательные скорости распространения) в подходе, называемом обобщенным методом быстрого перехода.^[42]

Вариационные методы

Целью вариационных методов является поиск сегментации, оптимальной по отношению к конкретному функционалу энергии. Функционалы состоят из члена аппроксимации данных и регуляризующего члена. Классическим представителем является Модель Поттса определено для изображения ${\displaystyle f}$ к

${\displaystyle \operatorname {argmin} _{u}\gamma \|\nabla u\|_{0}+\int (u-f)^{2}\,dx.}$

Минимайзер ${\displaystyle u^{*}}$представляет собой кусочно-постоянное изображение, которое имеет оптимальный компромисс между квадратом расстояния L2 до данного изображения ${\displaystyle f}$и общая длина его набора прыжков. ${\displaystyle u^{*}}$ определяет сегментацию. относительный вес энергий настраивается параметром ${\displaystyle \gamma >0}$.Бинарный вариант модели Поттса, т. Е. Если диапазон значений${\displaystyle u}$ ограничен двумя значениями, часто называется Chan-Весе модель.^[43]Важным обобщением является Модель Мамфорд-Шаха^[44]данный

${\displaystyle \operatorname {argmin} _{u,K}\gamma |K|+\mu \int _{K^{C}}|\nabla u|^{2}\,dx+\int (u-f)^{2}\,dx.}$

Функциональное значение - это сумма общей длины кривой сегментации. ${\displaystyle K}$, гладкость приближения ${\displaystyle u}$, и его расстояние до исходного изображения ${\displaystyle f}$. Вес штрафа за гладкость регулируется ${\displaystyle \mu >0}$Модель Поттса часто называют кусочно-постоянной моделью Мамфорда-Шаха, поскольку ее можно рассматривать как вырожденный случай.${\displaystyle \mu \to \infty }$Как известно, задачи оптимизации в целом являются NP-трудными, но стратегии, близкие к минимизации, хорошо работают на практике. градуированная невыпуклость и Приближение Амброзио-Торторелли.

Методы разбиения графа

График Методы разделения являются эффективными инструментами для сегментации изображений, поскольку они моделируют влияние окрестностей пикселей на заданный кластер пикселей или пиксель в предположении однородности изображений. В этих методах изображение моделируется как взвешенное, неориентированный граф. Обычно пиксель или группа пикселей связаны с узлы и край веса определяют (несходство) между соседними пикселями. Затем граф (изображение) разбивается в соответствии с критерием, разработанным для моделирования «хороших» кластеров. Каждый раздел узлов (пикселей), выводимых этими алгоритмами, считается сегментом объекта на изображении. Некоторые популярные алгоритмы этой категории - это нормализованные разрезы,^[45] случайный бродяга,^[46] минимальный срез,^[47] изопериметрическое разделение,^[48] минимальная сегментация на основе остовного дерева,^[49] и категоризация объектов на основе сегментации.

Марковские случайные поля

Применение Марковские случайные поля (MRF) для изображений был предложен в начале 1984 года Geman и Geman.^[50] Их сильная математическая основа и способность обеспечивать глобальный оптимум даже при определении локальных характеристик оказались основой новых исследований в области анализа изображений, устранения шумов и сегментации. MRF полностью характеризуются своими априорными распределениями вероятностей, распределениями предельных вероятностей, клики, ограничение сглаживания, а также критерий обновления значений. Критерий сегментации изображения с использованием MRF переформулируется как нахождение схемы маркировки, которая имеет максимальную вероятность для данного набора функций. Широкие категории сегментации изображений с использованием MRF включают контролируемую и неконтролируемую сегментацию.

Контролируемая сегментация изображений с использованием MRF и MAP

С точки зрения сегментации изображения функция, которую MRF стремятся максимизировать, - это вероятность идентификации схемы маркировки при условии, что в изображении обнаружен конкретный набор функций. Это повторение максимальная апостериорная оценка метод.

Окрестности MRF для выбранного пикселя

Общий алгоритм сегментации изображений с использованием MAP приведен ниже:

1. Определите окрестности каждого объекта (случайная величина в терминах MRF).
   Обычно это включает соседей 1-го или 2-го порядка.
2. Установите начальные вероятности п(ж_я)> для каждой функции как 0 или
3. куда ж_я ∈ Σ набор, содержащий извлеченные функции
   для пикселя я и определите начальный набор кластеров.
4. Используя данные обучения, вычислите среднее значение (μ_ℓя) и дисперсия (σ_ℓя) для каждой метки. Это называется классовой статистикой.
5. Вычислить предельное распределение для данной схемы маркировки п(ж_я | ℓ_я) с помощью Теорема Байеса и статистика класса, рассчитанная ранее. Для маржинального распределения используется гауссовская модель.

   ${\displaystyle {\frac {1}{\sigma (\ell _{i}){\sqrt {2\pi }}}}e^{-(f_{i}-\mu (\ell _{i}))^{2}/(2\sigma (\ell _{i})^{2})}\,d\ell _{i}}$

6. Вычислите вероятность каждой метки класса с учетом ранее определенной окрестности.
   Клика потенциалы используются для моделирования социального воздействия маркировки.
7. Перебирайте новые априорные вероятности и переопределяйте кластеры так, чтобы эти вероятности были максимальными.
   Это делается с помощью множества алгоритмов оптимизации, описанных ниже.
8. Остановитесь, когда вероятность максимальна и схема маркировки не изменится.
   Расчеты могут быть реализованы в логарифмическая вероятность сроки тоже.

Алгоритмы оптимизации

Каждый алгоритм оптимизации представляет собой адаптацию моделей из множества областей, и они отличаются своими уникальными функциями стоимости. Общей чертой функций стоимости является наказание за изменение значения пикселя, а также за разницу в метке пикселя по сравнению с метками соседних пикселей.

Итерированные условные режимы / градиентный спуск

В итерированные условные режимы (ICM) алгоритм пытается восстановить идеальную схему маркировки, изменяя значения каждого пикселя на каждой итерации и оценивая энергию новой схемы маркировки, используя приведенную ниже функцию стоимости.

${\displaystyle \alpha (1-\delta (\ell _{i}-\ell _{{\text{initial }}i})+\beta \Sigma _{q\in N(i)}(1-\delta (\ell _{i},\ell _{q(i)})).}$

куда α штраф за изменение метки пикселя и β - штраф за разницу в метке между соседними пикселями и выбранным пикселем. Здесь ${\displaystyle N(i)}$ является окрестностью пикселя i и δ - дельта-функция Кронекера. Основная проблема с ICM заключается в том, что, как и в случае с градиентным спуском, он имеет тенденцию задерживаться над локальными максимумами и, таким образом, не может получить глобально оптимальную схему маркировки.

Имитация отжига (SA)

Получен как аналог отжига в металлургии, имитация отжига (SA) использует изменение метки пикселя во время итераций и оценивает разницу в энергии каждого вновь сформированного графа с исходными данными. Если вновь сформированный график более выгоден с точки зрения низких затрат на энергию, рассчитывается следующим образом:

${\displaystyle \Delta U=U^{\text{new}}-U^{\text{old}}}$

${\displaystyle \ell _{i}={\begin{cases}\ell _{i}^{\text{new}},&{\text{if }}\Delta U\leq 0,\\\ell _{i}^{\text{new}},&{\text{if }}\Delta U>0{\text{ and }}\delta <e^{-\Delta U/T},\ell _{i}^{\text{old}}\end{cases}}}$

алгоритм выбирает вновь сформированный граф. Имитация отжига требует ввода температурных графиков, которые напрямую влияют на скорость сходимости системы, а также на порог энергии для минимизации.

Альтернативные алгоритмы

Существует ряд других методов для решения как простых, так и MRF более высокого порядка. Они включают максимизацию заднего края, многомасштабную оценку MAP,^[51] Сегментация с несколькими разрешениями^[52] и больше. Помимо оценок правдоподобия, разрезание графа с использованием максимального потока^[53] и другие сильно ограниченные методы на основе графов^[54][55] существуют для решения MRF.

Сегментация изображений с использованием MRF и максимального ожидания

В алгоритм ожидания – максимизации используется для итеративной оценки апостериорных вероятностей и распределений разметки, когда данные обучения недоступны и невозможно сформировать оценку модели сегментации. Общий подход состоит в том, чтобы использовать гистограммы для представления характеристик изображения и действовать, как кратко изложено в этом трехэтапном алгоритме:

1. Используется случайная оценка параметров модели.

2. Шаг E: оценка статистики класса на основе определенной модели случайной сегментации. Используя их, вычислите условная возможность принадлежности к метке с учетом набора функций рассчитывается с использованием наивных Теорема Байеса.

${\displaystyle P(\lambda \mid f_{i})={\frac {P(f_{i}\mid \lambda )P(\lambda )}{\Sigma _{\lambda \in \Lambda }P(f_{i}\mid \lambda )P(\lambda )}}}$

Здесь ${\displaystyle \lambda \in \Lambda }$, набор всех возможных этикеток.

3. M-шаг: установленная релевантность данного набора характеристик схеме маркировки теперь используется для вычисления априорной оценки данной метки во второй части алгоритма. Поскольку фактическое количество общих меток неизвестно (из набора обучающих данных), в вычислениях используется скрытая оценка количества меток, заданных пользователем.

${\displaystyle P(\lambda )={\frac {\Sigma _{\lambda \in \Lambda }P(\lambda \mid f_{i})}{|\Omega |}}}$

куда ${\displaystyle \Omega }$ это набор всех возможных функций.

Сегментация цветного изображения с использованием модели HMRF-EM

Недостатки сегментации изображений на основе MAP и EM

1. Точные оценки MAP не могут быть легко вычислены.
2. Расчет приблизительных оценок MAP требует больших вычислительных ресурсов.
3. Расширение до мультиклассовой маркировки снижает производительность и увеличивает необходимое пространство для хранения.
4. Для достижения глобальных оптимумов требуется надежная оценка параметров ЭМ.
5. На основе метода оптимизации сегментация может группироваться до локальных минимумов.

Трансформация водораздела

В преобразование водораздела рассматривает величину градиента изображения как топографическую поверхность. Пиксели, имеющие наивысшие значения интенсивности градиента (GMI), соответствуют линиям водоразделов, которые представляют границы области. Вода, помещенная на любой пиксель, ограниченный общей линией водораздела, течет вниз до общего локального минимума интенсивности (LIM). Пиксели, стекающие к общему минимуму, образуют бассейн, который представляет собой сегмент.

Сегментация на основе модели

Центральное предположение подходов, основанных на моделях, заключается в том, что интересующие структуры имеют тенденцию к определенной форме. Следовательно, можно искать вероятностную модель, которая характеризует форму и ее изменение. При сегментировании изображения ограничения могут быть наложены с использованием этой модели в качестве априорной.^[56]Такая задача может включать в себя (i) регистрацию обучающих примеров для общей позы, (ii) вероятностное представление вариации зарегистрированных образцов и (iii) статистический вывод между моделью и изображением. Другие важные методы, описанные в литературе для сегментации на основе моделей, включают: активные модели формы и модели активного внешнего вида.

Многомасштабная сегментация

Сегментация изображения вычисляется в нескольких масштабах в масштабное пространство и иногда размножается от крупной до мелкой чешуи; видеть сегментация масштабного пространства.

Критерии сегментации могут быть произвольно сложными и могут учитывать как глобальные, так и локальные критерии. Общее требование - каждый регион должен быть в некотором смысле связан.

Одномерная иерархическая сегментация сигналов

Основополагающая работа Уиткина^[57][58] В масштабное пространство включено понятие, что одномерный сигнал может быть однозначно сегментирован на области с одним параметром масштаба, контролирующим масштаб сегментации.

Ключевое наблюдение состоит в том, что пересечения нуля вторых производных (минимумов и максимумов первой производной или наклона) многомасштабных сглаженных версий сигнала образуют дерево вложенности, которое определяет иерархические отношения между сегментами на разных масштабах. В частности, экстремумы наклона на крупных масштабах можно проследить до соответствующих особенностей на мелких масштабах. Когда максимум наклона и минимум наклона аннигилируют друг друга в большем масштабе, три сегмента, которые они разделяют, сливаются в один сегмент, тем самым определяя иерархию сегментов.

Сегментация изображения и первичный эскиз

В этой области было проведено множество исследовательских работ, из которых некоторые сейчас достигли состояния, когда они могут применяться либо с интерактивным ручным вмешательством (обычно с применением к медицинской визуализации), либо полностью автоматически. Ниже приводится краткий обзор некоторых основных исследовательских идей, на которых основаны современные подходы.

Однако структура вложенности, описанная Уиткиным, специфична для одномерных сигналов и нетривиально переносится на изображения более высокой размерности. Тем не менее эта общая идея вдохновила нескольких других авторов на исследование схем от грубого к точному для сегментации изображений. Koenderink^[59] предложили изучить, как изоинтенсивные контуры эволюционируют по масштабам, и этот подход был более подробно исследован Лифшицем и Пизером.^[60]К сожалению, однако, интенсивность элементов изображения изменяется в зависимости от масштаба, что означает, что трудно отследить крупномасштабные элементы изображения до более мелких масштабов, используя информацию изоинтенсивности.

Lindeberg^[61][62] изучил проблему связывания локальных экстремумов и седловых точек по масштабам и предложил представление изображения, называемое первичным эскизом в масштабном пространстве, которое делает явными отношения между структурами в разных масштабах, а также делает явным, какие особенности изображения являются стабильными в больших диапазонах масштабов включая масштаб, соответствующий местным условиям. Бергхольм предложил обнаруживать края в грубых масштабах в пространстве масштабов, а затем прослеживать их до более мелких масштабов с ручным выбором шкалы грубого обнаружения и шкалы точной локализации.

Гауч и Пайзер^[63] изучили дополнительную проблему хребтов и долин в различных масштабах и разработали инструмент для интерактивной сегментации изображений на основе многомасштабных водоразделов. Использование многомасштабного водораздела с приложением к карте градиентов также исследовали Олсен и Нильсен.^[64] и был переведен на клиническое использование компанией Dam.^[65]Vincken et al.^[66] предложил гиперстек для определения вероятностных отношений между структурами изображений в различных масштабах. Ахуджа поддержал использование стабильных структур изображения в масштабе.^[67][68] и его коллег в полностью автоматизированную систему. Полностью автоматический алгоритм сегментации мозга, основанный на тесно связанных идеях многомасштабных водоразделов, был представлен Ундеманом и Линдебергом.^[69] и был тщательно протестирован в базах данных мозга.

Эти идеи многомасштабной сегментации изображения путем связывания структур изображения по масштабам также были подхвачены Флорак и Куиджпер.^[70] Биджауи и Руэ^[71] Свяжите структуры, обнаруженные в масштабном пространстве выше минимального порога шума, в дерево объектов, которое охватывает несколько масштабов и соответствует некоторому типу функции в исходном сигнале. Извлеченные объекты точно реконструируются с использованием итеративного метода матрицы сопряженных градиентов.

Полуавтоматическая сегментация

В одном из видов сегментации пользователь выделяет интересующую область с помощью щелчков мышью, и алгоритмы применяются так, чтобы был показан путь, который лучше всего подходит к краю изображения.

Такие методы, как SIOX, Livewire, Интеллектуальные ножницы или IT-SNAPS используются в этом виде сегментации. В альтернативном виде полуавтоматической сегментации алгоритмы возвращают пространственный таксон (то есть передний план, группу объектов, объект или часть объекта), выбранный пользователем или назначенный с помощью априорных вероятностей.^[72][73]

Обучаемая сегментация

Большинство вышеупомянутых методов сегментации основаны только на информации о цвете пикселей изображения. Люди используют гораздо больше знаний при выполнении сегментации изображений, но внедрение этих знаний потребует значительных человеческих затрат и вычислительного времени, а также потребует огромных затрат. базовые знания база данных, которая в настоящее время не существует. Обучаемые методы сегментации, такие как нейронная сеть сегментации, преодолевают эти проблемы, моделируя знания предметной области на основе набора данных помеченных пикселей.

Сегментация изображения нейронная сеть может обрабатывать небольшие области изображения для выделения простых элементов, например краев.^[74] Затем другая нейронная сеть или любой механизм принятия решений могут объединить эти функции, чтобы соответствующим образом пометить области изображения. Тип сети, спроектированной таким образом, - это Карта Кохонена.

Нейронные сети с импульсной связью (PCNN) это нейронные модели, предложенные путем моделирования зрительной коры головного мозга кошки и разработанные для высокопроизводительных биомиметик обработка изображений В 1989 году Райнхард Экхорн представил нейронную модель, имитирующую механизм зрительной коры головного мозга кошки. Модель Экхорна предоставила простой и эффективный инструмент для изучения зрительной коры мелких млекопитающих и вскоре была признана имеющей значительный потенциал для применения в обработке изображений. В 1994 году модель Экхорна была адаптирована в качестве алгоритма обработки изображений Джоном Л. Джонсоном, который назвал этот алгоритм импульсной нейронной сетью.^[75] За последнее десятилетие PCNN использовались для множества приложений обработки изображений, в том числе для сегментации изображений, генерации признаков, выделения лиц, обнаружения движения, увеличения области, уменьшения шума и т. Д. PCNN - это двухмерная нейронная сеть. . Каждый нейрон в сети соответствует одному пикселю во входном изображении, получая информацию о цвете соответствующего пикселя (например, интенсивность) в качестве внешнего стимула. Каждый нейрон также соединяется со своими соседними нейронами, получая от них локальные стимулы. Внешние и местные стимулы объединяются во внутреннюю систему активации, которая накапливает стимулы до тех пор, пока не превысит динамический порог, что приводит к импульсному выходу. Путем итеративного вычисления нейроны PCNN производят временные серии выходных импульсов. Временной ряд выходных импульсов содержит информацию о входных изображениях и может использоваться для различных приложений обработки изображений, таких как сегментация изображения и генерация признаков. По сравнению с обычными средствами обработки изображений, PCNN имеют несколько существенных достоинств, включая устойчивость к шуму, независимость от геометрических изменений во входных рисунках, способность преодолевать незначительные изменения интенсивности во входных рисунках и т. Д.

U-Net это сверточная нейронная сеть который принимает на вход изображение и выводит метку для каждого пикселя.^[76] Первоначально U-Net был разработан для обнаружения границ клеток на биомедицинских изображениях. U-Net следует классическим автоэнкодер архитектура, как таковая, состоит из двух подструктур. Структура кодировщика следует традиционному стеку сверточных слоев и слоев максимального пула, чтобы уменьшить принимающее поле, когда оно проходит через слои. Он используется для фиксации контекста изображения. Структура декодера использует транспонированные сверточные слои для повышения дискретизации, так что конечные размеры близки к размерам входного изображения. Пропускные соединения размещаются между сверточными и транспонированными сверточными слоями одинаковой формы, чтобы сохранить детали, которые в противном случае были бы потеряны.

В дополнение к задачам семантической сегментации на уровне пикселей, которые присваивают заданную категорию каждому пикселю, современные приложения сегментации включают задачи семантической сегментации на уровне экземпляра, в которых каждый человек в данной категории должен быть однозначно идентифицирован, а также задачи паноптической сегментации, которые объединяют эти две задачи для обеспечения более полной сегментации сцены.^[77]

Сегментация похожих изображений и видео

Основная статья: Совместная сегментация объектов

Связанные изображения, такие как фотоальбом или последовательность видеокадров, часто содержат семантически похожие объекты и сцены, поэтому часто полезно использовать такие корреляции.^[78] Задача одновременного сегментирования сцен из связанных изображений или видеокадров называется совместная сегментация,^[11] который обычно используется в локализация действий человека. В отличие от обычных Ограничительная рамка -основан обнаружение объекта методы локализации действий человека обеспечивают более детализированные результаты, обычно маски сегментации по изображению, очерчивающие интересующий человеческий объект и его категорию действия (например, Сегмент-трубка^[12]). Такие методы, как динамические Марковские сети, CNN и LSTM часто используются для использования межкадровых корреляций.

Другие методы

Есть много других методов сегментации, например мультиспектральная сегментация или сегментация на основе подключения на основе Изображения DTI.^[79][80]

Тестирование сегментации

Доступны несколько тестов сегментации для сравнения производительности методов сегментации с современными методами сегментации на стандартизованных наборах:

• Пражский онлайн-тест сегментации текстур^[81]
• Набор данных сегментации Беркли и эталонный тест^[82]

Смотрите также

• Совместная сегментация объектов
• Компьютерное зрение
• Создание сетки на основе изображений
• Сегментация изображения диапазона
• Векторное квантование
• Квантование изображения
• Цветовое квантование
• Объектный анализ изображений
• Список инструментов ручного аннотирования изображений

Примечания

1. Линда Г. Шапиро и Джордж К. Стокман (2001): «Компьютерное зрение», стр. 279–325, Нью-Джерси, Прентис-Холл, ISBN  0-13-030796-3
2. Баргоут, Лорен и Лоуренс В. Ли. «Система обработки перцептивной информации». Заявка на патент США 10/618 543, поданная Paravue Inc., 11 июля 2003 г.
3. Захов, Стефан, Майкл Зильске и Ханс-Кристиан Хеге. "Трехмерная реконструкция индивидуальной анатомии по данным медицинских изображений: сегментация и обработка геометрии." (2007).
4. Белонги, Серж и др. "Сегментация изображения на основе цвета и текстуры с использованием EM и его приложения для поиска изображений на основе содержимого. »Шестая международная конференция по компьютерному зрению (IEEE Cat. No. 98CH36271). IEEE, 1998.
5. Pham, Dzung L .; Сюй, Чэньян; Принц, Джерри Л. (2000). «Современные методы сегментации медицинских изображений». Ежегодный обзор биомедицинской инженерии. 2: 315–337. Дои:10.1146 / annurev.bioeng.2.1.315. PMID  11701515.
6. Forghani, M .; Forouzanfar, M .; Тешнехлаб, М. (2010). «Оптимизация параметров улучшенного алгоритма кластеризации нечетких c-средних для сегментации МРТ изображений мозга». Инженерные приложения искусственного интеллекта. 23 (2): 160–168. Дои:10.1016 / j.engappai.2009.10.002.
7. W. Wu, AYC Chen, L. Zhao и JJ Corso (2014): «Обнаружение и сегментация опухолей мозга в рамках CRF с попарно-пиксельным сродством и функциями супер-пиксельного уровня», Международный журнал компьютерной радиологии и хирургии, стр. 241–253, Т. 9.
8. Э. Б. Джордж и М. Карнан (2012): "МРТ-сегментация изображения мозга с использованием алгоритма оптимизации сбора бактерий ", Международный журнал техники и технологий, Vol. 4.
9. Камалаканнан, Шридхаран; Гурураджан, Арункумар; Сари-Сарраф, Хамед; Родни, Лонг; Антани, Самир (17 февраля 2010 г.). «Обнаружение двойного края рентгенографических изображений поясничных позвонков с использованием сжатых открытых змей DGVF». IEEE Transactions по биомедицинской инженерии. 57 (6): 1325–1334. Дои:10.1109 / tbme.2010.2040082. PMID  20172792. S2CID  12766600.
10. Дж. А. Дельмерико, П. Дэвид и Дж. Дж. Корсо (2011 г.): "Обнаружение фасадов зданий, сегментация и оценка параметров для локализации и управления мобильным роботом ", Международная конференция по интеллектуальным роботам и системам, стр. 1632–1639.
11. Лю, Цзыи; Ван, Ле; Хуа, банда; Чжан, Цилинь; Ню, Чжэньсин; У, Инь; Чжэн, Наньнин (2018). «Совместное обнаружение и сегментация видеообъектов с помощью связанных динамических сетей Маркова» (PDF). IEEE Transactions по обработке изображений. 27 (12): 5840–5853. Bibcode:2018ITIP ... 27.5840L. Дои:10.1109 / tip.2018.2859622. ISSN  1057-7149. PMID  30059300. S2CID  51867241.
12. Ван, Ле; Дуань, Сюйхуань; Чжан, Цилинь; Ню, Чжэньсин; Хуа, банда; Чжэн, Наньнин (22.05.2018). «Сегмент-трубка: пространственно-временная локализация действия в видео без обрезки с покадровой сегментацией» (PDF). Датчики. 18 (5): 1657. Дои:10,3390 / с18051657. ISSN  1424-8220. ЧВК  5982167. PMID  29789447.
13. АМЗА, КАТАЛИН. "ОБЗОР МЕТОДОВ СЕГМЕНТАЦИИ ИЗОБРАЖЕНИЙ НА ОСНОВЕ НЕЙРОННОЙ СЕТИ" (PDF).
14. Го, Дачжоу; Пей, Янтин; Чжэн, Канг; Ю, Хонгкай; Лу, Юханг; Ван, Сон (2020). «Семантическая сегментация деградированного изображения с помощью сетей плотной грамматики». IEEE Transactions по обработке изображений. 29: 782–795. Дои:10.1109 / TIP.2019.2936111. ISSN  1057-7149.
15. Йи, Джингру; У, Пэнсян; Цзян, Менглин; Хуан, Цяоин; Hoeppner, Daniel J .; Метаксас, Димитрис Н. (июль 2019 г.). «Сегментация экземпляра внимательной нервной клетки». Анализ медицинских изображений. 55: 228–240. Дои:10.1016 / j.media.2019.05.004.
16. Batenburg, KJ .; Сиджберс, Дж. (2009). «Адаптивная пороговая обработка томограмм путем минимизации проекционного расстояния». Распознавание образов. 42 (10): 2297–2305. CiteSeerX  10.1.1.182.8483. Дои:10.1016 / j.patcog.2008.11.027.
17. Batenburg, KJ .; Сиджберс, Дж. (Июнь 2009 г.). «Выбор оптимального порога сегментации томограммы путем минимизации проекционного расстояния». IEEE Transactions по медицинской визуализации. 28 (5): 676–686. Дои:10.1109 / tmi.2008.2010437. PMID  19272989. S2CID  10994501. Архивировано из оригинал (PDF) на 2013-05-03. Получено 2012-07-31.
18. Kashanipour, A .; Милани, N; Kashanipour, A .; Еграри, Х. (май 2008 г.). "Надежная цветовая классификация с использованием оптимизации роя частиц на основе нечетких правил". Конгресс IEEE по обработке изображений и сигналов. 2: 110–114. Дои:10.1109 / CISP.2008.770. ISBN  978-0-7695-3119-9. S2CID  8422475.
19. Баргут, Лорен; Шейнин, Яков (2013). «Восприятие сцены реального мира и организация восприятия: уроки компьютерного зрения». Журнал видения. 13 (9): 709. Дои:10.1167/13.9.709.
20. Хоссейн Мобахи; Шанкар Рао; Аллен Янг; Шанкар Састри; Йи Ма. (2011). «Сегментация естественных изображений по текстуре и граничному сжатию» (PDF). Международный журнал компьютерного зрения. 95: 86–98. arXiv:1006.3679. CiteSeerX  10.1.1.180.3579. Дои:10.1007 / s11263-011-0444-0. S2CID  11070572. Архивировано из оригинал (PDF) на 2017-08-08. Получено 2011-05-08.
21. Шанкар Рао, Хоссейн Мобахи, Аллен Ян, Шанкар Састри и Йи Ма Естественная сегментация изображения с адаптивной текстурой и граничным кодированием В архиве 2016-05-19 в Wayback Machine, Материалы Азиатской конференции по компьютерному зрению (ACCV) 2009 г., Х. Чжа, Р.-и. Танигучи и С. Мэйбанк (ред.), Часть I, LNCS 5994, стр. 135–146, Springer.
22. Оландер, Рон; Прайс, Кейт; Редди, Д. Радж (1978). «Сегментация изображения с использованием метода рекурсивного разделения области». Компьютерная графика и обработка изображений. 8 (3): 313–333. Дои:10.1016 / 0146-664X (78) 90060-6.
23. Р. Киммел, А. Bruckstein. https://www.cs.technion.ac.il/~ron/PAPERS/Paragios_chapter2003.pdf, Международный журнал компьютерного зрения 2003; 53(3):225–243.
24. Р. Киммел, https://www.cs.technion.ac.il/~ron/PAPERS/laplacian_ijcv2003.pdf, глава в Методах геометрического уровня в визуализации, зрении и графике (С. Ошер, Н. Парагиос, ред.), Springer Verlag, 2003. ISBN  0387954880
25. Баргоут, Лорен. Визуальный таксометрический подход Сегментация изображения с использованием нечетко-пространственного вырезания таксонов дает контекстуально релевантные регионы. Коммуникации в компьютерных и информационных науках (CCIS). Springer-Verlag. 2014 г.
26. Витольд Педрич (редактор), Анджей Сковрон (соредактор), Владик Крейнович (соредактор). Справочник по гранулярным вычислениям. Wiley 2008
27. Бархут, Лорен (2014). Зрение. Глобальный концептуальный контекст меняет обработку локального контраста (докторская диссертация, 2003 г.). Обновлено, чтобы включить методы компьютерного зрения. Научная пресса. ISBN  978-3-639-70962-9.
28. Баргоут, Лорен и Лоуренс Ли. «Система обработки перцептивной информации». Патенты Google
29. Lindeberg, T .; Ли, М.-Х. (1997). «Сегментация и классификация ребер с использованием аппроксимации минимальной длины описания и дополнительных точек соединения». Компьютерное зрение и понимание изображений. 67 (1): 88–98. Дои:10.1006 / cviu.1996.0510.
30. [1] В архиве 2017-10-13 на Wayback MachineШелия Губерман, Максимов Вадим Васильевич, Пашинцев Алексей Понимание гештальт и изображений. ГЕСТАЛЬТ-ТЕОРИЯ 2012, Т. 34, №2, 143–166.
31. Р. Нок и Ф. Нильсен, Статистическое объединение регионов, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol 26, No. 11, pp 1452–1458, 2004.
32. Л. Чен, Х. Д. Ченг и Дж. Чжан, Нечеткое субволокно и его применение к классификации сейсмической литологии, Информатика: приложения, Том 1, № 2, стр 77–95, 1994.
33. S.L. Горовиц и Т. Павлидис, Сегментация изображения с помощью направленной процедуры разделения и слияния, Proc. ICPR, 1974, Дания, стр. 424–433.
34. S.L. Хоровиц и Т. Павлидис, Сегментация изображений с помощью алгоритма обхода дерева, Журнал ACM, 23 (1976), стр. 368–388.
35. Л. Чен, Лямбда-связная сегментация и оптимальный алгоритм сегментации с разделением и слиянием, Chinese J. Computers, 14 (1991), стр. 321–331.
36. Caselles, V .; Kimmel, R .; Сапиро, Г. (1997). «Геодезические активные контуры» (PDF). Международный журнал компьютерного зрения. 22 (1): 61–79. Дои:10.1023 / А: 1007979827043. S2CID  406088.
37. Дервье А. и Томассет Ф. 1979. Метод конечных элементов для моделирования неустойчивости Рэли-Тейлора. Springer Lect. Заметки по математике, 771: 145–158.
38. Дервье А. и Томассет Ф. 1981. Течения многожидкостной несжимаемой жидкости методом конечных элементов. Конспект лекций по физике, 11: 158–163.
39. Ошер, Стэнли; Сетиан, Джеймс А. (1988). «Фронты, распространяющиеся со скоростью, зависящей от кривизны: алгоритмы, основанные на формулировках Гамильтона-Якоби». Журнал вычислительной физики. 79 (1): 12–49. Bibcode:1988JCoPh..79 ... 12O. CiteSeerX  10.1.1.46.1266. Дои:10.1016/0021-9991(88)90002-2. ISSN  0021-9991.
40. С. Ошер и Н. Парагиос.Методы установки геометрического уровня в визуализации и графике, Springer Verlag, ISBN  0-387-95488-0, 2003.
41. Джеймс А. Сетиан. «Сегментация в медицинской визуализации». Получено 15 января 2012.
42. Форкадель, Николас; Ле Гюядер, Кэрол; Подагра, Кристиан (июль 2008 г.), «Обобщенный метод быстрого перехода: приложения для сегментации изображений», Численные алгоритмы, 48 (1–3): 189–211, Дои:10.1007 / s11075-008-9183-х, S2CID  7467344
43. Chan, T.F .; Весе, Л. (2001). «Активные контуры без краев». IEEE Transactions по обработке изображений. 10 (2): 266–277. Bibcode:2001ITIP ... 10..266C. Дои:10.1109/83.902291. PMID  18249617.
44. Дэвид Мамфорд и Джаянт Шах (1989): Оптимальные приближения кусочно гладкими функциями и связанные с ними вариационные задачи, Сообщения по чистой и прикладной математике, pp 577–685, Vol. 42, № 5
45. Цзяньбо Ши и Джитендра Малик (2000): «Нормализованные сокращения и сегментация изображений», IEEE Transactions по анализу шаблонов и машинному анализу, pp 888–905, Vol. 22, № 8
46. Лео Грейди (2006): «Случайные блуждания для сегментации изображений», IEEE Transactions по анализу шаблонов и машинному анализу, стр. 1768–1783, Vol. 28, № 11
47. З. Ву и Р. Лихи (1993): «Оптимальный теоретико-графический подход к кластеризации данных: теория и ее применение к сегментации изображений»^{[постоянная мертвая ссылка ]}, IEEE Transactions по анализу шаблонов и машинному анализу, стр. 1101–1113. 15, №11
48. Лео Грейди и Эрик Л. Шварц (2006): «Изопериметрическое разбиение графа для сегментации изображений» В архиве 2011-07-19 на Wayback Machine, IEEE Transactions по анализу шаблонов и машинному анализу, стр. 469–475, Vol. 28, № 3
49. К. Т. Зан (1971): «Теоретико-графические методы обнаружения и описания гештальт-кластеров», Транзакции IEEE на компьютерахС. 68–86. 20, №1
50. С. Геман и Д. Геман (1984): «Стохастическая релаксация, распределения Гиббса и байесовское восстановление изображений», IEEE Transactions on Pattern Analysis and Machine Intelligence, стр. 721–741, Vol. 6, №6.
51. А. Боуман и М. Шапиро (2002): «Многомасштабная модель случайного поля для байесовской сегментации изображений», IEEE Transactions по обработке изображений, стр. 162–177, Vol. 3.
52. Дж. Лю и Ю. Х. Ян (1994): "Сегментация цветных изображений с несколькими разрешениями ", IEEE Transactions on Pattern Analysis and Machine Intelligence, pp. 689–700, Vol. 16.
53. С. Висенте, В. Колмогоров и К. Ротер (2008): "Сегментация изображений на основе вырезания графа с априори связности ", CVPR
54. Корсо, З. Ту и А. Юилле (2008): «Маркировка MRF с алгоритмом сдвига графа», Труды международного семинара по комбинаторному анализу изображений
55. Б. Дж. Фрей и Д. Маккаян (1997): "Революция: распространение убеждений в графах с циклами ", Труды систем обработки нейронной информации (НИПС).
56. Staib, L.H .; Дункан, Дж. (1992). «Определение границ с параметрически деформируемыми моделями». IEEE Transactions по анализу шаблонов и машинному анализу. 14 (11): 1061–1075. Дои:10.1109/34.166621. ISSN  0162-8828.
57. Виткин, А. П. "Масштабная фильтрация", Тр. 8-й Int. Совместная конф. Изобразительное искусство. Intell., Карлсруэ, Германия, 1019–1022, 1983.
58. А. Виткин »,Масштабная фильтрация: новый подход к многомасштабному описанию, "в Proc. IEEE Int. Conf. Acoust., Speech, Signal Processing (ICASSP ), т. 9, Сан-Диего, Калифорния, март 1984 г., стр. 150–153.
59. Кендеринк, Ян "Структура образов", Биологическая кибернетика, 50: 363–370, 1984
60. Лифшиц, Л. и Пайзер, С .: Иерархический подход с несколькими разрешениями к сегментации изображения на основе экстремумов интенсивности, IEEE Transactions on Pattern Analysis and Machine Intelligence, 12: 6, 529–540, 1990.
61. Линдеберг, Т .: Обнаружение заметных каплевидных структур изображений и их масштабов с помощью первичного эскиза в масштабном пространстве: метод фокусировки внимания, Международный журнал компьютерного зрения, 11 (3), 283–318, 1993.
62. Линдеберг, Тони, Теория масштабного пространства в компьютерном зрении, Kluwer Academic Publishers, 1994., ISBN  0-7923-9418-6
63. Гауч, Дж. И Пайзер, С .: Анализ гребней и впадин в полутоновых изображениях с множественным разрешением, IEEE Transactions on Pattern Analysis and Machine Intelligence, 15: 6 (июнь 1993 г.), страницы: 635–646, 1993.
64. Олсен, О. и Нильсен, М .: Сегментация водоразделов по многомасштабным градиентам, Proc. of ICIAP 97, Флоренция, Италия, Конспект лекций по информатике, стр. 6–13. Springer Verlag, сентябрь 1997 г.
65. Dam, E., Johansen, P., Olsen, O. Thomsen, A. Darvann, T., Dobrzenieck, A., Hermann, N., Kitai, N., Kreiborg, S., Larsen, P., Nielsen , М .: «Интерактивная многомасштабная сегментация в клиническом использовании» на Европейском конгрессе радиологов 2000 г.
66. Винкен, К., Костер, А. и Фиргевер, М .: Вероятностная многомасштабная сегментация изображения, IEEE Transactions on Pattern Analysis and Machine Intelligence, 19: 2, pp. 109–120, 1997.]
67. М. Табб и Н. Ахуджа, Неконтролируемая многомасштабная сегментация изображений с помощью интегрированного обнаружения краев и областей, IEEE Transactions on Image Processing, Vol. 6, № 5, 642–655, 1997. В архиве 20 июля 2011 г. Wayback Machine
68. Э. Акбас и Н. Ахуджа, «От разрывов рампы к дереву сегментации»
69. К. Ундеман и Т. Линдеберг (2003) "Полностью автоматическая сегментация МРТ-изображений мозга с использованием вероятностной анизотропной диффузии и многомасштабных водоразделов", Proc. Scale-Space'03, остров Скай, Шотландия, Springer Lecture Notes по информатике, том 2695, страницы 641–656.
70. Флорак, Л. и Куиджпер, А .: Топологическая структура изображений в масштабном пространстве, Journal of Mathematical Imaging and Vision, 12: 1, 65–79, 2000.
71. Bijaoui, A .; Руэ, Ф. (1995). «Многомасштабная модель зрения». Обработка сигналов. 46 (3): 345. Дои:10.1016/0165-1684(95)00093-4.
72. Баргоут, Лорен. Визуальный таксометрический подход к сегментации изображений с использованием нечетко-пространственного вырезания таксонов дает контекстуально релевантные области. ИПМУ 2014, Часть II. A. Laurent и др. (Ред.) CCIS 443, стр. 163–173. Springer International Publishing Switzerland
73. Бархут, Лорен (2014). Видение: как глобальный контекст восприятия меняет обработку локального контраста (докторская диссертация, 2003 г.). Обновлено, чтобы включить методы компьютерного зрения. Scholars Press. ISBN  978-3-639-70962-9.
74. Махинда Патхегама & Ö Göl (2004): "Выделение краевых пикселей для сегментации изображения по краям", Сделки в области инженерии, вычислений и технологий, т. 2. С. 213–216, ISSN 1305-5313.
75. Джонсон, Джон Л. (сентябрь 1994 г.). «Нейронные сети с импульсной связью: перевод, вращение, масштаб, искажение и инвариантность сигнала интенсивности для изображений». Прикладная оптика. OSA. 33 (26): 6239–6253. Дои:10.1364 / AO.33.006239. PMID  20936043.
76. Роннебергер, Олаф; Фишер, Филипп; Брокс, Томас (2015). «U-Net: сверточные сети для сегментации биомедицинских изображений». arXiv:1505.04597 [cs.CV ].
77. Александр Кириллов, Кайминг Хе, Росс Гиршик, Карстен Ротер, Петр Доллар (2018). «Паноптическая сегментация». arXiv:1801.00868 [cs.CV ].
78. Висенте, Сара; Ротер, Карстен; Колмогоров, Владимир (2011). Сосегментация объектов. IEEE. Дои:10.1109 / cvpr.2011.5995530. ISBN  978-1-4577-0394-2.
79. Сайгин, З.М., Ошер, Д.Е., Августинак, Дж., Фишл, Б., и Габриэли, Ю.Д.: Сегментация ядер миндалины человека на основе связи с использованием вероятностной трактографии., Neuroimage, 56: 3, стр. 1353–61, 2011.
80. Менке, Р.А., Джбабди, С., Миллер, К.Л., Мэтьюз, П.М. и Зарей, М .: Сегментация черной субстанции у человека на основе связности и ее значение при болезни Паркинсона, Neuroimage, 52: 4, pp. 1175–80, 2010.]
81. Хайндл, Михал; Микес, Станислав (2008). Тест сегментации текстуры. 2008 19-я Международная конференция по распознаванию образов. CiteSeerX  10.1.1.214.2307. Дои:10.1109 / ICPR.2008.4761118. ISBN  978-1-4244-2174-9. S2CID  9191160.
82. Д. Мартин; К. Фаулкс; Д. Таль; Дж. Малик (июль 2001 г.). «База данных человеческих сегментированных природных изображений и ее применение для оценки алгоритмов сегментации и измерения экологической статистики». Proc. 8-я Международная конф. Компьютерное зрение. 2. С. 416–423.

Рекомендации

• Сегментация изображений на основе трехмерной энтропии
• Фруччи, Мария; Саннити ди Баха, Габриэлла (2008). «От сегментации к бинаризации серых изображений». Журнал исследований распознавания образов. 3 (1): 1–13. Дои:10.13176/11.54.

внешняя ссылка

• Пример кода, который выполняет базовую сегментацию, автор Сайед Зайнудин. Технологический университет Малайзии.
• Обобщенный метод быстрого марша Автор: Forcadel et al. [2008] для приложений сегментации изображений.
• Исследовательская группа по обработке изображений Интернет-сообщество по исследованию открытой обработки изображений.
• Методы сегментации при обработке и анализе изображений и Минимизация энергии для сегментации изображений от Mathworks
• Больше методов сегментации изображений с подробными алгоритмами Юй-Сян Ван (王昱 翔), Национальный университет Тайваня, Тайбэй, Тайвань, Китайская республика
• Онлайн-демонстрация кусочно-линейной сегментации изображения от IPOL Journal