Визуальный дескриптор - Visual descriptor

В компьютерное зрение, визуальные дескрипторы или же дескрипторы изображений это описания визуальные особенности содержания в изображений, ролики, или алгоритмы или приложения, которые создают такие описания. Они описывают элементарные характеристики, такие как форма, то цвет, то текстура или движение, среди прочего.

Вступление

В результате новых коммуникационных технологий и массового использования Интернет В нашем обществе количество аудиовизуальной информации, доступной в цифровом формате, значительно увеличивается. Поэтому возникла необходимость в разработке некоторых систем, позволяющих описывать содержание нескольких типов мультимедиа информация для их поиска и классификации.

Аудиовизуальные дескрипторы отвечают за описание содержимого. Эти дескрипторы хорошо осведомлены об объектах и событиях, обнаруженных в видео, изображение или же аудио и они позволяют быстро и эффективно искать аудиовизуальный контент.

Эту систему можно сравнить с поисковые системы для текстового содержания. Хотя несомненно, что найти текст с помощью компьютера относительно легко, гораздо труднее найти конкретные аудио и видео части. Например, представьте, что кто-то ищет счастливого человека. Счастье - это чувство, и его неочевидно. форма, цвет и текстура описание в изображений.

Описание аудиовизуального контента не является поверхностной задачей и имеет важное значение для эффективного использования архивов этого типа. Система стандартизации, которая имеет дело с аудиовизуальными дескрипторами, является MPEG-7 (Группа экспертов по кино - 7).

Типы визуальных дескрипторов

Дескрипторы - это первый шаг к выяснению связи между пиксели содержится в цифровое изображение и что вспоминают люди после наблюдения изображение или группа изображений через несколько минут.

Визуальные дескрипторы делятся на две основные группы:

Дескрипторы общей информации: они содержат дескрипторы низкого уровня, которые описывают цвет, форма, регионы, текстуры и движение.
Дескрипторы информации о конкретных доменах: они предоставляют информацию об объектах и событиях в сцене. Конкретный пример: распознавание лица.

Дескрипторы общей информации

Дескрипторы общей информации состоят из набора дескрипторов, охватывающих различные базовые и элементарные функции, такие как: цвет, текстура, форма, движение, местоположение и другие. Это описание автоматически создается с помощью обработка сигналов.

ЦВЕТ: самое основное качество визуального контента. Определены пять инструментов для описания цвет. Три первых инструмента представляют собой цвет распределение, а последние описывают цвет связь между последовательностями или группой изображений:
- Дескриптор доминирующего цвета (DCD)
- Масштабируемый дескриптор цвета (SCD)
- Дескриптор цветовой структуры (CSD)
- Дескриптор цветового макета (CLD)
- Группа кадра (GoF) или же Группа изображений (GoP)
ТЕКСТУРА: также важное качество для описания изображение. В текстура дескрипторы характеризуют изображение текстуры или регионы. Они наблюдают однородность области и гистограммы границ этих регионов. Набор дескрипторов состоит из:
- Дескриптор однородной текстуры (HTD)
- Дескриптор просмотра текстур (TBD)
- Дескриптор краевой гистограммы (EHD)
ФОРМА: содержит важные семантический информация из-за способности человека распознавать объекты через их форма. Однако эту информацию можно извлечь только с помощью сегментация аналогично тому, что реализует зрительная система человека. В настоящее время такая система сегментации еще не доступна, однако существует ряд алгоритмов, которые считаются хорошим приближением. Эти дескрипторы описывают области, контуры и формы за 2D изображений и для 3D тома. В форма дескрипторы следующие:
- Дескриптор формы на основе области (RSD)
- Дескриптор формы на основе контура (CSD)
- 3-D дескриптор формы (3-D SD)
ДВИЖЕНИЕ: определяется четырьмя разными дескрипторами, которые описывают движение в видео последовательность. Движение связано с движением объектов в последовательности и с камера движение. Эта последняя информация предоставляется устройством захвата, тогда как остальная информация реализуется посредством обработка изображений. Набор дескрипторов следующий:
- Дескриптор активности движения (MAD)
- Дескриптор движения камеры (CMD)
- Дескриптор траектории движения (MTD)
- Дескриптор деформации и параметрического движения (WMD и PMD)
МЕСТО РАСПОЛОЖЕНИЯ: расположение элементов в изображение используется для описания элементов в пространственной области. Кроме того, элементы также могут располагаться во временной области:
- Дескриптор локатора региона (RLD)
- Дескриптор пространственно-временного локатора (STLD)

Дескрипторы информации о конкретных доменах

Эти дескрипторы, которые предоставляют информацию об объектах и событиях в сцене, нелегко извлечь, особенно когда извлечение должно выполняться автоматически. Тем не менее, их можно обработать вручную.

Как упоминалось ранее, распознавание лица является конкретным примером приложения, которое пытается автоматически получить эту информацию.

Дескрипторы приложений

Среди всех приложений наиболее важными являются:

Мультимедиа документы поисковые системы и классификаторы.
Цифровая библиотека: визуальные дескрипторы позволяют проводить очень подробный и конкретный поиск любого видео или же изображение с помощью различных параметров поиска. Например, поиск фильмов, в которых фигурирует известный актер, поиск ролики содержащий гору Эверест и др.
Персонализированная электронная служба новостей.
Возможность автоматического подключения к телеканалу, транслирующему футбольный матч, например, при приближении игрока к площади ворот.
Контроль и фильтрация конкретного аудиовизуального содержания, как насильственные или порнографических материалы. Также авторизация для некоторых мультимедиа содержание.

Смотрите также

внешняя ссылка

Анализ мультимедийного контента с использованием как аудио, так и видео подсказок [1]
Связь визуальных и семантических дескрипторов изображений [2]
Объединение визуальных дескрипторов MPEG-7 для классификации изображений [3]
Краткий справочник MPEG-7 [4]