ВК-6 - VC-6

SMPTE ST 2117-1,[1] неофициально известный как ВК-6, это формат кодирования видео.[2] Это улучшенный ИИ кодек с внутрикадровым сжатием нацелен на высококачественное сжатие неподвижных и движущихся изображений. Кодек реализует без потерь и с потерями сжатие в зависимости от выбранных параметров кодирования. Он был стандартизирован в 2020 году. Более ранние варианты кодека были развернуты V-Nova с 2015 года под торговой маркой Perseus. Кодек основан на иерархических структурах данных, называемых s-деревьями, и не включает DCT или же вейвлет-преобразование сжатие. Механизм сжатия не зависит от сжимаемых данных и может применяться к пиксели а также другие данные, не относящиеся к изображению.

Обзор

ВК-6 кодек оптимизирован для приложений промежуточного, мезонинного или дополнительного кодирования.[2] Как правило, эти приложения включают сжатие готовых композиций для редактирования, добавления, первичного распространения, архивирования и других приложений, где необходимо сохранить качество изображения как можно ближе к исходному, при этом уменьшая битрейты и оптимизация требований к обработке, питанию и хранению. VC-6, как и другие кодеки в этой категории[3][4][5] использует только внутрикадровый сжатия, где каждый кадр хранится независимо и может быть декодирован без зависимости от любого другого кадра.

В отличие от DCT на основе кодеков, VC-6 основан на иерархических, повторяемых структурах s-tree, которые похожи на модифицированные квадродеревья. Эти простые структуры обеспечивают внутренние возможности, такие как массивный параллелизм.[6] и возможность выбора типа фильтрации, используемой для восстановления изображений с более высоким разрешением из изображений с более низким разрешением.[7] В стандарте ВК-6[2] повышающий семплер, разработанный с помощью встроенного Сверточная нейронная сеть предоставляется для оптимизации деталей восстановленного изображения, не требуя больших вычислительных затрат.

Возможность пространственной навигации в битовом потоке VC-6 на нескольких уровнях[2] также предоставляет возможность устройствам декодирования применять больше ресурсов к различным областям изображения, что позволяет Область интересов приложения для работы со сжатыми битовыми потоками, не требуя декодирования изображения с полным разрешением.

История

На NAB Показать в 2015 г. V-Nova заявлено, что «средний выигрыш от сжатия в 2–3 раза на всех уровнях качества при практических сценариях работы в реальном времени по сравнению с H.264, HEVC и JPEG2000.”.[8] Объявление об этом 1 апреля перед крупной торговой выставкой привлекло внимание многих экспертов по компрессии.[нужна цитата ]

С того времени, V-Nova развернули и лицензировали технологию, известную в то время как Perseus,[8] как в приложениях для отправки, так и для распространения по всему миру, включая Sky Italia,[9] Fast Filmz,[10][11] Harmonic Inc, и другие. Вариант технологии, оптимизированный для улучшения кодека распространения, скоро будет стандартизирован как MPEG-5 Часть-2 LCEVC.[12][13][14]

Основные концепции

Самолеты

Стандарт[2] описывает алгоритм сжатия, который применяется к независимым плоскостям данных. Эти самолеты могут быть RGB или же RGBA пиксели, происходящие из камеры, YCbCr пикселей из обычного ТВ-ориентированного видеоисточника или некоторых других плоскостей данных. Может быть до 255 независимых плоскостей данных, и каждая плоскость может иметь сетку значений данных размером до 65535 x 65535. SMPTE ST 2117-1 Стандарт фокусируется на сжатии плоскостей значений данных, обычно пикселей.

Для сжатия и распаковки данных в каждой плоскости VC-6 использует иерархические представления небольших древовидных структур, которые несут метаданные, используемые для прогнозирования других деревьев. В каждой плоскости повторяются 3 фундаментальные структуры.[2]

S-дерево

Основной структурой сжатия в VC-6 является s-tree.[2] Это похоже на квадродерево структура обычная в других схемах. S-дерево состоит из узлов, упорядоченных в древовидной структуре, где каждый узел связан с 4 узлами следующего уровня. Общее количество слоев над корневым узлом известно как подъем из s-дерево. Сжатие достигается в s-дереве с использованием метаданных, чтобы сигнализировать, можно ли предсказать уровни с помощью выборочной передачи данных расширения в потоке битов. Чем больше данных можно предсказать, тем меньше информации будет отправлено и тем лучше коэффициент сжатия.

Tableau

Стандарт[2] определяет таблицу как корневой узел или самый высокий уровень s-дерево, который содержит узлы для другого s-дерева. Как и общие s-деревья, из которых они построены, таблицы упорядочены по уровням с метаданными в узлах, указывающих, предсказываются ли более высокие уровни или передаются в потоке битов.

Эшелон

Иерархическая s-дерево и таблица конструкции в стандарте[2] используются для переноса улучшений (называемых остатками) и других метаданных, чтобы уменьшить количество необработанных данных, которые необходимо переносить в полезной нагрузке битового потока. Последний иерархический инструмент - это способность упорядочивать таблицы так, чтобы данные с каждой плоскости (то есть пикселей) можно было деквантовать с разным разрешением и использовать в качестве предикторов для более высоких разрешений. Каждое из этих разрешений определяется стандартом[2] как эшелон. Каждый эшелон внутри плоскости обозначается индекс, где более отрицательный индекс указывает на низкое разрешение, а больший положительный показатель указывает на более высокое разрешение.

Стандарт ВК-6[2] определяет список повышающих дискретизаторов для увеличения результатов деквантования для вышеприведенного эшелона. Повышающий дискретизатор, который будет использоваться для точной реконструкции, указывается в заголовке битового потока, но декодер может выбрать повышающий дискретизатор, который может больше соответствовать его потребностям. Например, телефон с низким энергопотреблением может предпочесть более низкое энергопотребление идеальной реконструкции, выбрав более простой передискретизатор.

Обзор битового потока

VC-6 является примером внутрикадровое кодирование, где каждое изображение кодируется без ссылки на другие изображения. Это также внутренняя плоскость, где никакая информация из одной плоскости не используется для прогнозирования другой плоскости. В результате битовый поток VC-6 содержит всю информацию для всех плоскостей одного изображения.[2] Последовательность изображений создается путем объединения потоков битов для нескольких изображений или путем их упаковки в контейнер, например MXF или же Quicktime или же Матроска.

Битовый поток VC-6 определен в стандарте.[2] псевдокодом, и на основе этого определения был продемонстрирован эталонный декодер. Первичный заголовок - единственная фиксированная структура, определенная стандартом.[2] Вторичный заголовок содержит информацию о маркерах и размерах в зависимости от значений в основном заголовке. Третичный заголовок полностью вычисляется, а затем структура полезной нагрузки выводится из параметров, вычисленных во время декодирования заголовка.[2]

Обзор декодирования

Стандарт[2] определяет процесс, называемый реконструкция самолета для декодирования изображений из битового потока. Процесс начинается с эшелон имеющий самый низкий индекс. Для этого эшелона прогнозы не используются. Во-первых, правила битового потока используются для восстановления остатков. Далее, обезвреживание и энтропия процессы декодирования выполняются для заполнения сетки значениями данных по каждой координате. Затем эти значения деквантизируются для создания значений полного диапазона, которые можно использовать в качестве прогнозов для эшелона со следующим наивысшим индексом.

Каждый эшелон использует передискретизатор, указанный в заголовке, для создания прогнозируемой плоскости из нижнего эшелона, которая добавляется к остаточной сетке из текущего эшелона, которая может быть повышена в качестве прогноза для следующего эшелона.

Финальный эшелон с полным разрешением, определенный стандартом,[2] имеет индекс 0, и его результаты отображаются, а не используются для другого эшелона.

Параметры апсэмплера

Основные параметры

Стандарт[2] определяет ряд базовых повышающих дискретизаторов[15] для создания прогнозов с более высоким разрешением из эшелонов с более низким разрешением. Есть два линейных повышающих дискретизатора, бикубический и резкий, и повышающий дискретизатор ближайшего соседа.

Апсэмплер сверточной нейронной сети

Определены шесть различных нелинейных повышающих дискретизаторов.[2] набором процессов и коэффициентов, которые представлены в JSON формат.[15] Эти коэффициенты были созданы с использованием сверточной нейронной сети.[16] техники.

Рекомендации

  1. ^ «Результаты поиска IEEE Xplore». ieeexplore.ieee.org. Получено 2020-09-17.
  2. ^ а б c d е ж грамм час я j k л м п о п q р s «ST 2117-1: 2020 - Стандарт SMPTE - Многопланарный формат изображения VC-6 - Часть 1. Элементарный поток битов». Санкт-2117-1: 2020: 1–156. Июль 2020. Дои:10.5594 / SMPTE.ST2117-1.2020. ISBN  978-1-68303-219-9.
  3. ^ «ST 2042-1: 2012 - Стандарт SMPTE - Сжатие видео VC-2». Ст 2042-1: 2012: 1–137. Август 2012 г. Дои:10.5594 / SMPTE.ST2042-1.2012. ISBN  978-1-61482-890-7.
  4. ^ «ST 2019-1: 2016 - Стандарт SMPTE - Формат сжатия изображения и потока данных VC-3». Сб 2019-1: 2016: 1–108. Июнь 2016 г. Дои:10.5594 / SMPTE.ST2019-1.2016. ISBN  978-1-68303-020-1.
  5. ^ «ST 2073-1: 2014 - Стандарт SMPTE - Суть видео VC-5 - Часть 1: Элементарный поток битов». Ст 2073-1: 2014: 1–50. Март 2014 г. Дои:10.5594 / SMPTE.ST2073-1.2014. ISBN  978-1-61482-797-9.
  6. ^ Хунг, Юбин; Розенфельд, Азриэль (1 августа 1989 г.). «Параллельная обработка линейных квадродеревьев на компьютере, подключенном к сетке». Журнал параллельных и распределенных вычислений. 7 (1): 1–27. Дои:10.1016 / 0743-7315 (89) 90049-Х. ISSN  0743-7315.
  7. ^ Самет, Ханан (1988), «Обзор квадродеревьев, октодеревьев и связанных иерархических структур данных», Теоретические основы компьютерной графики и САПР, Берлин, Гейдельберг: Springer Berlin Heidelberg, стр. 51–68, Дои:10.1007/978-3-642-83539-1_2, ISBN  978-3-642-83541-4, получено 2020-09-09
  8. ^ а б "Обзор: V-Nova Perseus: соответствует ли его сжатие шумихе?". Журнал Streaming Media. 2016-06-17. Получено 2020-09-04.
  9. ^ «Sky Italia выбирает V-Nova для расширения охвата IPTV». Цифровое ТВ Европа.
  10. ^ «Индийская компания FastFilmz использует V-Nova для доставки OTT на телефоны 2G». Цифровое ТВ Европа. 2016-04-07. Получено 2020-09-09.
  11. ^ «SHAREit приобретает Fastfilmz для увеличения количества видеоконтента для региональных пользователей». Inc42 Media. 2018-05-08. Получено 2020-09-17.
  12. ^ "MPEG-5 LCEVC".
  13. ^ "V-Nova анонсирует MPEG-5 Part 2 LCEVC". TVB Европа.
  14. ^ "Политика Персея просочилась в NAB вслед за разоблачением MPEG-5". Rethnk Research. 2019-04-11.
  15. ^ а б "Медиа-элемент повышающего дискретизатора ST 2117-1". Стандарты IEEExplore. 2020-07-21.
  16. ^ Арабшахи, П. (май 1996 г.). «Основы искусственных нейронных сетей [Рецензии на книги]». IEEE-транзакции в нейронных сетях. 7 (3): 793. Дои:10.1109 / tnn.1996.501738. ISSN  1045-9227. S2CID  6576607.