Opus (аудиоформат) - Opus (audio format)

Opus
Opus logo2.svg
Расширение имени файла
.opus[1]
Тип интернет-СМИaudio / ogg[2]
аудио / опус (RTP)[3]
РазработанIETF кодек рабочая группа
изначальный выпуск11 сентября 2012 г. (2012-09-11)
Тип форматаАудио
СодержитсяOgg, Матроска, WebM, MPEG-TS
Расширен сШЕЛК, CELT
СтандартRFC 6716
Открытый формат ?да
Интернет сайтопус-кодек.org
либопус
Libopus screenshot.png
Разработчики)Фонд Xiph.Org
изначальный выпуск26 августа 2012 г. (2012-08-26)
Стабильный выпуск
1.3.1 / 12 апреля 2019 г.; 19 месяцев назад (2019-04-12)
Написано вC89
ПлатформаКроссплатформенность
ТипАудиокодек, эталонная реализация
ЛицензияЛицензия BSD с 3 пунктами
Интернет сайтЗагрузки кодеков opus

Opus это с потерями формат кодирования звука разработан Фонд Xiph.Org и стандартизированы Инженерная группа Интернета, предназначенный для эффективного кодовая речь и общее аудио в едином формате, оставив при этом низкая задержка Достаточно для интерактивного общения в реальном времени и достаточно низкой сложности для встроенных процессоров низкого уровня.[4][5] Opus заменяет оба Vorbis и Speex для новых приложений, и несколько тестов слепого прослушивания оценили его как более высокое качество, чем любой другой стандартный аудиоформат при любом заданном битрейте, пока прозрачность достигается, в том числе MP3, AAC, и HE-AAC.[6][7]

Opus сочетает в себе речевую LPC -основан ШЕЛК алгоритм и меньшая задержка MDCT -основан CELT алгоритм, переключаясь между ними или комбинируя их по мере необходимости для максимальной эффективности.[4] Битрейт, полоса пропускания звука, сложность и алгоритм можно легко настроить в каждом кадре. Opus имеет низкую алгоритмическую задержку (по умолчанию 26,5 мс)[8] необходимо для использования как часть канала связи в реальном времени, сетевые музыкальные выступления, и жить синхронизация губ; За счет компромисса между качеством или битрейтом задержка может быть уменьшена до 5 мс. Его задержка исключительно мала по сравнению с конкурирующими кодеками, которые требуют более 100 мс, но Opus очень конкурентоспособен с этими форматами с точки зрения качества на битрейт.[9]

Как открытый формат стандартизирован через RFC 6716, а эталонная реализация называется либопус доступен под Новая лицензия BSD. В ссылке есть как фиксированная точка и плавающая точка оптимизация для устройств низкого и высокого уровня, с SIMD оптимизации на платформах, которые их поддерживают. Все известные патенты на программное обеспечение эта обложка Opus лицензирована под бесплатно термины.[10] Opus широко используется как передача голоса по IP (VoIP) кодек в таких приложениях, как WhatsApp[11][12][13] и PlayStation 4.[14]

Функции

Возможные комбинации битрейта и задержки по сравнению с другими аудиоформатами

Opus поддерживает постоянный и переменный битрейт кодировка от 6кбит / с до 510 кбит / с (или до 256 кбит / с на канал для многоканальных дорожек), размеры кадра от 2,5 мс до 60 мс и пять частота дискретизации от 8 кГц (с полосой пропускания 4 кГц) до 48 кГц (с полосой пропускания 20 кГц, человеческий диапазон слышимости ). Поток Opus может поддерживать до 255 аудиоканалы, и это позволяет канал связи между каналами в группах по два с использованием кодирования средней стороны.

Опус очень короткий задержка (26,5 мс с использованием кадров по умолчанию 20 мс и настроек приложения по умолчанию), что делает его подходящим для приложения реального времени Такие как телефония, Голос по IP и видео-конференция; исследование Зиф привел к CELT кодек, обеспечивающий высочайшее качество при сохранении низкой задержки. В любом потоке Opus скорость передачи данных, полоса пропускания и задержка могут постоянно изменяться без каких-либо искажений или прерываний; даже смешивание пакетов из разных потоков вызовет плавное изменение, а не искажение, обычное для других кодеков. В отличие от Vorbis, Opus не требует большого кодовые книги для каждого отдельного файла, что делает его более эффективным для коротких аудиоклипов и более устойчивым.

Как открытый стандарт, алгоритмы открыто документированы, а эталонная реализация (в том числе исходный код ) опубликовано. Broadcom и Фонд Xiph.Org владеют патенты на программное обеспечение на некоторых алгоритмах CELT, и Skype технологии / Microsoft владеет некоторыми алгоритмами SILK; каждый из них предлагает бессрочную лицензию на использование с Opus, оставляя за собой только право использовать свои патенты для защиты от исков третьих сторон о нарушении авторских прав. Qualcomm, Huawei, France Telecom, и Ericsson заявили, что их патенты могут применяться, что отрицает юрисконсульт Xiph, и никто не возбудил никаких судебных исков.[10][15] Лицензия Opus автоматически и задним числом прекращает свое действие для любого лица, которое пытается подать патентный иск.

Спектрограмма звука в кодировке Opus по мере увеличения битрейта (от ~ 32 до ~ 160 кбит / с) четко демонстрирует поведение нижних частот и лучшее сохранение энергии полосы с помощью CELT (сравните исходный, Vorbis, MP3, AAC ).

Формат Opus основан на сочетании полной пропускной способности CELT формат и речевой ШЕЛК формат, оба сильно модифицированы: CELT основан на модифицированное дискретное косинусное преобразование (MDCT), которые используют большинство музыкальных кодеков, используя CELP методы в частотной области для лучшего прогнозирования, в то время как SILK использует кодирование с линейным прогнозированием (LPC) и дополнительный фильтр долгосрочного прогнозирования для моделирования речи. В Opus оба были изменены для поддержки большего размера кадра, а также для дальнейших улучшений алгоритмов и интеграции, таких как использование CELT. датчик диапазона для обоих типов. Чтобы минимизировать накладные расходы при низких скоростях передачи данных, если задержка не такая значительная, в SILK есть поддержка упаковки нескольких 20-мс кадров вместе, совместного использования контекста и заголовков; SILK также допускает кадры с избыточностью с низкой скоростью передачи данных (LBRR), что позволяет восстанавливать потери пакетов низкого качества. CELT включает как спектральную репликацию, так и генерацию шума, аналогично SBR и PNS AAC, и может дополнительно экономить биты, полностью отфильтровывая все гармоники тональных звуков, а затем реплицируя их в декодере.[16] Улучшение обнаружения тонов - это постоянный проект по повышению качества.

Формат имеет три различных режима: речевой, гибридный и CELT. При сжатии речи SILK используется для звуковых частот до 8 кГц. Если требуется более широкая полоса пропускания, в гибридном режиме используется CELT для кодирования диапазона частот выше 8 кГц. Третий режим - чистый CELT, разработанный для обычного звука. SILK по своей сути является VBR и не может достичь целевого значения битрейта, в то время как CELT всегда может быть закодирован в любое определенное количество байтов, включая гибридный и CELT режим, когда требуется CBR.

SILK поддерживает размеры кадра 10, 20, 40 и 60 мс. CELT поддерживает размеры кадра 2,5, 5, 10 и 20 мс. Таким образом, гибридный режим поддерживает только кадры размером 10 и 20 мс; кадры короче 10 мс всегда будут использовать режим CELT. Типичный пакет Opus содержит один кадр, но пакеты продолжительностью до 120 мс создаются путем объединения нескольких кадров в пакете. Opus может прозрачно переключаться между режимами, размерами кадров, полосой пропускания и количеством каналов для каждого пакета, хотя определенные приложения могут ограничивать это.

Эталонная реализация написана на C и компилируется на аппаратных архитектурах с или без блок с плавающей запятой, хотя в настоящее время для определения полосы пропускания звука (динамическое переключение между SILK, CELT и гибридным кодированием) и большинства оптимизаций скорости требуется плавающая точка.

Контейнеры

Пакеты Opus не являются самоограничивающимися, но предназначены для использования внутри контейнер какого-то типа, который предоставляет декодеру длину каждого пакета. Opus изначально был предназначен для инкапсуляции в Ogg контейнеры, указанные как audio / ogg; кодеки = опус, а для файлов Ogg Opus .opus расширение имени файла рекомендуется.[2] Потоки Opus также поддерживаются в Матроска,[17] WebM,[18] MPEG-TS,[19] и MP4.[20]

В качестве альтернативы каждый пакет Opus может быть заключен в сетевой пакет который предоставляет длину пакета. Пакеты Opus могут быть отправлены по упорядоченному протоколу дейтаграмм, например RTP.[21]

Необязательный формат пакета с самоограничением определен в приложении к спецификации.[22] При этом для кодирования длины пакета используется один или два дополнительных байта на пакет, что позволяет объединять пакеты без инкапсуляции.

Полоса пропускания и частота дискретизации

Opus допускает следующие полосы пропускания во время кодирования. Компрессия Opus не зависит от входной частоты дискретизации; временные метки измеряются в единицах 48 кГц, даже если не используется вся полоса пропускания. Таким же образом можно свободно выбирать частоту дискретизации выходного сигнала. Например, звук можно вводить с частотой 16 кГц, но можно настроить кодирование только узкополосного звука.[23]

СокращениеАудио
пропускная способность		Эффективный
частота дискретизации
NB (узкополосный)04 кГц008 кГц
MB (средний диапазон)06 кГц012 кГц
WB (широкополосный)08 кГц016 кГц
SWB (сверхширокополосный)12 кГц024 кГц
FB (полнодиапазонный)20 кГц[nb 1]048 кГц

История

Смотрите также: CELT § История, и ШЕЛК § История

Opus был предложен для стандартизации нового аудиоформата в IETF, который в конечном итоге был принят и предоставлен кодек рабочая группа. Он основан на двух изначально отдельных стандартных предложениях от Xiph.Org Foundation и Skype Technologies S.A. (сейчас Microsoft ). Его основные разработчики - Жан-Марк Валин (Xiph.Org, Octasic, Mozilla Corporation ), Коен Вос (Skype) и Тимоти Б. Террибери (Xiph.Org, Mozilla Corporation). Среди прочих, Джуин-Хвей (Раймонд) Чен (Broadcom ), Грегори Максвелл (Xiph.Org, Викимедиа ), и Кристофер Монтгомери (Xiph.Org) также были задействованы.

Развитие части формата CELT восходит к размышлениям о преемнике для Vorbis под рабочим названием Призрак. Как новый речевой кодек от Xiph.Org Foundation, Opus заменяет старый речевой кодек Xiph. Speex, более ранний проект Жана-Марка Валина. CELT работает с ноября 2007 года.

Часть SILK разрабатывалась в Skype с января 2007 года в качестве преемника их SVOPC, внутренний проект, призванный сделать компанию независимой от сторонних кодеков, таких как iSAC и iLBC и соответствующие лицензионные платежи.

В марте 2009 года Skype предложил IETF разработать и стандартизировать широкополосный аудиоформат. Прошел почти год, в течение которого велись споры о формировании соответствующего рабочая группа.[24] Представители нескольких компаний, принимавших участие в стандартизации обремененных патентами конкурирующих форматов, заявили возражения против начала процесса стандартизации для бесплатного формата: представители Polycom и Ericsson - создатели и лицензиары G.719 -а также France Télécom, Huawei и Orange Labs (департамент France Télécom), которые участвовали в создании G.718. В конце концов рабочая группа сформировалась в феврале 2010 года, и даже соответствующая 16-я Исследовательская комиссия МСЭ-Т обязалась поддержать ее работу.

В июле 2010 года был представлен прототип гибридного формата, который объединил два предложенных кандидата формата SILK и CELT. В сентябре 2010 года Opus был представлен в IETF в качестве предложения по стандартизации. Некоторое время формат носил название Гармония до того, как он получил свое нынешнее название в октябре 2010 года.[25] В начале февраля 2011 г. битовый поток формат был предварительно заморожен, с учетом последних изменений.[26] Ближе к концу июля 2011 года Жан-Марк Валин был нанят Mozilla Corporation продолжить работу над Opus.[27] В ноябре 2011 года рабочая группа выпустила последний призыв к изменению формата битового потока. Битовый поток был заморожен с 8 января 2012 года.[28] 2 июля 2012 г. Opus был одобрен IETF для стандартизации.[29] Эталонное программное обеспечение вошло в статус кандидата на выпуск 8 августа 2012 г.[30] Окончательная спецификация была выпущена как RFC 6716 10 сентября 2012 г.[31][32] и версии 1.0 и 1.0.1 эталонная реализация libopus были выпущены на следующий день.

11 июля 2013 г. в libopus 1.0.3 были исправлены ошибки и добавлен новый Объемный звук API, улучшающий распределение каналов и качество, особенно для LFE.[33]

1.1

5 декабря 2013 года был выпущен libopus 1.1,[33] включает общее улучшение скорости и значительное улучшение качества кодировщика: оценка тональности повышает битрейт и качество ранее проблемные образцы, как клавесины; автоматическое обнаружение речи / музыки улучшает качество смешанного звука; среднечастотное стерео снижает требования к битрейту многих песен; повышение точности диапазона для улучшения переходных процессов; и подавление постоянного тока ниже 3 Гц. Два новых VBR были добавлены режимы: без ограничений для более стабильного качества и временной VBR, который увеличивает громкость кадров и в целом улучшает качество.

libopus 1.1.1 был выпущен 26 ноября 2015 года, а 1.1.2 - 12 января 2016 года, и в нем были добавлены оптимизации скорости и исправления ошибок. 15 июля 2016 г. была выпущена версия 1.1.3, которая включает исправления ошибок, оптимизацию, обновления документации и экспериментальные Амбисоника работай. libopus 1.2 Beta была выпущена 24 мая 2017 года.

1.2

libopus 1.2 был выпущен 20 июня 2017 года.[34] Усовершенствования, внесенные в 1.2, позволяют создавать полнополосную музыку со скоростью передачи всего 32 кбит / с, а широкополосную речь - всего 12 кбит / с.[35]

libopus 1.2 включает дополнительную поддержку изменений спецификации декодера, сделанных в черновиках RFC 8251, улучшая качество вывода таких низкоскоростных потоков.[36]

1.3

libopus 1.3 был выпущен 18 октября 2018 года.[37] В основной выпуск Opus 1.3 снова внесены улучшения качества, новые функции и исправления ошибок.[38] Изменения по сравнению с 1.2.x включают:

  • Улучшения в обнаружении голосовой активности (VAD) и классификации речи / музыки с использованием рекуррентной нейронной сети (RNN)
  • Поддержка амбисонического кодирования с использованием семейств каналов 2 и 3
  • Улучшения стереофонического кодирования речи с низким битрейтом
  • Использование широкополосного кодирования речи до 9 кбит / с (среднечастотный диапазон больше не используется)
  • Обеспечение возможности использования SILK до битрейта около 5 кб / с
  • Незначительное улучшение качества тонов
  • Включение исправлений спецификации в RFC 8251 по умолчанию
  • Улучшения безопасности / усиления

Известные исправления ошибок включают:

  • Исправления для CELT ПЛК
  • Исправления обнаружения пропускной способности

1.3.1

libopus 1.3.1 был выпущен 12 апреля 2019 года.[39] В этом второстепенном выпуске Opus 1.3.1 исправлена ​​проблема с анализом файлов с цифровой тишиной (все нули), особенно на x87 сборки (в основном затрагивает 32-битные сборки). Он также включает две новые функции:

  • Новый запрос OPUS_GET_IN_DTX, чтобы узнать, находится ли кодировщик в режиме DTX (последний кадр был либо кадром комфортного шума, либо вообще не закодирован)
  • Новый (и пока экспериментальный) CMake -система сборки, которая в конечном итоге предназначена для замены системы сборки VS2015 (автоинструментальная система останется)

Сравнение качества и производительность с малой задержкой

Сравнение эффективности кодирования между Opus и другими популярными аудиоформатами

Было доказано, что Opus имеет отличное качество,[9] и выше битрейты, оказывается, что он может конкурировать с аудиоформатами с гораздо большей задержкой, такими как HE-AAC и Vorbis.[40]

В тестах на прослушивание около 64 кбит / с Opus показывает лучшее качество по сравнению с HE-AAC кодеков, которые ранее были доминирующими из-за использования запатентованных репликация спектральной полосы (SBR) технология.[41][6] В тестах на прослушивание около 96 кбит / с Opus показывает немного лучшее качество по сравнению с AAC и значительно лучшее качество по сравнению с Vorbis и MP3.[7]

Opus имеет очень низкую алгоритмическую задержку,[4] необходимость использования в составе низко-задержка звука канал связи, позволяющий вести естественный разговор, сетевые музыкальные выступления, или же синхронизация губ на живых мероприятиях. Полная алгоритмическая задержка для аудиоформата - это сумма задержек, которые должны возникать в кодере и декодере живого аудиопотока независимо от скорости обработки и скорости передачи, например, при буферизации аудиосэмплов в блоки или кадры, что позволяет перекрытие окон и, возможно, позволяя шумоформирующий упреждающий просмотр в декодере и любые другие формы упреждающего просмотра или для кодировщика MP3 использование резервуар для долот.[42]

Общая односторонняя задержка менее 150 мс является предпочтительной целью большинства VoIP системы,[43] для естественного разговора с очередью, на которую задержка не влияет. Музыканты обычно чувствуют себя вовремя с задержкой звука до 30 мс,[44] примерно в соответствии со временем плавления Эффект Хааса, хотя также может помочь сопоставление задержки воспроизведения собственного инструмента каждого пользователя с задержкой приема-передачи.[45] Предлагается для синхронизации губ что задержка звука около 45–100 мс может быть приемлемой.[46]

Opus допускает компромисс между пониженным качеством или повышенным битрейтом для достижения еще меньшей алгоритмической задержки (минимум 5,0 мс).[47] В то время как длина кадра Opus по умолчанию в эталонной реализации составляет 20,0 мс, для уровня SILK требуется еще 5,0 мс вперед плюс 1,5 мс для повторной выборки, что дает задержку по умолчанию 26,5 мс. Когда уровень CELT активен, для перекрытие окон к которому по умолчанию добавляется соответствующая задержка 4,0 мс для синхронизации со слоем SILK. Если кодировщик создан в специальном ограниченная низкая задержка В этом режиме задержка согласования 4,0 мс удаляется, а слой SILK отключается, разрешая минимальную алгоритмическую задержку 5,0 мс.[8]

Поддерживать

Формат и алгоритмы открыто задокументированы, а эталонная реализация публикуется как бесплатно программное обеспечение. Эталонная реализация Xiph называется либопус и пакет под названием opus-tools предоставляет утилиты кодировщика и декодера командной строки. Он публикуется на условиях BSD-подобная лицензия. Это написано в C и может быть скомпилирован для аппаратной архитектуры с или без блок с плавающей запятой. Сопутствующий диагностический инструмент opusinfo сообщает подробную техническую информацию о файлах Opus, включая информацию о соответствии стандарту формата битового потока. Он основан на ogginfo от ворбис-инструменты и поэтому - в отличие от кодировщика и декодера - доступен на условиях версии 2 GPL.

Реализации

RFC  6716 содержит полный исходный код эталонной реализации, написанной на C. RFC 8251 содержит исправления.

В FFmpeg проект[48] имеет реализации кодировщика и декодера, не основанные на справочной библиотеке.

Справочная библиотека libopus была перенесена на обе C # и Ява в рамках проекта Concentus. Эти порты приносят в жертву производительность ради простой интеграции в кроссплатформенные приложения.[49]

Программного обеспечения

Смотрите также: Сравнение программного обеспечения VoIP и Сравнение механизмов верстки (медиа HTML5) § Поддержка аудиоформатов

Цифровое радио Mondiale - формат цифрового радио для частот AM - может транслировать и принимать звук Opus (хотя и не признанный в официальном стандарте) с помощью Dream программно-определяемое радио.

В Фонд Викимедиа спонсировал бесплатный онлайн-ресурс с открытым исходным кодом JavaScript Кодировщик Opus для браузеров, поддерживающих необходимые HTML5 Особенности.[50]

С 2016 г. WhatsApp использует Opus в качестве формата аудиофайлов.[51]

Сигнал переключился с Speex на аудиокодек Opus для лучшего качества звука в начале 2017 года.

Поддержка операционной системы

Большинство программного обеспечения для конечных пользователей полагается на мультимедийные рамки предоставленный Операционная система. Встроенная поддержка кодеков Opus реализована в большинстве основных мультимедийных платформ для Unix-подобный операционные системы, в том числе GStreamer, FFmpeg, и Либав библиотеки.[52][53][54]

Google добавлена ​​встроенная поддержка воспроизведения звука Opus в Android 5.0 «Леденец».[55] Однако это было ограничено аудио Opus, инкапсулированным в Матроска контейнеры, такие как .mkv и .webm файлы.[56][57] Android 7.0 «Нуга» добавлена ​​поддержка аудио Opus, инкапсулированного в .ogg контейнеры.[58] Android 10 наконец-то добавлена ​​встроенная поддержка для .opus расширения.[59]

За счет добавления WebRTC поддержка в Apple WebKit движок рендеринга macOS High Sierra и iOS 11 поставляются с встроенной поддержкой воспроизведения звука Opus, инкапсулированного в Основной аудиоформат контейнеры.[60]

На Windows 10, версия 1607, Microsoft предоставила встроенную поддержку звука Opus, инкапсулированного в Матроска и WebM файлы.[61] По версии 1709, поддержка аудио Opus, инкапсулированного в .ogg Контейнеры были доступны через предустановленное дополнение под названием Web Media Extensions.[62] В версии Windows 10 1903, встроенная поддержка .opus контейнер был добавлен.[59] На Windows 8.1 и более старые сторонние декодеры, такие как Фильтры LAV, доступны для поддержки формата.[63]

Поддержка Opus разными операционными системами
WindowsmacOSLinuxAndroidiOS
Поддержка кодековда
Частичное: Win 10 v1607, 1709, 1809
Полный: Win 10 v1903		да
(Ограниченная поддержка контейнеров)		дада
Частичное: Android 5, 6, 7
Полный: Android 10		да
(Ограниченная поддержка контейнеров)
Поддержка контейнераВ юбилейном обновлении Windows 10 (1607):
WebM (.webm не распознается; требуется псевдорасширение)
Матроска (.mka, .mkv)

В Windows 10 Fall Creators Update (1709) с надстройкой Web Media Extensions:
Ogg (.opus не распознается; требуется псевдорасширение)[а]

В обновлении Windows 10 за октябрь 2018 г. (1809):
WebM (.webm признан официально)

В Windows 10, обновление за май 2019 г. (1903 г.):

Ogg (.opus признан официально)

На macOS High Sierra:
Основной аудиоформат (.caf)		Ogg (.opus)
WebM (.webm)
Матроска (.mka, .mkv)
MPEG-TS (.ts)		На Android 5:
WebM (.webm)
Матроска (.mka, .mkv)

На Android 7:
Ogg (.opus не распознается; требуется псевдорасширение)[а]

На Android 10:

Ogg (.opus признан официально)

На iOS 11:
Основной аудиоформат (.caf)
ПримечанияНа Windows 10:
- На Юбилейное обновление (1607), ограниченная поддержка доступна в Microsoft Edge (через MSE только) и Универсальная платформа Windows Программы. Проигрыватель Windows Media не поддерживает Ogg; только WebM и Matroska.
- На Обновление за апрель 2018 г. (1803 г.) с Расширения веб-медиа предустановленный Microsoft Edge (EdgeHTML 17) поддерживает звук Opus, встроенный в теги 		Поддерживается только звук Opus в контейнере CAF.–- До Android 9 расширение имени файла .opus не распознавалось (замените его расширением псевдо-файла, например .ogg или .m4a).[58]Поддерживается только звук Opus в контейнере CAF.

Поддержка медиаплеера

В то время как поддержка в мультимедийных фреймворках автоматически включает поддержку Opus в программном обеспечении, построенном на основе таких фреймворков, некоторые разработчики приложений приложили дополнительные усилия для поддержки аудиоформата Opus в своем ПО. Такая поддержка была добавлена ​​к AIMP,[65] Amarok,[66] cmus, Демон музыкального проигрывателя, foobar2000,[67] Mpxplay, MusicBee,[68] SMplayer, Медиаплеер VLC,[69] Winamp[70] и Xmplay аудиоплееры; Icecast,[71] Эфирное время (программное обеспечение)[72] программное обеспечение для потоковой передачи аудио; и На части риппер аудио CD, CDBurnerXP Устройство записи компакт-дисков, FFmpeg, Libav и MediaCoder инструменты кодирования мультимедиа. Пробные версии Streaming Icecast идут в прямом эфире с сентября 2012 года по январь 2013 года.[73][74] SteamOS использует Opus или Vorbis для потоковой передачи звука.[75]

Поддержка браузера

Поддержка Opus обязательна для WebRTC реализации.[76] Opus поддерживается в Mozilla Firefox,[77] Хром и Гугл Хром,[78] Мигать -основан Опера,[79][80] а также все браузеры для Unix-подобный системы, опирающиеся на GStreamer для поддержки мультимедийных форматов. Несмотря на то что Internet Explorer не будет обеспечивать воспроизведение Opus изначально, поддержка формата встроена в Браузер Edge, вместе с VP9, для полного WebM поддерживать.[81][82] Safari поддерживает Opus начиная с iOS 11 и macOS High Sierra.[83]

Поддержка VoIP

Благодаря своим способностям Opus рано заинтересовался передача голоса по IP (VoIP) поставщики программного обеспечения. Несколько ГЛОТОК клиентов, в том числе Софтфон Acrobits, CSipSimple (через дополнительный плагин), Сочувствие (через GStreamer), Джитси,[84] Tuenti,[85] Line2 (в настоящее время только на iOS ),[86] Linphone,[87] Телефонист и PhonerLite,[88] SFLphone,[89] телефон, Бормотать, Раздор[90] и TeamSpeak 3 программное обеспечение голосового чата также поддерживает Opus.[91][92][93] TrueConf поддерживает Opus в своих продуктах VoIP.[94] Звездочка отсутствовала встроенная поддержка Opus по юридическим причинам,[95] но сторонний патч был доступен для загрузки[96] а официальная поддержка через двоичный BLOB-объект была добавлена ​​в сентябре 2016 года.[97] Программное обеспечение для видеоконференцсвязи Tox P2P использует исключительно Opus.[98] Приложение распределенного обмена сообщениями Доска объявлений отправляет необработанные кадры opus внутри сокета TLS в своей реализации VoIP.[99]

Opus широко используется как голосовой кодек в WhatsApp,[11][13][12] который имеет более 1,5 миллиард пользователей по всему миру.[100] WhatsApp использует Opus на 8–16 кГц частота дискретизации,[11][12] с Транспортный протокол в реальном времени (RTP).[13] В PlayStation 4 игровая консоль также использует кодек CELT / Opus для PlayStation Network системный партийный чат.[14] Он также используется в приложении для видеоконференций Zoom.[101]

Аппаратное обеспечение

Начиная с версии 3.13, Rockbox включает воспроизведение Opus на поддерживаемых портативные медиаплееры, в том числе некоторые продукты из iPod серия по яблоко, устройства производства iriver, Archos и Sandisk, и дальше Android устройства, использующие «Rockbox как приложение».[102][103] Все недавние Грандстрим IP телефоны поддержка звука Opus как для кодирования, так и для декодирования. OBihai OBi1062, OBi1032 и OBi1022 IP телефоны все поддерживают Opus. Последние беспроводные колонки BlueSound поддерживают воспроизведение Opus.[104] Устройства под управлением Hiby OS, такие как Hiby R3, способны декодировать файлы Opus изначально.

Многие широковещательные IP-кодеки включают Opus, например, производимые Комрекс, GatesAir и Соединительная линия.[105]

Примечания

  1. ^ Opus обрезает звук выше 20 кГц, общепринятого верхнего предела человеческого диапазон слышимости.
  1. ^ а б В Android 9 и Microsoft Windows 10 (1809) .opus расширение имени файла не распознается службой Android MediaScanner и Универсальная платформа Windows Программы. Псевдорасширение другого аудиоформата (например, .ogg или же .m4a) требуется для обнаружения и воспроизведения файлов.[58][64]

Смотрите также

Рекомендации

  1. ^ «Типы MIME и расширения файлов». XiphWiki.
  2. ^ а б Террибери, Тимоти; Ли, Рон; Джайлз, Ральф (апрель 2016 г.). "Тип содержимого". Инкапсуляция Ogg для аудиокодека Opus. IETF. п. 30. сек. 9. Дои:10.17487 / RFC7845. RFC 7845. Получено 2016-04-30.
  3. ^ Спиттка, Джулиан; Вос, Коэн; Валин, Жан-Марк (30.06.2015). "Регистрация типа носителя Opus". Формат полезной нагрузки RTP для речевого и аудиокодека Opus. IETF. п. 9. сек. 6.1. Дои:10.17487 / RFC7587. ISSN  2070-1721. RFC 7587. Получено 2015-06-30.
  4. ^ а б c «Кодек Opus». Opus (Домашняя страница). Фонд Xiph.org. Получено 31 июля, 2012.
  5. ^ Брайт, Питер (2012-09-12). «Новый стандартизованный аудиокодек Opus выполняет все функции, от онлайн-чата до музыки». Ars Technica. Получено 2014-05-28.
  6. ^ а б Валин, Жан-Марк; Вос, Коэн; Скоглунд, янв (17 мая 2013 г.). Хоэн, Кристиан (ред.). «Сводка результатов теста прослушивания Opus». Инженерная группа Интернета. Получено 2015-06-30.
  7. ^ а б Kamedo2 (июль 2014 г.). «Результаты публичного многоформатного прослушивания».
  8. ^ а б Жан-Марк Валин; Грегори Максвелл; Тимоти Б. Террибери; Коэн Вос (17–20 октября 2013 г.). «Высококачественное кодирование музыки с малой задержкой в ​​кодеке Opus» (PDF). www.xiph.org. Нью-Йорк, США: Фонд Xiph.Org. п. 2. Архивировано из оригинал (PDF) 14 июля 2018 г.. Получено 19 августа 2014. Предварительный просмотр CELT составляет 2,5 мс, а прогноз SILK составляет 5 мс плюс 1,5 мс для повторной выборки (включая повторную выборку кодера и декодера). По этой причине путь CELT в кодировщике добавляет задержку 4 мс. Однако приложение может ограничить кодировщик CELT и опустить эту задержку. Это сокращает общий прогноз до 2,5 мс.
  9. ^ а б Чен, Раймонд (1 апреля 2011 г.). "Опус Тестирование" (PDF). Получено 2016-01-02.
  10. ^ а б «Лицензия кодека Opus». Xiph.org. Получено 2015-12-22.
  11. ^ а б c Лейден, Джон (27 октября 2015 г.). «WhatsApp обнажился: исследованы внутренности информативного приложения». Реестр. Получено 19 октября 2019.
  12. ^ а б c Шривастава, Саураб Ранджан; Дубе, Сачин; Шривастая, Гульшан; Шарма, Кавита (2019). «Проблемы безопасности, связанные со смартфонами: проблемы, примеры из практики и меры профилактики». В Ле, Дак-Нхуонг; Кумар, Рагвендра; Мишра, Броджо Кишор; Чаттерджи, Джйотир Мой; Хари, Манджу (ред.). Кибербезопасность в параллельных и распределенных вычислениях: концепции, методы, приложения и примеры из практики. Кибербезопасность в параллельных и распределенных вычислениях. Джон Вили и сыновья. С. 187–206 (200). Дои:10.1002 / 9781119488330.ch12. ISBN  9781119488057.
  13. ^ а б c Хазра, Судип; Матети, Прабхакер (13–16 сентября 2017 г.). «Проблемы криминалистики Android». In Thampi, Sabu M .; Перес, Грегорио Мартинес; Вестфалл, Карлос Беккер; Ху, Цзянькунь; Fan, Chun I .; Мармоль, Феликс Гомес (ред.). Безопасность в вычислениях и коммуникациях: 5-й международный симпозиум, SSCC 2017. Springer. С. 286-299 (290). Дои:10.1007/978-981-10-6898-0_24. ISBN  9789811068980.
  14. ^ а б «Программное обеспечение с открытым исходным кодом, используемое в PlayStation®4». Sony Interactive Entertainment Inc.. Получено 2017-12-11.
  15. ^ «Патент Nokia VP8 утверждает: мы были здесь раньше». OSNews. 2013-05-25. Получено 2014-07-17.
  16. ^ Монтгомери, Кристофер (23 декабря 2010 г.). "Аудио нового поколения: обновление CELT 20101223".
  17. ^ Бункус, Мориц (2013-09-16). "Выпущен MKVToolNix v6.4.0". Пользователи Matroska (Список рассылки). Получено 2013-12-24.
  18. ^ «Рекомендации по контейнерам WebM». Проект WebM. Получено 19 октября 2015.
  19. ^ «Список зарегистрированных идентификаторов MPEG TS - ООО« Центр регистрации SMPTE »». SMPTE. 2019-01-05. Получено 2019-01-05.
  20. ^ «Инкапсуляция Opus в базовом формате медиафайлов ISO». 2018-08-28. Получено 2019-01-05.
  21. ^ Спиттка, Джулиан; Вос, Коэн; Валин, Жан-Марк (30.06.2015). Формат полезной нагрузки RTP для речевого и аудиокодека Opus. IETF. Дои:10.17487 / RFC7587. ISSN  2070-1721. RFC 7587. Получено 2019-01-05.
  22. ^ Валин, Жан-Марк; Вос, Коэн; Террибери, Тимоти Б. (11 сентября 2012 г.). «Саморазграничивающее обрамление». Определение аудиокодека Opus. IETF. п. 321. сек. Б. Дои:10.17487 / RFC6716. ISSN  2070-1721. RFC 6716. Получено 2019-01-05.
  23. ^ Валин, Жан-Марк; Вос, Коэн; Террибери, Тимоти Б. (11 сентября 2012 г.). "Обзор кодека Opus". Определение аудиокодека Opus. п. 8. сек. 2. Дои:10.17487 / RFC6716. ISSN  2070-1721. RFC 6716. Получено 2014-06-21.
  24. ^ «IETF работает над созданием аудиокодека без лицензионных отчислений». H-online.com. 2009-11-13. Получено 2016-04-07.
  25. ^ Вос, Коэн (2010-10-15). «Гармония стала Опусом». кодек (Список рассылки). IETF. Получено 2016-01-03.
  26. ^ «Кодек IETF Opus теперь готов к тестированию». Hydrogenaudio. Получено 2012-09-12.
  27. ^ Валин, Жан-Марк (01.08.2011). «Обновление IETF, Mozilla». LiveJournal.com. Получено 2012-10-05.
  28. ^ «Кодек Opus». Фонд Xiph.org. Получено 2012-09-12.
  29. ^ «Опус одобрен IETF». Jmspeex.livejournal.com. 2012-07-03. Получено 2012-09-12.
  30. ^ "[opus] Доступны кандидаты на выпуск 1.0.0 и 1.0.1". опус (Список рассылки). Фонд Xiph.org. Получено 2012-10-05.
  31. ^ «Это Opus, это круто, и теперь это стандарт аудиокодеков!». Взломы Mozilla. Получено 2012-09-12.
  32. ^ «RFC 6716 об определении аудиокодека Opus». объявить (Список рассылки). IETF. Получено 2012-09-12.
  33. ^ а б Монти; Валин, Жан-Марк. «Обновление Opus 20131205: выпуск 1.1».
  34. ^ "libopus 1.2 - Opus Codec". Opus-codec.org. 2017-06-20. Получено 2017-08-23.
  35. ^ Циммерман, Стивен (07.07.2017). «Кодек Opus 1.2 приходит на ваш телефон: высококачественный звук со скоростью 32 кбит / с». Разработчики XDA. Архивировано из оригинал на 2017-07-13. Получено 2017-07-12.
  36. ^ Валин, Жан-Марк (20.06.2017). «Выпущен Opus 1.2».
  37. ^ «Кодек Opus». www.opus-codec.org. Получено 2018-10-22.
  38. ^ «Выпущен Opus 1.3». people.xiph.org. Получено 2018-10-22.
  39. ^ «Кодек Opus». www.opus-codec.org. Получено 2019-04-12.
  40. ^ Максвелл, Грегори (2011). "Тест прослушивания мультиформатного стерео 64 кбит / с - страница неофициальных результатов". Фонд Xiph.Org. Получено 2011-06-19.
  41. ^ Открытый кодек нового поколения с низкой задержкой превосходит HE-AAC, Slashdot-Meldung vom 14. апреля 2011 г.
  42. ^ Луцки, Манфред; Шуллер, Джеральд; Гейер, Марк; Кремер, Ульрих; Вабник, Стефан (2004). «Указание по задержке аудиокодека» (PDF). На 116-й конференции AES, Берлин, Германия: 8–11. Получено 21 декабря 2016.
  43. ^ Lironi, F .; Masseroni, C .; Тривисонно, Р .; Болл, К. Ф. (2005). «Мультимедийные услуги на основе Multi RAB в мобильных сетях GERAN». Конференция по автомобильным технологиям, VTC-2005-осень. IEEE 62nd. 3: 1662–1666. Дои:10.1109 / VETECF.2005.1558224. ISBN  0-7803-9152-7. S2CID  44037728.
  44. ^ Лаго, Нельсон Поссе; Кон, Фабио (ноябрь 2004 г.). «Стремление к низкой задержке». В материалах Международной компьютерной музыкальной конференции: 33–36. Получено 23 апреля 2019.
  45. ^ Каро, Александр (2010). «Потоковое аудио с низкой задержкой для музыкального взаимодействия в Интернете» в архитектурах потокового мультимедиа: методы и приложения: последние достижения. IGI Global. С. 362–383. ISBN  978-1-61692-833-9.
  46. ^ Йе, Нонг; Чен, Ян; Фарли, Тони (29–31 мая 2003 г.). Qos-требования к мультимедийным данным в компьютерных сетях. Материалы Второй Международной конференции по активным медиа-технологиям. Чунцин, КНР: World Scientific Publishing Company Incorporated. С. 183–189. ISBN  978-981-238-343-3.
  47. ^ Монтгомери, Кристофер. "Быстрая демонстрация передового опыта ... CELT 0.10.0 при постоянном значении PEAQ, различной задержке". CELT v0.10 (последняя версия до интеграции с Opus). xiph.org. Получено 30 октября 2012.
  48. ^ Пехливанов, Ростислав (11 февраля 2017 г.). "opus: добавить собственный кодировщик Opus". Git.videolan.org. Получено 2017-08-23.
  49. ^ "lostromb / convertus: Pure Portable C # и Java-реализации аудиокодека Opus". GitHub. Получено 2017-08-23.
  50. ^ Рильке, Райнер (2015). "Кодировщик опусов JavaScript". Получено 2015-02-09.
  51. ^ Рашад, А. (18.05.2017). «Аудио-менеджер для WhatsApp: как воспроизводить звуковые сообщения WhatsApp в музыкальном плеере?». Середина. Получено 2020-09-09.
  52. ^ "GStreamer: новости". Gstreamer.freedesktop.org. Получено 2012-10-05.
  53. ^ «Аудиокодеки». FFmpeg Общая документация. Получено 2014-05-28.
  54. ^ «Аудиокодеки». Либав Общая документация. Получено 2014-05-28.
  55. ^ Google. «Android Lollipop». Получено 2015-11-03.
  56. ^ «Поддерживаемые форматы мультимедиа». Получено 2015-04-29.
  57. ^ Google. «Проблема 80729: не работает поддержка Opus». Получено 2016-04-19.
  58. ^ а б c «Определение совместимости с Android 7.0 (N)». Получено 2017-05-22.
  59. ^ а б Поддержка Opus в MediaScanner (37054258) - общедоступно - Google Issue Tracker
  60. ^ iOS 11: поддержка Opus в каналах подкастов
  61. ^ Поддержка WebM, VP9 и Opus в Microsoft Edge - блог разработчиков Microsoft Edge
  62. ^ Microsoft добавляет открытые медиа-форматы Ogg, Theora и Vorbis в Windows 10 - Ctrl blog
  63. ^ "lavfilters - Open-Source DirectShow Media Splitter и декодеры". Хостинг проектов Google. Архивировано из оригинал на 2013-01-03. Получено 2012-10-05.
  64. ^ а б Поддерживаемые форматы аудио и видео (приложения среды выполнения Windows) - разработка приложений для Windows
  65. ^ «AIMP: домашняя страница». Aimp.ru. Получено 2012-10-05.
  66. ^ "Amarok 2.8" Return To The Origin "выпущен". Amarok. 2013-08-16. Получено 2014-05-28.
  67. ^ "foobar2000 v1.1.14 beta". Форумы Hydrogenaudio. Получено 2012-10-05.
  68. ^ "MusicBee". Форум MusicBee. Получено 2013-08-17.
  69. ^ "VLC 2.0.4 Двацветок". VideoLAN. Получено 2012-10-19.
  70. ^ "Винамп". Форумы Winamp. Получено 2013-01-04.
  71. ^ «Бета-версия Icecast 2.4». Lists.xiph.org. Получено 2012-09-12.
  72. ^ Эфирное время, Список изменений. «Эфирное время / журнал изменений на 2.4.x». Sourcefabric. Получено 1 июля 2013.
  73. ^ Радио Джеки, слушай сейчас. "Opus Stream". Радио Джеки. Получено 14 мая 2013.
  74. ^ Абсолютное Радио, Слушай Лаборатории. "Пробная версия Opus Streaming". Абсолютное Радио. Получено 30 октября 2012.
  75. ^ «Обновление бета-версии Steam: бета-версия SteamVR и домашней трансляции». SteamDB. Получено 9 декабря 2015.
  76. ^ "Zwei Audio-Codecs für Echtzeit-Kommunikation im Browser". Heise.de. Получено 2012-09-12.
  77. ^ «Мультимедийные форматы, поддерживаемые элементами аудио и видео HTML». Developer.mozilla.org. 2012-09-03. Архивировано из оригинал на 2010-06-27. Получено 2012-09-12.
  78. ^ «Проблема 104241: поддержка OPUS в файлах Ogg для тега audio и объекта Audio». Хром баг трекер. Получено 2014-05-28.
  79. ^ «Почему нет официального упоминания о поддержке Opus?». My.opera.com. 2012-07-19. Получено 2012-09-12.
  80. ^ Шенкленд, Стивен (2012-08-17). «Как корпоративные споры помешали лучшему веб-аудио». CNET Новости. Получено 2012-09-12.
  81. ^ «Статус платформы». Microsoft. 2016-04-19.
  82. ^ «Поддержка WebM, VP9 и Opus в Microsoft Edge». Microsoft. 2016-04-18.
  83. ^ «Объявление о WebRTC и Media Capture». webkit.org. 7 июня 2017 г.. Получено 20 июн 2017. доступно в Safari на macOS High Sierra, iOS 11, (…) Safari поддерживает современные аудиокодеки, такие как Opus
  84. ^ Боке, Людовик (2013-03-07). "Jitsi 2.0 уже выпущен!". Фонд XMPP. Архивировано из оригинал на 2014-05-29. Получено 2014-05-28.
  85. ^ «Tuenti + WebRTC (Voip2day 2014)». 2014-10-21.
  86. ^ «Новый интерфейс Line2 для iOS с улучшенным качеством звука». Строка2. 2012-10-18. Архивировано из оригинал на 2013-03-15. Получено 2013-03-15.
  87. ^ «Технические характеристики Linphone».
  88. ^ «Конфигурация телефонной трубки».
  89. ^ «SFLphone - Задача № 14602: [Кодек] Внедрить опус». Savoir-faire Linux. 2012-08-13. Архивировано из оригинал на 2012-12-17. Получено 2012-09-12.
  90. ^ «Какие особенности есть в Discord?». Раздор. Получено 2017-10-29.
  91. ^ Брэндон (19.06.2013). "Вышла Mumble 1.2.4". Блог Mumblevoice. Архивировано из оригинал на 2014-06-28. Получено 2014-05-28.
  92. ^ «Выпущен клиент TeamSpeak 3 3.0.10». Форумы TeamSpeak. Получено 2013-03-04.
  93. ^ «Выпущен сервер TeamSpeak 3 версии 3.0.7». Форумы TeamSpeak. Получено 2013-03-04.
  94. ^ "TrueConf сделал ставку на аудиокодек Opus" [TrueConf выбрал аудиокодек Opus] (Пресс-релиз) (на русском языке). Москва, Россия. 2012-09-19. Архивировано из оригинал на 2014-05-29. Получено 2014-05-28.
  95. ^ Джордан, Мэтью (29 мая 2013 г.). «Опус и ВП8». asterisk-dev (Список рассылки). Получено 2014-05-28.
  96. ^ "Патч Asterisk Opus / VP8". GitHub. Получено 2014-05-28.
  97. ^ "Опус для Asterisk". Внутри звездочки. 2016-09-30. Получено 2016-10-03.
  98. ^ "Исходный код обработки кодека Tox". GitHub. Получено 2015-12-09.
  99. ^ "Документация по кодировщику аудиозаписей". Получено 2016-05-25.
  100. ^ Константин, Джош (31 января 2018 г.). «WhatsApp посещает 1,5 миллиарда пользователей в месяц. 19 миллиардов долларов? Неплохо». TechCrunch. В архиве с оригинала от 9 февраля 2018 г.. Получено 8 февраля, 2018.
  101. ^ «Учителя: основные функции для обеспечения безопасности ваших виртуальных классов и повышения качества обучения учащихся». Увеличить. Получено 25 августа 2020.
  102. ^ Участники Rockbox (05.03.2013). «Примечания к выпуску Rockbox v.3.13». Rockbox. Получено 2013-03-21.
  103. ^ "RockboxAsAnApplication2010 <Главная . Rockbox.org. Получено 2012-10-05.
  104. ^ "ПУЛЬС-ФЛЕКС". BlueSound. Получено 28 февраля 2017.
  105. ^ «Tieline интегрирует OPUS в Report-IT и IP-кодеки». Журнал Радио. 2012-12-18. Архивировано из оригинал на 2013-05-09. Получено 2012-12-18.

внешняя ссылка