Хронология теории информации - Timeline of information theory

Хронология событий, связанных с  теория информации,  квантовая теория информации и статистическая физика,  Сжатие данных,  коды исправления ошибок и связанные предметы.

• 1872 – Людвиг Больцманн представляет его H-теорема, а вместе с ней и формула Σп_я бревно п_я для энтропии отдельной частицы газа
• 1878 – Дж. Уиллард Гиббс определяет Энтропия Гиббса: вероятности в формуле энтропии теперь принимаются как вероятности состояния весь система
• 1924 – Гарри Найквист обсуждает количественную оценку «интеллекта» и скорость, с которой он может быть передан системой связи.
• 1927 – Джон фон Нейман определяет энтропия фон Неймана, распространяя энтропию Гиббса на квантовую механику
• 1928 – Ральф Хартли вводит Информация о Хартли как логарифм количества возможных сообщений, при этом информация передается, когда получатель может отличить одну последовательность символов от любой другой (независимо от любого связанного значения)
• 1929 – Лео Сцилард анализы Демон Максвелла, показывая, как Двигатель Szilard может иногда преобразовывать информацию в извлечение полезной работы
• 1940 – Алан Тьюринг вводит децибан как мера информации о немецком Энигма машина настройки шифра Банбуризм процесс
• 1944 – Клод Шеннон теория информации в значительной степени завершена
• 1947 – Ричард В. Хэмминг изобретает Коды Хэмминга для обнаружения и исправления ошибок (для защиты патентных прав результат не публикуется до 1950 года)
• 1948 – Клод Э. Шеннон издает Математическая теория коммуникации
• 1949 – Клод Э. Шеннон издает Общение в присутствии шума – Теорема выборки Найквиста – Шеннона и Закон Шеннона – Хартли
• 1949 – Клод Э. Шеннон с Коммуникационная теория секретных систем рассекречен
• 1949 – Роберт М. Фано издает Передача информации. M.I.T. Press, Кембридж, Массачусетс - Кодирование Шеннона – Фано
• 1949 - обнаруживает Леон Г. Крафт. Неравенство Крафт, который показывает пределы коды префиксов
• 1949 – Марсель Дж. Э. Голей вводит Коды Голея за упреждающее исправление ошибок
• 1951 – Соломон Кульбак и Ричард Лейблер представить Дивергенция Кульбака – Лейблера
• 1951 – Дэвид А. Хаффман изобретает Кодирование Хаффмана, метод поиска оптимального коды префиксов за без потерь Сжатие данных
• 1953 – Август Альберт Сардины и Джордж Паттерсон изобрели Алгоритм Сардин-Паттерсона, процедура определения того, код переменной длины однозначно декодируемый
• 1954 – Ирвинг С. Рид и Дэвид Э. Мюллер предлагать Коды Рида – Маллера
• 1955 – Питер Элиас вводит сверточные коды
• 1957 – Юджин Прейндж сначала обсуждает циклические коды
• 1959 – Алексис Хоквенгем, и самостоятельно в следующем году Радж Чандра Бос и Двиджендра Кумар Рэй-Чаудхури, обнаружить Коды BCH
• 1960 – Ирвинг С. Рид и Гюстав Соломон предлагать Коды Рида – Соломона
• 1962 – Роберт Г. Галлагер предлагает коды с низкой плотностью проверки четности; они не используются в течение 30 лет из-за технических ограничений
• 1965 – Дэйв Форни обсуждает составные коды
• 1966 – Фумитада Итакура (Нагойский университет ) и Сюдзо Сайто (Nippon Telegraph and Telephone ) развивать кодирование с линейным предсказанием (LPC), форма кодирование речи^[1]
• 1967 – Эндрю Витерби показывает Алгоритм Витерби, что делает возможным декодирование сверточных кодов
• 1968 – Элвин Берлекамп изобретает Алгоритм Берлекампа-Месси; его применение для декодирования кодов BCH и Рида – Соломона указано в Джеймс Л. Мэсси в следующем году
• 1968 – Крис Уоллес и Дэвид М. Бултон публикуют первую из многих статей по Минимальная длина сообщения (MML ) статистический и индуктивный вывод
• 1970 – Валерий Денисович Гоппа вводит Коды гоппы
• 1972 – Йорн Юстесен предлагает Коды Justesen, усовершенствование кодов Рида – Соломона
• 1972 – Насир Ахмед предлагает дискретное косинусное преобразование (DCT), которую он разрабатывает совместно с Т. Натараджаном и К. Р. Рао в 1973 г .;^[2] DCT позже стал наиболее широко используемым сжатие с потерями алгоритм, основа для мультимедийных форматов, таких как JPEG, MPEG и MP3
• 1973 – Давид Слепян и Джек Вольф открыть и доказать Кодирование Слепяна – Вольфа лимиты на распределенные исходное кодирование^[3]
• 1976 – Готфрид Унгербёк дает первую статью о решетчатая модуляция; более подробное описание в 1982 году приводит к появлению аналоговых модемов. Горшки скорость от 9,6 кбит / с до 33,6 кбит / с
• 1976 - Ричард Паско и Йорма Дж. Риссанен разработать эффективный арифметическое кодирование техники
• 1977 – Авраам Лемпель и Джейкоб Зив развивают компрессию Лемпеля – Зива (LZ77 )
• 1989 – Фил Кац издает в .zip формат включая ВЫПУСКАТЬ (Кодирование LZ77 + Хаффмана); позже стал наиболее широко используемым архивным контейнером
• 1993 – Клод Берру, Ален Главье и Пунья Титимайшима вводить Турбо коды
• 1994 – Майкл Берроуз и Дэвид Уиллер опубликовать Преобразование Барроуза – Уиллера, позже найти применение в bzip2
• 1995 – Бенджамин Шумахер монеты срок кубит и доказывает квантовую теорему бесшумного кодирования
• 2006 - первый Асимметричные системы счисления энтропийное кодирование: с 2014 года популярная замена Хаффман и арифметическое кодирование в компрессорах, таких как Facebook Zstandard или же Яблочный LZFSE
• 2008 – Эрдал Арыкан вводит полярные коды, первая практическая конструкция кодов, обеспечивающая пропускную способность для широкого спектра каналов.

Рекомендации

1. Грей, Роберт М. (2010). «История цифровой речи в режиме реального времени в пакетных сетях: часть II линейного предсказательного кодирования и Интернет-протокола» (PDF). Найденный. Тенденции сигнального процесса. 3 (4): 203–303. Дои:10.1561/2000000036. ISSN  1932-8346.
2. Насир Ахмед. "Как я пришел к дискретному косинусному преобразованию". Цифровая обработка сигналов, Vol. 1, вып. 1, 1991, стр. 4-5.
3. Слепян, Дэвид С.; Вольф, Джек К. (Июль 1973 г.). «Бесшумное кодирование коррелированных источников информации». IEEE Transactions по теории информации. IEEE. 19 (4): 471–480. Дои:10.1109 / TIT.1973.1055037. ISSN  0018-9448.