Калгари корпус - Calgary corpus

В Калгари корпус это собрание текст и двоичные данные файлы, обычно используемые для сравнения Сжатие данных алгоритмы. Он был создан Ян Виттен, Тим Белл и Джон Клири из Университет Калгари в 1987 году и широко использовался в 1990-х годах. В 1997 году его заменили на Кентерберийский корпус,[1] на основании опасений по поводу репрезентативности корпуса Калгари,[2] но корпус Калгари все еще существует для сравнения и по-прежнему полезен по своему первоначальному назначению.

Содержание

В наиболее часто используемом виде корпус состоит из 14 файлов общим размером 3 141 622 байта, как показано ниже.

Размер (байты)Имя файлаОписание
111,261BIBТекст ASCII в UNIX "ссылаться Формат - 725 библиографических ссылок.
768,771КНИГА1неформатированный текст ASCII - Томас Харди: Вдали от обезумевшей толпы.
610,856КНИГА2Текст ASCII в UNIX "Troff формат - Виттен: Принципы компьютерной речи.
102,400GEO32-битные числа в формате IBM с плавающей запятой - сейсмические данные.
377,109НОВОСТИТекст ASCII - USENET командный файл на самые разные темы.
21,504OBJ1VAX исполняемая программа - компиляция PROGP.
246,814OBJ2Исполняемая программа Macintosh - «Система поддержки знаний».
53,161БУМАГА1Формат UNIX "troff" - Виттен, Нил, Клири: арифметическое кодирование для сжатия данных.
82,199БУМАГА2Формат UNIX "troff" - Виттен: компьютерная (не) безопасность.
513,216ПОС1728 х 2376 растровое изображение (Сначала MSB): текст на французском языке и линейные диаграммы.
39,611PROGCИсходный код на C - UNIX compress v4.0.
71,646ПРОГЛИсходный код на Лиспе - системное ПО.
49,379PROGPИсходный код на Паскале - программа для оценки сжатия PPM.
93,695ТРАНСASCII и управляющие символы - стенограмма терминальной сессии.

Существует также менее часто используемая версия из 18 файлов, которая включает 4 дополнительных текстовых файла в формате «troff» UNIX, от PAPER3 до PAPER6.

Контрольные точки

Корпус Калгари обычно использовался ориентир для сжатия данных в 1990-е годы. Чаще всего результаты приводились в битах на байт (бит / байт) для каждого файла, а затем суммировались путем усреднения. В последнее время было принято просто добавлять сжатые размеры всех файлов. Это называется средневзвешенное потому что это эквивалентно взвешиванию коэффициентов сжатия по исходным размерам файла. Тест UCLC[3] Йохан де Бок использует этот метод.

Для некоторых компрессоров данных можно уменьшить корпус, объединив входные данные в несжатый архив (например, деготь файл) перед сжатием из-за взаимная информация между текстовыми файлами. В других случаях компрессия хуже, потому что компрессор плохо обрабатывает неоднородную статистику. Этот метод использовался в тесте в онлайн-книге. Объяснение сжатия данных пользователя Мэтт Махони.[4]

В таблице ниже показаны сжатые размеры корпуса из 14 файлов Калгари с использованием обоих методов для некоторых популярных программ сжатия. Параметры, если они используются, позволяют выбрать наилучшее сжатие. Более полный список см. В приведенных выше тестах.

КомпрессорОпцииВ виде 14 отдельных файловКак файл tar
Несжатый3,141,6223,152,896
компресс1,272,7721,319,521
Info-ZIP 2.32-91,020,7811,023,042
gzip 1.3.5-91,017,6241,022,810
bzip2 1.0.3-9828,347860,097
7-молния 9,12b848,687824,573
ppmd Jr1-m256 -o16740,737754,243
ppmonstr J675,485669,497
ZPAQ v7.15-метод 5659,709659,853

Проблема сжатия

"Сжатие корпуса Калгари и SHA-1 трещина вызов »[5] Конкурс, начатый Леонидом Броухисом 21 мая 1996 г., направлен на сжатие 14-файловой версии корпуса Калгари. Конкурс предлагает небольшой денежный приз, размер которого со временем менялся. В настоящее время приз составляет 1 доллар США за улучшение предыдущего результата на 111 байт.

Согласно правилам конкурса, заявка должна состоять как из сжатых данных, так и из программы декомпрессии, упакованных в один из нескольких стандартных архивных форматов. Ограничения по времени и памяти, форматы архивов и языки декомпрессии со временем были ослаблены. В настоящее время программа должна работать в течение 24 часов на машине 2000 MIPS под управлением Windows или же Linux и использовать менее 800 МБ памяти. An SHA-1 Позднее был добавлен вызов. Это позволяет программе декомпрессии выводить файлы, отличные от корпуса Калгари, при условии, что они имеют те же значения, что и исходные файлы. Пока эта часть задачи не решена.

Первая полученная запись была 759 881 байт в сентябре 1997 года Малкольмом Тейлором, автором RK и WinRK. Самая последняя запись была 580 170 байт от Александр Ратушняк 2 июля 2010 г. Запись состоит из сжатого файла размером 572 465 байт и программы распаковки, написанной на C ++ и сжатой до 7700 байт как переменная PPMd. Я архивирую плюс 5 байтов для имени и размера сжатого файла. История такова.

Размер (байты)Месяц годАвтор
759,88109/1997Малкольм Тейлор
692,15408/2001Максим Смирнов
680,55809/2001Максим Смирнов
653,72011/2002Серж Воскобойников
645,66701/2004Мэтт Махони
637,11604/2004Александр Ратушняк
608,98012/2004Александр Ратушняк
603,41604/2005Пшемыслав Скибински
596,31410/2005Александр Ратушняк
593,62012/2005Александр Ратушняк
589,86305/2006Александр Ратушняк
580,17007/2010Александр Ратушняк

Смотрите также

Рекомендации

  1. ^ Ян Х. Виттен; Алистер Моффат; Тимоти С. Белл (1999). Управление гигабайтами: сжатие и индексирование документов и изображений. Морган Кауфманн. п. 92.
  2. ^ Саломон, Дэвид (2007). Сжатие данных: полный справочник (Четвертое изд.). Springer. п. 12. ISBN  9781846286032.
  3. ^ http://uclc.info/calgary_corpus_compression_test.htm
  4. ^ http://mattmahoney.net/dc/dce.html#Section_214
  5. ^ http://mailcom.com/challenge/

внешняя ссылка