NooJ - NooJ

NooJ это программное обеспечение лингвистической среды разработки, а также процессор корпуса, созданный Максом Зильбержтейном. NooJ позволяет лингвистам построить четыре класса Иерархия Хомского-Шютценбергера порождающих грамматик: Конечные грамматики, Контекстно-свободные грамматики, Контекстно-зависимые грамматики а также Неограниченные грамматики, используя текстовый редактор (например, для записи регулярных выражений) или редактор графиков.[1]

NooJ позволяет лингвистам разрабатывать орфографические и морфологические грамматики, словари простых слов, составных слов, а также прерывных выражений, локальные синтаксические грамматики (например, Распознаватели именованных сущностей ),[2][3] структурные синтаксические грамматики (которые создают синтаксические деревья), а также Зеллиг Харрис ‘ трансформационные грамматики.

Все парсеры NooJ обрабатывают Атомарные лингвистические единицы (ALU), в отличие от словоформ (т.е. последовательностей букв между двумя пробелами).[4] Это позволяет синтаксическому синтаксическому анализатору NooJ анализировать последовательности словоформ, таких как «не может», точно так же, как сокращенное слово такие формы, как «не могу» или «не могу». Это позволяет лингвистам писать относительно простые синтаксические грамматики даже для агглютинативных языков. ALU представлены аннотациями, которые хранятся в Структура текстовых аннотаций (или TAS): все парсеры NooJ добавляют или удаляют аннотации в TAS. Типичный анализ NooJ включает в себя применение к тексту ряда элементарных грамматик в каскаде, восходящим подходом (от орфографии до семантики).

История

NooJ возник в результате исследований Зильберцтейна и сообщества лингвистов INTEX, посвященных подходу лексикона и грамматики. Морис Гросс ’LADL, в котором говорится, что ни одно грамматическое правило не может быть разработано независимо от строгого разграничения области его применения.

NooJ использовался как корпусный процессор исследователями в области лингвистики,[5][6] История,[7] в психологии,[8][9] в литературоведении,[10] в проектах по анализу настроений,[11] сбор данных,[12][13][14] и даже для обработки нот.[15] Например, NooJ использовался в 500 МАРС эксперимент[16] но также несколькими компаниями по разработке программного обеспечения для создания Извлечение информации и Поиск информации программного обеспечения.

Сложность и применение

Словари NooJ представлены конечные преобразователи и может представлять простые слова[17] (например, таблица), сложные слова[18] (например, на самом деле), а также непрерывный[проверять орфографию ] такие выражения, как фразовые глаголы (например, выключить… выключить),[19] идиомы[20] (например, взять быка за рога), а также поддерживать ассоциации глаголов / предикативных существительных (например, чтобы вздремнуть). NooJ позволяет лингвистам создавать, редактировать, отлаживать и поддерживать большое количество грамматик, принадлежащих к четырем классам порождающие грамматики в иерархии Хомского-Шютценбергера: грамматики с конечным числом состояний, контекстно-свободные грамматики, контекстно-зависимые грамматики и неограниченные грамматики.

NooJ часто может применять грамматики к текстам в линейном времени: например, большинство контекстно-свободных грамматик NooJ часто могут быть дерекурсивными. Контекстно-зависимые грамматики NooJ состоят из двух частей: одна часть представляет собой контекстно-свободную (или даже грамматику с конечным числом состояний), которая очень эффективно применяется к текстам, вторая состоит из набора ограничений, применяемых к совпадающим последовательностям, каждая из которых Неограниченные грамматики NooJ - это контекстно-зависимые грамматики, которые могут содержать переменные и изменять ввод текста. Обычно они используются для выполнения трансформационного анализа и генерации (см. Зеллиг Харрис ), но несколько групп лингвистов показали, что при использовании в сочетании с многоязычной лексикой их можно использовать для выполнения Машинный перевод[21][22]

Рекомендации

  1. ^ Зильбержтейн М., 2015. Формализация языков: l'approche de NooJ. ISTE: Лондон (426 стр.).
  2. ^ Фехри Х., Хаддар К. и Бен Хамаду А. 2011. Новая модель представления для автоматического распознавания и перевода арабских именованных сущностей с помощью NooJ. РАНЛП 2011 (Гиссар, Болгария)[1]
  3. ^ Мота С. и Гришман Р. 2008. Стареет ли этот теггер NE? Труды LREC 2008. Марракеш: ELRA, стр. 1196-1202.[2]
  4. ^ Зильбержтейн М., 2003. Руководство NooJ
  5. ^ Месфар С. 2011. К каскаду морфо-синтаксических инструментов для обработки арабского естественного языка. Вычислительная лингвистика и интеллектуальная обработка текста, LNCS Vol 6008, Springer, стр. 150-162
  6. ^ Trouilleux, F. 2014. Un dictionnaire et une grammaire de composés français. TALN 2014, Марсель [3]
  7. ^ Гуцул-Милоевич С., Радулович В. и Крстев С. 2010. Взгляд на изображение женщин в сербских газетных текстах. Применение обработки конечного языка: избранные доклады Международной конференции NooJ 2008 (Будапешт, Венгрия). Под редакцией Кути Юдит, Сильберцтейн Макс, Варади Тамас. Cambridge Scholars Publishing, Ньюкасл, Великобритания: 166-176.
  8. ^ Эманн Б., Лендваи П., Полиа Т., Винце О., Михальц М., Тиханьи Л., Варади Т. и Ласло Дж. 2012. Психологическое повествование о применении семантического ролевого присвоения. Формализация естественных языков с помощью NooJ: избранные доклады международной конференции NooJ 2011 (Дубровник, Хорватия). Под редакцией Кристины Вучкович, Божо Бекавац и Макс Зильберштейн. Cambridge Scholars Publishing, Ньюкасл, Великобритания: 218-228.
  9. ^ Пилар Л. и Реймерк А. 2014. От динамики терминов к динамике понятий: изменение терминов и многомерность в психиатрической сфере. Материалы EURALEX 2014. Больцано, 15-19 июля, Италия. [4]
  10. ^ Месфар С., Гамбин М. и Питон О. 2012. В поисках утерянной рукописи: Planisphaerium Птолемея. Формализация естественных языков с помощью NooJ: избранные доклады международной конференции NooJ 2011 (Дубровник, Хорватия). Под редакцией Кристины Вучкович, Божо Бекавац и Макс Зильберштейн. Cambridge Scholars Publishing, Ньюкасл, Великобритания: 205-217.
  11. ^ Мерклер Д. и Агич Э. 2013. Sentiscope: система анализа настроений в ежедневных гороскопах. Формализация естественных языков с помощью NooJ: избранные доклады международной конференции NooJ 2012 (Париж, Франция). Под редакцией Анаида Донабедян, Виктории Хуршудян и Макса Зильберцтайна. Cambridge Scholars Publishing, Ньюкасл, Великобритания: 173-181.
  12. ^ Элия ​​А., Виетри С., Постильоне А., Монтелеоне М. и Марано Ф. 2010. Модульная программная система интеллектуального анализа данных. SWWS2010 - Материалы Международной конференции 2010 г. по семантической паутине и веб-сервисам, Лас-Вегас, Невада, США, стр. 127-133. ISBN  9781601321619
  13. ^ Матос С., Баррейро А. и Оливейра Дж. Л. 2009. Синтаксический анализ для обнаружения биомолекулярных событий из научной литературы. Прогресс в области искусственного интеллекта, LNCS Vol. 5816, с. 79-85.
  14. ^ Пилар Л. и Фабер П. 2012. Причинная связь в специализированной области окружающей среды. Материалы семинара "Семантические отношения-II". Расширение ресурсов и приложений (LREC12), ред. Митителу В.Б., Попеску О. и Пекар В. Стамбул: ELRA, Турция, стр. 10-17.
  15. ^ Коциан К., Либреняк С. и Доведан З. 2014. Знакомство с музыкой в ​​NooJ. Формализация естественных языков с помощью NooJ 2013: избранные доклады международной конференции NooJ 2013 (Саарбрюккен, Германия). Под редакцией Светлы Коевой, Слима Месфара и Макса Зильберштейна. Cambridge Scholars Publishing, Ньюкасл, Великобритания: 209-222.
  16. ^ Эманн Б., Балаж Л., Швед Д., Бенет В. и Гушин В. 2013. Русские лингвистические ресурсы в космических психологических исследованиях. Формализация естественных языков с помощью NooJ: избранные доклады международной конференции NooJ 2012 (Париж, Франция). Под редакцией Анаида Донабедян, Виктории Хуршудян и Макса Зильберцтайна. Cambridge Scholars Publishing, Ньюкасл, Великобритания: 150–161.
  17. ^ Питон О., Лагжи Кл. и Пернаска Р. 2007. Электронные словари и преобразователи для автоматической обработки албанского языка. Материалы 12-й Международной конференции NLDB 2007, CNAM, Париж, Франция. Серия LNCS, Springer Verlag, стр. 407-413.
  18. ^ Чаджипапа Э., Пападопулу Э. и Гавриилиду З. 2010. Новые данные в греческом модуле NooJ: Сложные слова и имена собственные. Применение обработки конечного языка: избранные доклады Международной конференции NooJ 2008 (Будапешт, Венгрия). Под редакцией Кути Юдит, Сильберцтейн Макс, Варади Тамас. Cambridge Scholars Publishing, Ньюкасл, Великобритания: 93-100.
  19. ^ Мачонис П.А. 2010. Английские фразовые глаголы: от лексикона-грамматики к обработке естественного языка. Южный журнал лингвистики 34.1, США: 21-48.
  20. ^ Виетри С. 2014. Идиоматические конструкции на итальянском языке. Лексико-грамматический подход. Джон Бенджаминс Б.В.: Амстердам, Нидерланды. ISBN  9789027231413
  21. ^ Баррейро А. 2008. Port4NooJ: португальский лингвистический модуль и двуязычные ресурсы для машинного перевода. В материалах Международной конференции NooJ 2007 г. (Барселона, Испания). Отредактированный Ксавье Бланко и Максом Зильберцтейном. Cambridge Scholars Publishing, Ньюкасл, Великобритания: 19–47.
  22. ^ Сусси Р., Месфар С. и Фэджет М. 2014. Проект STORM: На пути к модулю NooJ в базе данных Armadillo для управления музейной коллекцией. Формализация естественных языков с помощью NooJ 2013: избранные доклады международной конференции NooJ 2013 (Саарбрюккен, Германия). Отредактировали Светла Коева, Слим Месфар и Макс Зильберштейн. Cambridge Scholars Publishing, Ньюкасл, Великобритания: 223-232.

внешняя ссылка