Компьютерная лингвистика - Computational linguistics

Эта статья о научной сфере. Для журнала см. Компьютерная лингвистика (журнал).
Часть серия на
Лингвистика
Подполя
Портал Портал

Компьютерная лингвистика является междисциплинарный область, связанная с компьютерным моделированием естественный язык, а также изучение соответствующих вычислительных подходов к лингвистическим вопросам. В целом компьютерная лингвистика опирается на лингвистика, Информатика, искусственный интеллект, математика, логика, философия, наука о мышлении, когнитивная психология, психолингвистика, антропология и нейробиология, среди прочего.

Традиционно компьютерная лингвистика возникла как область искусственный интеллект в исполнении компьютерные ученые кто специализировался на применении компьютеров для обработки естественный язык. С образованием Ассоциация компьютерной лингвистики (ACL)[1] и учреждение серии независимых конференций, эта область консолидировалась в 1970-х и 1980-х годах. Термин «компьютерная лингвистика» в настоящее время (2020 г.) считается почти синонимом обработка естественного языка (НЛП) и (человеческие) языковые технологии. В этих терминах больше внимания уделяется аспектам практического применения, чем теоретическим исследованиям, и с 2000-х годов они в значительной степени заменили термин «вычислительная лингвистика» в сообществе НЛП.[2]

Компьютерная лингвистика имеет как теоретические, так и прикладные компоненты. Теоретическая компьютерная лингвистика фокусируется на проблемах в теоретическая лингвистика и когнитивная наука.[3] Прикладная компьютерная лингвистика фокусируется на практических результатах моделирования использования человеческого языка.[3] Теоретическая компьютерная лингвистика включает развитие формальных теорий грамматики (разбор ) и семантика, часто основанная на формальная логика и символический (основанный на знаниях ) подходы. В прикладной компьютерной лингвистике преобладают машинное обучение, традиционно использующие Статистические методы, с середины 2010-х гг. нейронные сети: Socher et al. (2012)[4] был ранним Глубокое обучение на ACL 2012 и встретил как интерес, так и (в то время) скептицизм большинства участников. До тех пор нейронное обучение в основном отвергалось из-за отсутствия статистической интерпретируемости. До 2015 года глубокое обучение превратилось в основную основу НЛП.

Ассоциация компьютерной лингвистики определяет компьютерную лингвистику как:

... научное исследование язык с вычислительной точки зрения. Компьютерные лингвисты заинтересованы в предоставлении вычислительные модели различного рода языковых явлений.[5]

Происхождение

Вычислительную лингвистику часто относят к области искусственного интеллекта, но она присутствовала до появления искусственного интеллекта. Вычислительная лингвистика зародилась в 1950-х годах в Соединенных Штатах, чтобы использовать компьютеры для автоматического перевода текстов с иностранных языков, особенно из российских научных журналов, на английский.[6] Поскольку компьютеры могут делать арифметика (систематические) вычисления намного быстрее и точнее, чем у людей, и считалось, что это лишь короткий вопрос времени, прежде чем они смогут также начать обрабатывать язык.[7] Вычислительные и количественные методы также исторически используются при попытках реконструкции более ранних форм современных языков и подгруппе современных языков в языковые семьи. Ранние методы, такие как лексикостатистика и глоттохронология, оказались преждевременными и неточными. Однако недавние междисциплинарные исследования, которые заимствуют концепции из биологических исследований, особенно генное картирование доказали, что позволяют получать более сложные аналитические инструменты и получать более надежные результаты.[8]

Когда машинный перевод (также известный как механический перевод) не сразу давал точные переводы, автоматическая обработка человеческих языков была признана гораздо более сложной, чем предполагалось изначально. Компьютерная лингвистика родилась как название новой области исследований, посвященной развитию алгоритмы и программное обеспечение для интеллектуальной обработки языковых данных. Сам термин «компьютерная лингвистика» впервые был придуман Дэвид Хейс, член-учредитель как Ассоциация компьютерной лингвистики (ACL) и Международный комитет по компьютерной лингвистике (ICCL).[9]

Было замечено, что для перевода одного языка на другой нужно понимать грамматика обоих языков, включая оба морфология (грамматика словоформ) и синтаксис (грамматика структуры предложения). Чтобы понять синтаксис, нужно было также понимать семантика и лексикон (или словарный запас), и даже что-то прагматика использования языка. Таким образом, то, что начиналось как попытка перевода между языками, превратилось в целую дисциплину, посвященную пониманию того, как представлять и обрабатывать естественные языки с помощью компьютеров.[10]

В настоящее время исследования в области компьютерной лингвистики проводятся на кафедрах компьютерной лингвистики.[11] лаборатории компьютерной лингвистики,[12] Информатика отделы,[13] и лингвистические факультеты.[14][15] Некоторые исследования в области компьютерной лингвистики направлены на создание рабочих систем обработки речи или текста, в то время как другие нацелены на создание системы, обеспечивающей взаимодействие человека с машиной. Программы, предназначенные для человеко-машинного общения, называются разговорные агенты.[16]

Подходы

Подобно тому, как компьютерная лингвистика может выполняться экспертами в самых разных областях и через широкий спектр отделов, также области исследований могут охватывать широкий круг тем. В следующих разделах обсуждается некоторая литература, доступная во всей области, разбитая на четыре основные области дискурса: лингвистика развития, структурная лингвистика, лингвистическое производство и лингвистическое понимание.

Подходы к развитию

Язык - это когнитивный навык, который развивается на протяжении всей жизни человека. Этот процесс развития был исследован с использованием нескольких методов, и вычислительный подход является одним из них. Человек развитие языка действительно предоставляет некоторые ограничения, которые затрудняют применение вычислительного метода для его понимания. Например, во время овладение языком, человеческие дети в основном подвергаются только положительным свидетельствам.[17] Это означает, что во время языкового развития человека предоставляется единственное доказательство того, что является правильной формой, и никаких доказательств того, что является неправильным. Этой информации недостаточно для простой процедуры проверки гипотез для такой сложной информации, как язык,[18] и тем самым устанавливает определенные границы для вычислительного подхода к моделированию развития и усвоения языка индивидуумом.

Были предприняты попытки смоделировать процесс развития овладения языком у детей с вычислительной точки зрения, что привело к как статистические грамматики и коннекционистские модели.[19] Работа в этой сфере также была предложена как метод объяснения эволюция языка через историю. Используя модели, было показано, что языки можно изучать с помощью комбинации простых входных данных, которые вводятся постепенно, по мере того, как ребенок развивает лучшую память и большую продолжительность внимания.[20] Одновременно это выдвигалось как причина длительного периода развития человеческих детей.[20] Оба вывода были сделаны из-за силы искусственная нейронная сеть которую создал проект.

Способность младенцев развивать речь также была смоделирована с помощью роботов.[21] для проверки лингвистических теорий. Модель, позволяющая учиться наравне с детьми, была создана на основе аффорданс модель, в которой были созданы сопоставления между действиями, восприятием и эффектами и связаны с произнесенными словами. Что особенно важно, эти роботы смогли получить действующие преобразования слова в значение без необходимости грамматической структуры, что значительно упростило процесс обучения и пролило свет на информацию, которая способствует нынешнему пониманию языкового развития. Важно отметить, что эту информацию можно было проверить только эмпирически с использованием вычислительного подхода.

Поскольку наше понимание языкового развития человека в течение жизни постоянно улучшается с помощью нейронных сетей и обучающие робототехнические системы, также важно помнить, что сами языки со временем меняются и развиваются. Вычислительные подходы к пониманию этого явления открыли очень интересную информацию. С использованием Ценовое уравнение и Урна Pólya В динамике исследователи создали систему, которая не только предсказывает будущую языковую эволюцию, но и дает представление об эволюционной истории современных языков.[22] С помощью компьютерной лингвистики удалось добиться того, что в противном случае было бы невозможно.

Ясно, что понимание лингвистического развития у людей, а также на протяжении всего эволюционного времени было фантастически улучшено благодаря достижениям компьютерной лингвистики. Способность моделировать и модифицировать системы по своему желанию дает науке этический метод проверки гипотез, которые в противном случае были бы трудноразрешимыми.

Структурные подходы

Чтобы создать лучшие вычислительные модели языка, понимание структуры языка имеет решающее значение. С этой целью английский язык был тщательно изучен с использованием вычислительных подходов, чтобы лучше понять, как язык работает на структурном уровне. Одним из наиболее важных аспектов изучения лингвистической структуры является наличие больших лингвистических корпусов или образцов. Это дает компьютерным лингвистам необработанные данные, необходимые для запуска их моделей и лучшего понимания базовых структур, присутствующих в огромном количестве данных, содержащихся на любом отдельном языке. Один из самых цитируемых английских лингвистических корпусов - Penn Treebank.[23] Этот корпус, заимствованный из самых разных источников, таких как компьютерные руководства IBM и расшифровки телефонных разговоров, содержит более 4,5 миллионов слов американского английского. Этот корпус в основном аннотирован с использованием часть речи тегами и синтаксическими скобками и дала существенные эмпирические наблюдения, связанные со структурой языка.[24]

Также были разработаны теоретические подходы к структуре языков. Эти работы позволяют компьютерной лингвистике иметь основу для выработки гипотез, которые будут способствовать пониманию языка множеством способов. Один из оригинальных теоретических тезисов об интернализации грамматика и структура языка предложила два типа моделей.[18] В этих моделях усвоенные правила или паттерны усиливаются с частотой их встреч.[18] Работа также поставила вопрос перед компьютерными лингвистами, на который они должны были ответить: как младенец изучает специфическую и ненормальную грамматику (Нормальная форма Хомского ) без изучения сверхобобщенной версии и зависания?[18] Подобные теоретические усилия задают направление исследованиям на ранних этапах существования области исследования и имеют решающее значение для развития этой области.

Структурная информация о языках позволяет обнаруживать и реализовывать распознавание сходства между парами текстовых высказываний.[25] Например, недавно было доказано, что на основе структурной информации, присутствующей в паттернах человеческого дискурса, концептуальные графики повторяемости может использоваться для моделирования и визуализации тенденций в данных и создания надежных мер сходства между естественными текстовыми высказываниями.[25] Этот метод является мощным инструментом для дальнейшего исследования структуры человеческого тела. дискурс. Без вычислительного подхода к этому вопросу чрезвычайно сложная информация, содержащаяся в данных дискурса, осталась бы недоступной для ученых.

Информация о структурных данных языка доступна для английский а также другие языки, такие как Японский.[26] С помощью вычислительных методов были проанализированы японские корпуса предложений и логарифмическая нормальность был найден в зависимости от длины приговора.[26] Хотя точная причина этой логнормальности остается неизвестной, именно такую ​​информацию компьютерная лингвистика предназначена для обнаружения. Эта информация может привести к дальнейшим важным открытиям, касающимся основной структуры японского языка, и может иметь любое количество эффектов на понимание японского языка как языка. Вычислительная лингвистика позволяет очень быстро пополнять базу научных знаний, не оставляя места для сомнений.

В последние дни структурные данные языков доступны для нескольких языков мира, кроме английский язык. Работа по компьютерной лингвистике продолжается Язык синдхи потому что структура, грамматика и домен Язык синдхи отличается от других языков мира. Модели компьютерной лингвистики для английского языка не подходят для Язык синдхи. Учитывая это, компьютерная лингвистика работает над языком синдхи. [27][28][29] был начат правильно с разработки методов, алгоритмов, лингвистических инструментов (https://sindhinlp.com/ ), модели машинного обучения и модели глубокого обучения с 2016 г. [30][31][32][33][34][35] сфокусировать и решить лингвистические проблемы языка синдхи. Эта работа могла бы привести к дальнейшим важным открытиям, касающимся основной структуры синдхи, и могла бы иметь любое количество эффектов на понимание синдхи как языка.

Без вычислительного подхода к структуре лингвистических данных большая часть информации, которая доступна сейчас, все равно была бы скрыта под огромным объемом данных на любом отдельном языке. Вычислительная лингвистика позволяет ученым надежно и эффективно анализировать огромные объемы данных, создавая возможность для открытий, которых нет в большинстве других подходов.

Производственные подходы

В производство языка столь же сложен в плане предоставляемой информации и необходимых навыков, которыми должен обладать свободный продюсер. То есть, понимание это только половина проблемы общения. Другая половина - это то, как система производит язык, и компьютерная лингвистика сделала интересные открытия в этой области.

Алан Тьюринг: компьютерный ученый и одноименный разработчик Тест Тьюринга как метод измерения интеллекта машины.

В известной статье, опубликованной в 1950 г. Алан Тьюринг предположил возможность того, что однажды машины смогут «думать». Как мысленный эксперимент для определения концепции мышления в машинах он предложил «имитационный тест», в котором человек-субъект ведет два текстовых разговора, один с другим человеком, а другой с машиной, пытающейся реагировать как человек. Тьюринг предполагает, что если субъект не может отличить человека от машины, можно сделать вывод, что машина способна мыслить.[36] Сегодня этот тест известен как Тест Тьюринга и это остается влиятельной идеей в области искусственного интеллекта.

Йозеф Вайценбаум: бывший профессор Массачусетского технологического института и специалист по информатике, разработавший ELIZA, примитивная компьютерная программа, использующая обработка естественного языка.

Одним из самых ранних и наиболее известных примеров компьютерной программы, предназначенной для естественного общения с людьми, является ELIZA программа разработана Йозеф Вайценбаум в Массачусетский технологический институт в 1966 году. Программа эмулировала Роджериан психотерапевт при ответе на письменные заявления и вопросы, заданные пользователем. Казалось, он способен понимать, что ему говорят, и разумно реагировать, но на самом деле он просто следовал процедуре сопоставления с образцом, которая полагалась только на понимание нескольких ключевых слов в каждом предложении. Его ответы были получены путем объединения неизвестных частей предложения вокруг правильно переведенных версий известных слов. Например, во фразе «Кажется, ты меня ненавидишь» ELIZA понимает «ты» и «меня», что соответствует общему шаблону «ты [несколько слов] меня», позволяя ELIZA обновлять слова «ты» и «я». на «Я» и «ты» и отвечая: «Почему ты думаешь, что я тебя ненавижу?». В этом примере ELIZA не понимает слова «ненависть», но это не требуется для логического ответа в контексте этого типа психотерапии.[37]

Некоторые проекты все еще пытаются решить проблему, из-за которой компьютерная лингвистика изначально была сферой деятельности. Однако методы стали более совершенными, и, следовательно, результаты, полученные компьютерными лингвистами, стали более информативными. Улучшить компьютерный перевод, было проведено сравнение нескольких моделей, в том числе скрытые марковские модели, техники сглаживания и особые уточнения тех, кто применяет их к переводу глаголов.[38] Модель, которая, как выяснилось, дает наиболее естественные переводы Немецкий и Французский Words - это усовершенствованная модель согласования с зависимостью первого порядка и модель фертильности. Они также предоставляют эффективные алгоритмы обучения для представленных моделей, которые могут дать другим ученым возможность улучшить свои результаты. Этот тип работы специфичен для компьютерной лингвистики и имеет приложения, которые могут значительно улучшить понимание того, как язык создается и воспринимается компьютерами.

Также была проделана работа по созданию компьютеров более естественным образом. Используя лингвистический ввод от людей, были созданы алгоритмы, которые могут изменять стиль производства системы на основе такого фактора, как лингвистический ввод от человека, или более абстрактных факторов, таких как вежливость или любые другие факторы. пять основных измерений личности.[39] В этой работе используется вычислительный подход через оценка параметров модели для категоризации огромного количества языковых стилей, которые мы видим у разных людей, и упрощения работы компьютера таким же образом, что позволяет взаимодействие человека с компьютером намного естественнее.

Текстовый интерактивный подход

Многие из самых ранних и простых моделей взаимодействия человека с компьютером, такие как, например, ELIZA, предполагают ввод текста от пользователя для генерации ответа от компьютера. С помощью этого метода слова, введенные пользователем, заставляют компьютер распознавать определенные шаблоны и отвечать соответствующим образом посредством процесса, известного как определение ключевых слов.

Речевой интерактивный подход

Последние технологии сделали больший упор на речевые интерактивные системы. Эти системы, такие как Siri из iOS операционной системы, работают по той же методике распознавания шаблонов, что и текстовые системы, но с первой, пользовательский ввод осуществляется через распознавание речи. Эта ветвь лингвистики включает в себя обработку речи пользователя в виде звуковых волн и интерпретацию акустических и языковых паттернов, чтобы компьютер распознал ввод.[40]

Понимание подходов

Большая часть внимания современной компьютерной лингвистики уделяется пониманию. С распространением Интернета и обилием легкодоступного письменного человеческого языка возможность создавать программы, способные понимание человеческого языка будет иметь много широких и захватывающих возможностей, включая улучшенные поисковые системы, автоматизированное обслуживание клиентов и онлайн-обучение.

Ранняя работа в области понимания включала применение байесовской статистики к задаче оптического распознавания символов, как это проиллюстрировали Бледсо и Брауинг в 1959 году, в которых большой словарь возможных букв был создан путем «обучения» на примерах букв и затем на вероятности того, что любой из них выученные примеры соответствовали новым вводным данным, которые были объединены для принятия окончательного решения.[41] Другие попытки применить байесовскую статистику к языковому анализу включали работу Мостеллера и Уоллеса (1963), в которой анализ слов, используемых в Записки федералиста был использован для определения их авторства (вывод, что Мэдисон, скорее всего, является автором большинства статей).[42]

В 1971 г. Терри Виноград разработал ранний обработка естественного языка движок, способный интерпретировать естественно написанные команды в простой среде, управляемой правилами. Программа синтаксического анализа основного языка в этом проекте называлась ШРДЛУ, который был способен вести довольно естественный разговор с пользователем, давая ему команды, но только в рамках игрушечной среды, разработанной для этой задачи. Эта среда состояла из блоков разной формы и цвета, и SHRDLU был способен интерпретировать такие команды, как «Найдите блок, который выше, чем тот, который вы держите, и поместите его в коробку». и задавать такие вопросы, как «Я не понимаю, о какой пирамиде вы имеете в виду». в ответ на ввод пользователя.[43] Впечатляющий, но такой обработка естественного языка оказалось намного сложнее за пределами ограниченного круга игрушек. Точно так же проект, разработанный НАСА называется ЛУННЫЙ был разработан, чтобы дать ответы на естественно написанные вопросы о геологическом анализе лунных горных пород, возвращенные миссиями Аполлона.[44] Такие проблемы называются ответ на вопрос.

Первоначальные попытки понять разговорный язык были основаны на работе, проделанной в 1960-х и 1970-х годах в области моделирования сигналов, когда неизвестный сигнал анализируется для поиска закономерностей и прогнозирования на основе его истории. Первоначальный и в некоторой степени успешный подход к применению этого вида моделирования сигналов к языку был достигнут с использованием скрытых марковских моделей, подробно описанных Рабинером в 1989 году.[45] Этот подход пытается определить вероятности для произвольного количества моделей, которые могут быть использованы при генерации речи, а также моделировать вероятности для различных слов, генерируемых из каждой из этих возможных моделей. Подобные подходы использовались в раннем распознавание речи попытки, начавшиеся в конце 70-х в IBM, с использованием пар вероятностей слово / часть речи.[46]

Совсем недавно эти виды статистических подходов стали применяться к более сложным задачам, таким как идентификация темы с использованием оценки байесовских параметров для определения вероятностей темы в текстовых документах.[47]

Приложения

Дальнейшая информация: Обработка естественного языка

Прикладная компьютерная лингвистика во многом эквивалентна обработка естественного языка. Примеры приложений для конечных пользователей включают программное обеспечение для распознавания речи, такое как функция Apple Siri, инструменты проверки орфографии, синтез речи программы, которые часто используются для демонстрации произношения или помощи инвалидам, а также программы и веб-сайты машинного перевода, такие как Google Translate.[48]

Компьютерная лингвистика также может быть полезна в ситуациях, связанных с социальные медиа и Интернет, например, для предоставления фильтров контента в чатах или при поиске на веб-сайтах,[48] для группировки и организации контента через майнинг в социальных сетях,[49] поиск документов и кластеризация. Например, если человек ищет «красный, большой четырехколесный автомобиль», чтобы найти изображения красного грузовика, поисковая машина все равно найдет нужную информацию, сопоставив такие слова, как «четырехколесный» с «автомобилем».[50]

Вычислительные подходы также важны для поддержки лингвистических исследований, например, в корпусная лингвистика[51] или же историческая лингвистика. Что касается изучения изменений во времени, вычислительные методы могут способствовать моделированию и идентификации языковых семей.[52] (см. далее количественная сравнительная лингвистика или филогенетика ), а также моделирование изменения звука[53] и смысл.[54]

Подполя

Вычислительную лингвистику можно разделить на основные области по различным критериям, включая:

  • средний обрабатываемого языка, будь то разговорный или текстовый: распознавание речи и синтез речи разбираться в том, как можно понимать или создавать разговорный язык с помощью компьютеров.
  • задача выполняется, например, анализирует ли язык (распознавание) или синтезирующий язык (поколение): Синтаксический анализ и генерация являются подразделами компьютерной лингвистики, занимающимися, соответственно, разделением языка и его объединением.
  • намерение: мотивировано ли оно реальными приложениями (прикладная компьютерная лингвистика) или фундаментальными исследованиями (теоретическая компьютерная лингвистика).

По поводу задач, решаемых прикладной компьютерной лингвистикой, см. Обработка естественного языка статья. Сюда входят такие классические проблемы, как проектирование POS-тегеры (тегеры части речи), парсеры за естественные языки, или такие задачи, как машинный перевод (MT), подраздел компьютерной лингвистики, занимающийся компьютерным переводом между языками. Как одно из самых ранних и сложных приложений компьютерной лингвистики, машинное обучение опирается на множество подполей, как теоретических, так и прикладных аспектов. Традиционно автоматический языковой перевод считался печально известным разделом компьютерной лингвистики.[55]

Теоретическая компьютерная лингвистика изучает следующие области исследований:

Традиционно применение компьютеров для решения исследовательских задач в других отраслях лингвистики описывалось как задачи компьютерной лингвистики. Среди прочего, это включает

Наследие

Тема компьютерной лингвистики постоянно влияет на популярную культуру:

Смотрите также

Рекомендации

  1. ^ "Портал для членов ACL | Портал для членов Ассоциации компьютерной лингвистики". www.aclweb.org. Получено 2020-08-17.
  2. ^ Как указал, например, Идо Даган в своем выступлении на ACL 2010 банкет в Упсале, Швеция.
  3. ^ а б Uszkoreit, Ганс. "Что такое компьютерная лингвистика?". Кафедра компьютерной лингвистики и фонетики Саарландского университета.
  4. ^ Сохер, Ричард. «Учебное пособие по глубокому обучению для NLP-ACL 2012». Socher. Получено 2020-08-17.
  5. ^ "Что такое компьютерная лингвистика?". Ассоциация компьютерной лингвистики. Февраль 2005 г.
  6. ^ Джон Хатчинс: Взгляд в прошлое и перспективы компьютерного перевода. Труды MT Summit VII, 1999, стр. 30–44.
  7. ^ Арнольд Б. Барах: Переводчик 1975: И грядущие перемены.
  8. ^ Т. Кроули., К. Бауэрн. Введение в историческую лингвистику. Окленд, Нью-Зе .: Oxford UP, 1992. Print.
  9. ^ «Умершие участники». Члены ICCL. Получено 15 ноября 2017.
  10. ^ Обработка естественного языка Лиз Лидди, Эдуард Хови, Джимми Лин, Джон Прагер, Драгомир Радев, Люси Вандервенде, Ральф Вайшедель
  11. ^ «Компьютерная лингвистика и фонетика».
  12. ^ «Лаборатория компьютерной лингвистики Яцко».
  13. ^ «КЛИП».
  14. ^ Компьютерная лингвистика - Департамент лингвистики - Джорджтаунский колледж
  15. ^ "UPenn Linguistics: Компьютерная лингвистика".
  16. ^ Джурафски Д. и Мартин Дж. Х. (2009). Обработка речи и языка: введение в обработку естественного языка, вычислительную лингвистику и распознавание речи. Верхняя Сэдл-Ривер, штат Нью-Джерси: Pearson Prentice Hall.
  17. ^ Бауэрман, М. (1988). Проблема «отсутствия отрицательных доказательств»: как дети избегают построения излишне общей грамматики. Объяснение языковых универсалий.
  18. ^ а б c d Брейн, доктор медицины (1971). О двух типах моделей усвоения грамматик. В D.I. Слобин (ред.), Онтогенез грамматики: теоретическая перспектива. Нью-Йорк: Academic Press.
  19. ^ Пауэрс, D.M.W. И Терк, C.C.R. (1989). Машинное обучение естественного языка. Springer-Verlag. ISBN  978-0-387-19557-5.
  20. ^ а б Элман, Джеффри Л. (1993). «Обучение и развитие в нейронных сетях: важность начала с малого». Познание. 48 (1): 71–99. Дои:10.1016/0010-0277(93)90058-4. PMID  8403835. S2CID  2105042.
  21. ^ Salvi, G .; Montesano, L .; Бернардино, А .; Сантос-Виктор, Дж. (2012). «Языковая самонастройка: изучение значений слов из ассоциации восприятие-действие». IEEE Transactions по системам, человеку и кибернетике. Часть B. 42 (3): 660–71. arXiv:1711.09714. Дои:10.1109 / TSMCB.2011.2172420. PMID  22106152. S2CID  977486.
  22. ^ Gong, T .; Shuai, L .; Тамариз, М., Джагер, Г. (2012). Э. Скалас (ред.). «Изучение языковых изменений с использованием уравнения цен и динамики Полиа-урны». PLOS ONE. 7 (3): e33171. Bibcode:2012PLoSO ... 733171G. Дои:10.1371 / journal.pone.0033171. ЧВК  3299756. PMID  22427981.
  23. ^ Маркус, М. и Марцинкевич, М. (1993). "Создание большого аннотированного корпуса английского языка: Penn Treebank" (PDF). Компьютерная лингвистика. 19 (2): 313–330.
  24. ^ Тейлор, Энн (2003). «1». Берега деревьев. Весенние Нидерланды. С. 5–22.
  25. ^ а б Angus, D .; Смит, А. и Уайлс, Дж. (2012). «Сюжеты концептуального повторения: выявление закономерностей в человеческом дискурсе» (PDF). IEEE Transactions по визуализации и компьютерной графике. 18 (6): 988–97. Дои:10.1109 / TVCG.2011.100. PMID  22499664. S2CID  359497.
  26. ^ а б Фурухаси, С., Хаякава, Ю. (2012). «Логнормальность распределения японских длин предложений». Журнал Физического общества Японии. 81 (3): 034004. Bibcode:2012JPSJ ... 81c4004F. Дои:10.1143 / JPSJ.81.034004.
  27. ^ "Мажар Али Дутио | Доктор философии (информатика), продолжение SZABIST Карачи Синд Пакистан | Независимый исследователь | Информатика | ResearchGate". ResearchGate. Получено 2019-07-16.
  28. ^ "Mazhar Ali Dootio - цитирование ученых Google". scholar.google.com.pk. Получено 2019-07-16.
  29. ^ "Синдхи НЛП". sindhinlp.com. Получено 2019-07-16.
  30. ^ Дутио, Мазхар Али; Ваган, Асим Имдад (февраль 2019 г.). «Разработка корпуса текстов синдхи». Журнал Университета Короля Сауда - Компьютерные и информационные науки. Дои:10.1016 / j.jksuci.2019.02.002. ISSN  1319-1578.
  31. ^ Дутио, Мазхар Али; Ваган, Асим Имдад (январь 2019 г.). «Синтаксический разбор и контролируемый анализ текста синдхи». Журнал Университета Короля Сауда - Компьютерные и информационные науки. 31 (1): 105–112. Дои:10.1016 / j.jksuci.2017.10.004. ISSN  1319-1578.
  32. ^ Ваган, Асим Имдад; Али, Мажар (01.01.2019). "Анализ аннотированного корпуса синдхи с использованием контролируемых методов машинного обучения". Научно-технический журнал Мехранского университета. 38 (1): 185–196. Bibcode:2019MURJE..38..185A. Дои:10.22581 / muet1982.1901.15. ISSN  2413-7219.
  33. ^ Дутио, Мазхар Али (2017), «ПРОЦЕСС АВТОМАТИЧЕСКОЙ ПЕРЕДАЧИ И ЛЕММАТИЗАЦИИ ДЛЯ SINDHI TEXT», Компьютерная лингвистика и интеллектуальная обработка текста, Университет инженерии и технологий JSSIR NED, Карачи, Синд, Пакистан, 6, стр. 103–112
  34. ^ Дутио, Мазхар Али; Ваган, Асим Имдад (август 2018 г.). «Набор лингвистических данных на основе Unicode-8 для аннотированного текста на синдхи». Краткие данные. 19: 1504–1514. Дои:10.1016 / j.dib.2018.05.062. ISSN  2352-3409. ЧВК  6139473. PMID  30225294.
  35. ^ «Анализ и решение задач компьютерной лингвистики синдхи текста». ResearchGate. Получено 2019-07-16.
  36. ^ Тьюринг, А. М. (1950). «Вычислительная техника и интеллект». Разум. 59 (236): 433–460. Дои:10.1093 / разум / lix.236.433. JSTOR  2251299.
  37. ^ Weizenbaum, J. (1966). «ELIZA - компьютерная программа для изучения естественного языка общения человека и машины». Коммуникации ACM. 9 (1): 36–45. Дои:10.1145/365153.365168. S2CID  1896290.
  38. ^ Och, F.J .; Ней, Х. (2003). «Систематическое сравнение различных статистических моделей сопоставления». Компьютерная лингвистика. 29 (1): 19–51. Дои:10.1162/089120103321337421.
  39. ^ Майресс, Ф. (2011). «Контроль восприятия языкового стиля пользователями: обучаемое формирование личностных качеств». Компьютерная лингвистика. 37 (3): 455–488. Дои:10.1162 / COLI_a_00063.
  40. ^ Языковые файлы. Факультет лингвистики государственного университета Огайо. 2011. С. 624–634. ISBN  9780814251799.
  41. ^ Бледсо У. и Браунинг И. (1959). Распознавание образов и чтение машиной. Доклады, представленные на 1–3 декабря 1959 г., восточной совместной компьютерной конференции IRE-AIEE-ACM на - IRE-AIEE-ACM ’59 (Восточный). Нью-Йорк, Нью-Йорк, США: ACM Press. С. 225–232. Дои:10.1145/1460299.1460326.
  42. ^ Мостеллер, Ф. (1963). «Вывод в проблеме авторства». Журнал Американской статистической ассоциации. 58 (302): 275–309. Дои:10.2307/2283270. JSTOR  2283270.
  43. ^ Виноград, Т. (1971). «Процедуры как представление данных в компьютерной программе для понимания естественного языка» (Отчет). Цитировать журнал требует | журнал = (помощь)
  44. ^ Woods, W .; Каплан, Р. и Нэш-Уэббер, Б. (1972). «Информационная система естественного языка в области лунных наук» (Отчет). Цитировать журнал требует | журнал = (помощь)
  45. ^ Рабинер, Л. (1989). «Учебник по скрытым марковским моделям и избранным приложениям в распознавании речи». Труды IEEE. 77 (2): 257–286. CiteSeerX  10.1.1.381.3454. Дои:10.1109/5.18626.
  46. ^ Bahl, L .; Baker, J .; Cohen, P .; Елинек, Ф. (1978). «Распознавание непрерывно читаемого естественного корпуса». Акустика, речь и сигнал. 3: 422–424. Дои:10.1109 / ICASSP.1978.1170402.
  47. ^ Блей Д. и Нг А. (2003). «Скрытое размещение дирихле». Журнал машинного обучения. 3: 993–1022.
  48. ^ а б «Карьера в области компьютерной лингвистики». Калифорнийский государственный университет. Получено 19 сентября 2016.
  49. ^ Марухо, Луs et al. «Автоматическое извлечение ключевых слов в Twitter». Институт языковых технологий, Университет Карнеги-Меллона, без даты Интернет. 19 сентября 2016 г.
  50. ^ «Компьютерная лингвистика». Стэнфордская энциклопедия философии. Лаборатория метафизических исследований Стэнфордского университета. 26 февраля 2014 г.. Получено 19 апреля, 2017.
  51. ^ а б МакЭнери, Томас (1996). Корпусная лингвистика: введение. Эдинбург: Издательство Эдинбургского университета. п. 114. ISBN  978-0748611652.
  52. ^ а б Бауэрн, Клэр. «Вычислительная филогенетика». Ежегодный обзор лингвистики 4 (2018): 281-296.
  53. ^ Пиголи, Давиде и др. «Анализ акустических фонетических данных: изучение различий в разговорных романских языках». препринт arXiv arXiv: 1507.07587 985 (2015); Группа, Функциональные филогении. «Филогенетический вывод для функционально-значимых черт: эволюция звука речи». Тенденции в экологии и эволюции 27.3 (2012): 160-166 ..
  54. ^ например Гамильтон, Уильям Л., Юре Лесковец и Дэн Джурафски. «Диахронические вложения слов раскрывают статистические законы семантических изменений». Препринт arXiv arXiv: 1605.09096 (2016).
  55. ^ Эттингер, А. Г. (1965). Компьютерная лингвистика. The American Mathematical Monthly, Vol. 72, No. 2, Part 2: Computing and Computing, pp. 147–150.
  56. ^ "'Переводчики Star Trek достигают последнего рубежа ". www.cnn.com. Получено 2020-08-17.
  57. ^ Бэдхэм, Джон (1983-06-03), Военные игры, получено 2016-02-22
  58. ^ Хершман-Лисон, Линн (19 февраля 1999 г.), Зачатие Ады, получено 2016-02-22
  59. ^ Джонз, Спайк (10 января 2014 г.), Ее, получено 2016-02-18
  60. ^ Тильдум, Мортен (25 декабря 2014 г.), Имитационная игра, получено 2016-02-18
  61. ^ Гарленд, Алекс (2015-04-24), Ex Machina, получено 2016-02-18
  62. ^ Вильнев, Дени (10.10.2016). "Пребытие". Получено 18 декабря 2019.

дальнейшее чтение

  • Бейтс, М. (1995). «Модели понимания естественного языка». Труды Национальной академии наук Соединенных Штатов Америки. 92 (22): 9977–9982. Bibcode:1995PNAS ... 92.9977B. Дои:10.1073 / пнас.92.22.9977. ЧВК  40721. PMID  7479812.
  • Стивен Берд, Юэн Кляйн и Эдвард Лопер (2009). Обработка естественного языка с помощью Python. O'Reilly Media. ISBN  978-0-596-51649-9.
  • Дэниел Джурафски и Джеймс Х. Мартин (2008). Обработка речи и языка, 2-е изд. Pearson Prentice Hall. ISBN  978-0-13-187321-6.
  • Mohamed Zakaria KURDI (2016). Natural Language Processing and Computational Linguistics: speech, morphology, and syntax, Volume 1. ISTE-Wiley. ISBN  978-1848218482.
  • Mohamed Zakaria KURDI (2017). Natural Language Processing and Computational Linguistics: semantics, discourse, and applications, Volume 2. ISTE-Wiley. ISBN  978-1848219212.

внешняя ссылка