Чтение по губам - Lip reading

Чтение по губам, также известное как чтение по губам или чтение речи, это техника понимания речь путем визуальной интерпретации движений губ, лица и языка, когда нормальный звук недоступен. Он также полагается на информацию, предоставляемую контекстом, знанием языка и остаточным слухом. Хотя чтение по губам наиболее широко используется глухими и слабослышащими людьми, большинство людей с нормальным слухом обрабатывают некоторую речевую информацию, зная, что движется рот.[1]

Процесс

Несмотря на то что восприятие речи считается слуховым навыком, он по своей сути мультимодален, поскольку для произнесения речи говорящий должен совершать движения губ, зубов и языка, которые часто видны при общении лицом к лицу. Информация из губ и лица поддерживает восприятие на слух[2] и наиболее свободно владеющие языком слушатели чувствительны к видимым речевым действиям (см. Эффект МакГерка ). Степень, в которой люди используют увиденные речевые действия, зависит от видимости речевого действия, а также знаний и навыков воспринимающего.

Фонемы и виземы

В фонема это наименьшая обнаруживаемая единица звука в языке, которая служит для различения слов друг от друга. / pit / и / pik / отличаются одной фонемой и относятся к разным понятиям. Разговорный английский насчитывает около 44 фонем. Для чтения по губам количество визуально отличительных единиц - виземы - намного меньше, поэтому несколько фонем отображаются на несколько визем. Это потому, что многие фонемы производятся во рту и в горле и не видны. К ним относятся голосовые согласные и большинство жестов языка. Озвучен и глухой пары выглядят одинаково, например, [p] и [b], [k] и [g], [t] и [d], [f] и [v], и [s] и [z] »; аналогично для назализация (например, [m] vs. [b]). Гомофены слова, которые выглядят одинаково при чтении по губам, но содержат разные фонемы. Поскольку в английском языке примерно в три раза больше фонем, чем визем, часто утверждается, что только 30% речи можно прочитать по губам. Гомофены - важнейший источник неправильное чтение по губам.

Легенда к этой головоломке гласит: «Вот класс из дюжины мальчиков, которые, будучи призваны назвать свои имена, были мгновенно сфотографированы, когда каждый начинал произносить свое имя. Двенадцать имен были Оом, Олденом. , Истман, Альфред, Артур, Люк, Флетчер, Мэтью, Теодор, Ричард, Ширмер и Хиссвальд. Теперь не представляется возможным дать правильное имя каждому из двенадцати мальчиков, но если вы попрактикуетесь в списке для каждого из них вы найдете несложной задачей найти правильное имя для каждого из мальчиков ".[3]

Совместная артикуляция

Виземы можно снимать как неподвижные изображения, но речь разворачивается во времени. Плавная артикуляция речевых звуков может означать, что образы рта могут быть «сформированы» смежной фонемой: звук «th» в «зубе» и «зубах» выглядит очень разным из-за вокальный контекст. Эта особенность динамического чтения речи влияет на чтение по губам «вне виземы».[4]

Как это может «работать» с таким небольшим количеством висем?

Статистическое распределение фонем в лексиконе языка неравномерно. Хотя есть группы слов, которые фонематически похожи друг на друга («лексические соседи», такие как spit / sip / sit / stick ... и т. Д.), Другие слова не похожи на все другие слова: они «уникальны» с точки зрения распределение их фонем (например, «зонтик»). Квалифицированные пользователи языка используют эти знания при интерпретации речи, поэтому, как правило, труднее идентифицировать услышанное слово с большим количеством лексических соседей, чем со словом с несколькими соседями. Применяя это понимание к видимой речи, некоторые слова в языке можно однозначно читать по губам, даже если они содержат несколько визем - просто потому, что никакие другие слова не могут «соответствовать».[5]

Различия в удобочитаемости и навыках

На видимость говорящего лица влияют многие факторы, включая освещение, движение головы / камеры, частоту кадров движущегося изображения и расстояние от зрителя (см., Например,[6]). Движение головы, которое сопровождает нормальную речь, также может улучшить чтение по губам, независимо от устных действий.[7] Однако при чтении по губам связная речь, знание зрителем устной речи, знакомство с говорящим и стилем речи, а также контекст материала для чтения по губам[8] так же важны, как и видимость говорящего. Хотя большинство слышащих людей чувствительны к видимой речи, индивидуальные навыки чтения речи сильно различаются. Хорошие читатели часто более точно определяют фонемы по визуальной речи, чем плохие читатели.

Некоторые исследователи подвергли сомнению простую висемическую меру «читабельности губ». Мера «класс эквивалентности фонем» учитывает статистическую структуру лексикона.[9] а также может учитывать индивидуальные различия в способности читать по губам.[10][11] В соответствии с этим, отличное чтение по губам часто ассоциируется с более широкими когнитивными навыками, включая владение общим языком, исполнительная функция и рабочая память.[12][13]

Чтение по губам и изучение языка у слышащих младенцев и детей

Первые несколько месяцев

Видение рта играет важную роль в ранней чувствительности к речи очень маленького ребенка и подготавливает его к тому, чтобы стать говорящим в возрасте 1-2 лет. Чтобы подражать, малыш должен научиться формировать губы в соответствии с слышимыми звуками; видение говорящего может помочь им в этом.[14] Новорожденные имитируют движения рта взрослых, такие как высунут язык или открывание рта, что может быть предвестником дальнейшего подражания и последующего изучения языка.[15] Младенцы обеспокоены рассинхронизацией аудиовизуальной речи знакомого говорящего [16] и имеют тенденцию демонстрировать разные образы для знакомых лиц, чем для незнакомых лиц при сопоставлении с (записанными) голосами.[17] Младенцы чувствительны к Иллюзии Мак-Герка за несколько месяцев до того, как они научились говорить.[18][19] Эти и многие другие исследования указывают на роль зрения в развитии чувствительности к (слуховой) речи в первые полгода жизни.

Следующие полгода; роль в изучении родного языка

Примерно до шестимесячного возраста большинство слышащих младенцев чувствительны к широкому спектру речевых жестов, в том числе к тем, которые можно увидеть во рту, которые позже могут или не могут быть частью фонология своего родного языка. Но на втором полугодии жизни слышащий младенец показывает сужение восприятия для фонетической структуры собственного языка - и могут потерять раннюю чувствительность к бесполезным образцам рта. Звуки речи / v / и / b /, которые визуально различимы в английском языке, но не в кастильском испанском, точно различаются у детей в возрасте до 6 месяцев, подвергшихся воздействию испанского и английского языков. Однако младенцы старшего возраста, подвергшиеся воздействию испанского происхождения, теряют способность «видеть» это различие, в то время как оно сохраняется для младенцев, подвергшихся воздействию английского языка.[20] Такие исследования предполагают, что вместо того, чтобы слух и зрение развивались независимым образом в младенчестве, мультимодальная обработка данных является правилом, а не исключением в (речевом) развитии детского мозга.[21]

Раннее языковое производство: от одного до двух лет

Учитывая многочисленные исследования, указывающие на роль зрения в развитии речи у доъязыкового младенца, влияние врожденной слепоты на развитие речи удивительно мало. 18-месячные дети легче заучивают новые слова, когда они их слышат, и не заучивают их, когда им показывают речевые движения, не слыша.[22] Однако дети, слепые от рождения, могут путать / m / и / n / в их собственном раннем образовании английских слов - путаница, редко наблюдаемая у зрячих слышащих детей, поскольку / m / и / n / явно различимы, но на слух сбивают с толку.[23] Роль зрения у детей в возрасте 1–2 лет может быть менее критичной для выработки их родного языка, поскольку к этому возрасту они приобретают навыки, необходимые для распознавания звуков речи и имитации их. Однако слух на неродном языке может переключить внимание ребенка на зрительное и слуховое взаимодействие посредством чтения по губам и слушания, чтобы обрабатывать, понимать и воспроизводить речь.[24]

В детстве

В исследованиях с участием младенцев и детей с доязычным языком используются косвенные невербальные критерии для определения чувствительности к видимой речи. Явный Чтение по губам можно надежно проверить у дошкольников, слышащих, попросив их «произнести вслух то, что я говорю беззвучно».[25] У детей школьного возраста можно легко вызвать чтение по губам знакомых закрытых слов, таких как числовые слова.[26] Индивидуальные различия в навыках чтения по губам, что подтверждается просьбой ребенка «произнести слово, которое вы читаете по губам» или сопоставлением произнесенного чтения по губам с картинкой.[27] показать взаимосвязь между навыком чтения по губам и возрастом.[28][29]

У слышащих взрослых: соображения продолжительности жизни

В то время как чтение по губам беззвучной речи представляет проблему для большинства слышащих людей, добавление зрения говорящего к слышимой речи улучшает обработку речи во многих условиях. Механизмы этого и конкретные способы, которыми помогает чтение по губам, являются темами текущих исследований.[30]Видение говорящего помогает на всех уровнях обработки речи от фонетическая особенность различение толкования прагматичный высказывания.[31]Положительные эффекты от добавления зрения к слышимой речи больше в шумной, чем в тихой обстановке.[32]где, облегчая восприятие речи, видение говорящего может высвободить познавательные ресурсы, обеспечивая более глубокую обработку речевого содержания.

В качестве слух становится менее надежным в пожилом возрасте люди могут больше полагаться на чтение по губам, и им это рекомендуется. Однако более частое использование чтения по губам не всегда может исправить последствия возрастной потери слуха. Снижение когнитивных способностей с возрастом может предшествовать и / или быть связано с измеримой потерей слуха.[33][34] Таким образом, чтение по губам не всегда может полностью компенсировать совокупное снижение слуха и когнитивных функций, связанных с возрастом.

В определенных (слуховых) группах населения

В ряде исследований сообщается об аномалиях чтения по губам у населения с характерными нарушениями развития. Аутизм: Люди с аутизмом могут демонстрировать снижение способности читать по губам и снижение зависимости от зрения при восприятии аудиовизуальной речи.[35][36] Это может быть связано с аномалиями взгляда в лицо у этих людей.[37] Синдром Вильямса: Люди с синдромом Вильямса демонстрируют некоторые нарушения в чтении речи, которые могут не зависеть от их зрительно-пространственных трудностей.[38] Специфические языковые нарушения: Сообщается, что у детей с SLI снижена чувствительность к чтению по губам.[39] как люди с дислексия.[40]

Глухота

«Когда вы глухой, вы живете в стеклянной бутылке с хорошей пробкой. Вы видите чарующий внешний мир, но он не достигает вас. Научившись читать по губам, вы все еще находитесь внутри бутылки, но пробка выскочила, и внешний мир медленно, но верно входит к вам. ".[41][42] Споры бушуют сотни лет над ролью чтения по губам ('устная речь ') по сравнению с другими методами связи (совсем недавно, полное общение ) в воспитании глухих. Степень, в которой тот или иной подход полезен, зависит от ряда факторов, включая уровень потери слуха глухого человека, возраст потери слуха, участие родителей и родной язык (языки). Затем возникает вопрос о целях глухого человека, его сообщества и опекунов. Целью образования является улучшение общения в целом, развитие язык знаков в качестве первого языка или для развития навыков разговорного языка среди слушателей? В настоящее время исследователи сосредотачиваются на том, какие аспекты языка и общения могут быть лучше всего представлены с помощью каких средств и в каких контекстах, учитывая статус слуха ребенка и его семьи, а также их образовательные планы.[43] Бимодальный двуязычие (владение речью и языком жестов) - один из доминирующих современных подходов к языковому обучению глухих детей.[44]

Глухие люди часто лучше читают по губам, чем люди с нормальным слухом.[45] Некоторые глухие люди практикуют профессиональные чтения с губ, например, в судебное чтение по губам. У глухих людей с кохлеарный имплант умение читать по губам до имплантации может предсказать постимплантационную (слуховую или аудиовизуальную) обработку речи.[46] Для многих глухих людей доступ к речевому общению может быть облегчен, если устное сообщение передается через обученного, профессиональный оратор.[47][48]

В связи с чтением по губам и развитием грамотности глухие дети обычно показывают задержка развития грамотности навыки[49] что может отражать трудности в усвоении элементов разговорной речи.[50] В частности, надежный отображение фонемы-графемы может быть более трудным для глухих детей, которым необходимо уметь читать речь, чтобы освоить этот необходимый шаг в приобретении грамотности. Умение читать по губам связано со способностями к грамотности у глухих взрослых и детей.[51][52] а обучение чтению по губам может помочь развить навыки грамотности.[53]

Поданная речь использует чтение по губам с соответствующими формами рук, которые устраняют неоднозначность виземической (согласной) формы губ. Говорят, что слышащим родителям легче выучить управляемую речь, чем язык жестов, и исследования, проведенные в основном в Бельгии, показывают, что глухой ребенок, который в младенчестве слышал звуковую речь, может добиться более эффективных успехов в изучении разговорной речи, чем чтение по губам.[54] Использование звуковой команды при кохлеарной имплантации при глухоте, вероятно, будет положительным.[55] Подобный подход, предполагающий использование форм рук, сопровождающих видимую речь, является Визуальная акустика, который используется некоторыми преподавателями для поддержки изучения письменной и устной речи.

Обучение и обучение

Целью обучения чтению по губам является развитие осведомленности о природе чтения по губам и отработка способов улучшения способности воспринимать речь «на глаз».[56] Уроки чтения по губам, часто называемые чтение по губам и занятия по управлению потерей слуха, в основном предназначены для взрослых с потерей слуха. Самый высокий процент взрослых с потерей слуха возрастной, или же потери, связанные с шумом; при обеих этих формах потери слуха сначала теряются высокочастотные звуки. Поскольку многие согласные в речи являются высокочастотными звуками, речь становится искаженной. Слуховые аппараты помогают, но не могут вылечить это. Уроки чтения по губам оказались полезными в исследованиях, проведенных в Великобритании по заказу Действия при потере слуха благотворительность[57] (2012).

Тренеры признают, что чтение по губам - искусство неточное. Студентов учат следить за движениями губ, языка и челюстей, следить за ударением и ритмом языка, использовать свой остаточный слух, со слуховыми аппаратами или без них, следить за выражением лица и языком тела, а также использовать свою способность рассуждать и делать выводы. . Их учат алфавит для чтения с губ группы звуков, которые выглядят одинаково на губах (виземы), такие как p, b, m или f, v. Цель состоит в том, чтобы уловить суть, чтобы иметь уверенность в разговоре и избежать разрушительной социальной изоляции, которая часто сопровождает потерю слуха. Уроки чтения по губам рекомендуются всем, кто плохо слышит в шуме, и помогают приспособиться к потере слуха. ATLA (Ассоциация обучения чтению по губам взрослых) - это профессиональная ассоциация Великобритании для квалифицированных преподавателей чтения по губам.

Тесты

Большинство тестов чтения по губам были разработаны для измерения индивидуальных различий в выполнении конкретных задач по обработке речи и выявления изменений в производительности после тренировки. Тесты на чтение по губам использовались в относительно небольших группах в экспериментальных условиях или в качестве клинических показателей для отдельных пациентов и клиентов. Таким образом, тесты чтения по губам на сегодняшний день имеют ограниченную ценность в качестве маркеров навыков чтения по губам среди населения в целом.

Машинное чтение и говорение по губам

Автоматическое чтение по губам был предметом интереса в вычислительной технике, а также в фантастических фильмов. Вычислительный инженер Стив Омохундро, среди прочего, был пионером в его разработке. В лицевая анимация, цель состоит в том, чтобы создать реалистичные движения лица, особенно движения рта, которые имитируют речевые действия человека. Компьютерные алгоритмы деформирования или манипулирования изображениями лиц могут управляться устным или письменным языком. Системы могут быть основаны на детальных моделях, полученных на основе движений лица (захвата движения ); по анатомическому моделированию действий челюсти, рта и языка; или о картировании известных свойств висемфонемы.[58][59] В обучении чтению речи использовалась лицевая анимация (демонстрирующая, как «выглядят» разные звуки).[60] Эти системы являются частью синтез речи моделирование, направленное на получение надежных результатов преобразования текста в (увиденную) речь. Дополнительная цель - обратная движению лиц в речи - состоит в разработке компьютерных алгоритмов, которые могут обеспечить реалистичную интерпретацию речи (то есть письменную расшифровку или аудиозапись) из естественных видеоданных о лице в действии: это распознавание речи по лицу. Эти модели также могут быть получены из различных данных.[61] Автоматическое визуальное распознавание речи из видео оказалось довольно успешным в различении разных языков (из корпуса данных разговорного языка).[62] Демонстрационные модели, использующие алгоритмы машинного обучения, добились определенного успеха в чтении по губам элементов речи, таких как определенные слова, из видео.[63] и для идентификации фонем, трудно читаемых с губ, по визуально подобным видимым действиям рта.[64] Машинное чтение речи теперь успешно использует алгоритмы на основе нейронных сетей которые используют большие базы данных спикеров и речевого материала (следуя успешной модели для слуховых автоматическое распознавание речи ).[65]

Использование машинного чтения по губам может включать автоматическое чтение по губам только видеозаписей, автоматическое чтение по губам говорящих с поврежденными речевыми трактами и обработку речи в видео лицом к лицу (т. Е. Из данных видеофона). Автоматическое чтение по губам может помочь в обработке шумной или незнакомой речи.[66] Автоматическое чтение по губам может способствовать биометрический идентификация человека, заменяющая идентификацию по паролю.[67][68]

Мозг

После открытия, что слуховые области мозга, включая Извилина Хешля, были активированы увиденной речью,[69] Было показано, что нейронная схема для чтения речи включает в себя надмодальные области обработки, особенно верхняя височная борозда (все части), а также задние нижние затылочно-височные области, включая области, специализированные для обработки лица и биологическое движение.[70] В некоторых, но не во всех исследованиях сообщается об активации области Брока для чтения речи,[71][72] предполагая, что артикуляционные механизмы могут быть активированы при чтении речи.[73] Исследования динамики аудиовизуальной обработки речи показали, что зрение речи может активировать области слуховой обработки раньше акустического сигнала.[74][75] Лучшее умение читать по губам связано с большей активацией (слева) верхней височной борозды и прилегающих нижних височных (зрительных) областей у слышащих людей.[76][77] У глухих людей схемы, предназначенные для чтения речи, очень похожи на схемы у слышащих людей, с аналогичными ассоциациями (слева) высшей временной активации и навыка чтения по губам.[78]

Рекомендации

  1. ^ Вудхаус, L; Hickson, L; Додд, Б. (2009). «Обзор зрительного восприятия речи людьми с нарушением слуха: клинические последствия». Международный журнал расстройств языка и общения. 44 (3): 253–70. Дои:10.1080/13682820802090281. PMID  18821117.
  2. ^ Эрбер, Н.П. (1969). «Взаимодействие слуха и зрения при распознавании стимулов устной речи». J Речь Слушать Res. 12 (2): 423–5. Дои:10.1044 / jshr.1202.423. PMID  5808871.
  3. ^ Сэм Лойдс Циклопедия головоломок, 1914 г.
  4. ^ Benguerel, AP; Пичора-Фуллер, МК (1982). «Эффекты коартикуляции при чтении по губам». J Речь Слушать Res. 25 (4): 600–7. Дои:10.1044 / jshr.2504.600. PMID  7162162.
  5. ^ Ауэр, ET (2010). «Исследование чтения речи и глухоты». Журнал Американской академии аудиологии. 21 (3): 163–8. Дои:10.3766 / jaaa.21.3.4. ЧВК  3715375. PMID  20211120.
  6. ^ Иордания, TR; Томас, С.М. (2011). «Когда половина лица так же хороша в целом: эффекты простой субстанциальной окклюзии на визуальное и аудиовизуальное восприятие речи». Atten Percept Psychophys. 73 (7): 2270–85. Дои:10.3758 / s13414-011-0152-4. PMID  21842332.
  7. ^ Thomas, SM; Иордания, TR (2004). «Вклад устных и экстраоральных движений лица в визуальное и аудиовизуальное восприятие речи». J Exp Psychol Hum Percept Perform. 30 (5): 873–88. Дои:10.1037/0096-1523.30.5.873. PMID  15462626.
  8. ^ Спехар, B; Goebel, S; Тай-Мюррей, Н. (2015). «Влияние типа контекста на производительность чтения по губам и слушания и последствия для обработки предложений». J Speech Lang Hear Res. 58 (3): 1093–102. Дои:10.1044 / 2015_JSLHR-H-14-0360. ЧВК  4610295. PMID  25863923.
  9. ^ Файлы, BT; Тян, BS; Цзян, Дж; Бернштейн, Л. Е. (2015). «Визуальное распознавание речи и определение естественных и синтетических согласных раздражителей». Фронт Психол. 6: 878. Дои:10.3389 / fpsyg.2015.00878. ЧВК  4499841. PMID  26217249.
  10. ^ Ауэр, ET; Бернштейн, Л. Е. (1997). «Чтение речи и структура лексики: компьютерное моделирование воздействия пониженной фонетической различимости на лексическую уникальность». J Acoust Soc Am. 102 (6): 3704–10. Дои:10.1121/1.420402. PMID  9407662.
  11. ^ Фельд Дж. 1, Соммерс М. 2011 г. Там идет соседство: чтение по губам и структура ментального лексикона. Речь общ. Февраль; 53 (2): 220-228
  12. ^ Тай-Мюррей, Н. Хейл, S; Спехар, B; Майерсон, Дж; Соммерс, MS (2014). «Чтение по губам у детей школьного возраста: роль возраста, слуха и когнитивных способностей». J Speech Lang Hear Res. 57 (2): 556–65. Дои:10.1044 / 2013_JSLHR-H-12-0273. ЧВК  5736322. PMID  24129010.
  13. ^ Feld, JE; Соммерс, MS (2009). «Чтение по губам, скорость обработки и рабочая память у молодых и пожилых людей». J Speech Lang Hear Res. 52 (6): 1555–65. Дои:10.1044/1092-4388(2009/08-0137). ЧВК  3119632. PMID  19717657.
  14. ^ "HuffPost - Последние новости, новости США и мира". HuffPost. Получено 2020-10-11.
  15. ^ Мельцов, АН; Мур, МК (1977). «Имитация мимики и жестов рук новорожденными людьми». Наука. 198 (4312): 74–8. Дои:10.1126 / science.897687. PMID  897687.
  16. ^ Додд Б. 1976 г. Чтение по губам у младенцев: внимание к речи, представленной как синхронно, так и несинхронно. Когнитивная психология Октябрь; 11 (4): 478-84
  17. ^ Спелке, Э (1976). «Младенцы интермодальное восприятие событий». Когнитивная психология. 8 (4): 553–560. Дои:10.1016/0010-0285(76)90018-9.
  18. ^ Burnham, D; Додд, Б. (2004). «Слухово-визуальная речевая интеграция у младенцев с проязычностью: восприятие возникающего согласного в эффекте Мак-Гурка». Психобиология развития. 45 (4): 204–20. Дои:10.1002 / dev.20032. PMID  15549685.
  19. ^ Розенблюм, Л.Д .; Шмуклер, Массачусетс; Джонсон, Дж. А. (1997). «Эффект МакГерка у младенцев». Психофизическое восприятие. 59 (3): 347–57. Дои:10.3758 / BF03211902. PMID  9136265.
  20. ^ Pons, F; и другие. (2009). «Сужение межсенсорного восприятия речи в младенчестве». Труды Национальной академии наук. 106 (26): 10598–602. Дои:10.1073 / pnas.0904134106. ЧВК  2705579. PMID  19541648.
  21. ^ Левкович, диджей; Газанфар, AA (2009). «Возникновение мультисенсорных систем через сужение восприятия». Тенденции в когнитивных науках. 13 (11): 470–8. CiteSeerX  10.1.1.554.4323. Дои:10.1016 / j.tics.2009.08.004. PMID  19748305.
  22. ^ Хэви, М., Фоуд, А., Фейс, Л., и Веркер, Дж. Ф. (в печати; онлайн 26 января 2017 г.). Роль слуховой и визуальной речи в обучении словам в 18 месяцев и в зрелом возрасте. Развитие ребенка. (Предпечатная версия)
  23. ^ Миллс, А.Э. 1987 Развитие фонологии у слепого ребенка. В B.Dodd & R.Campbell (Eds) Hearing by Eye: Психология чтения по губам, Hove UK, Lawrence Erlbaum Associates
  24. ^ Левкович, диджей; Хансен-Тифт, AM (январь 2012 г.). «Младенцы избирательно уделяют внимание рту говорящего лица при изучении речи». Труды Национальной академии наук. 109 (5): 1431–6. Дои:10.1073 / pnas.1114783109. ЧВК  3277111. PMID  22307596.
  25. ^ Дэвис R1, Кидд Э; Лендер, К. (2009). «Исследование психолингвистических коррелятов чтения речи у детей дошкольного возраста». Международный журнал расстройств языка и общения. 44 (2): 164–74. Дои:10.1080/13682820801997189. HDL:11858 / 00-001M-0000-002E-2344-8. PMID  18608607.
  26. ^ Додд Б. 1987 г. Приобретение навыков чтения по губам нормально слышащими детьми. В B.Dodd & R.Campbell (Eds) Hearing by Eye, Erlbaum NJ pp 163-176
  27. ^ Джергер, S; и другие. (2009). «Изменения в развитии чувствительности детей к визуальной речи: новая мультимодальная задача« картинка-слово ». J Exp Child Psychol. 102 (1): 40–59. Дои:10.1016 / j.jecp.2008.08.002. ЧВК  2612128. PMID  18829049.
  28. ^ Кайл, ИП; Кэмпбелл, Р. Мохаммед, Т; Коулман, М; Максуини, М (2013). «Развитие чтения речи у глухих и слышащих детей: вводный тест по чтению речи у детей». Журнал исследований речи, языка и слуха. 56 (2): 416–26. Дои:10.1044/1092-4388(2012/12-0039). ЧВК  4920223. PMID  23275416.
  29. ^ Тай-Мюррей, Н. Хейл, S; Спехар, B; Майерсон, Дж; Соммерс, MS (2014). «Чтение по губам у детей школьного возраста: роль возраста, слуха и когнитивных способностей». J Speech Lang Hear Res. 57 (2): 556–65. Дои:10.1044 / 2013_JSLHR-H-12-0273. ЧВК  5736322. PMID  24129010.
  30. ^ Пилле, Дж. Э .; Соммерс, MS (2015). «Предсказание и ограничение аудиовизуального восприятия речи». Кора. 68: 169–81. Дои:10.1016 / j.cortex.2015.03.006. ЧВК  4475441. PMID  25890390.
  31. ^ Кэмпбелл, Р. (2008). «Обработка аудиовизуальной речи: эмпирические и нейронные основы». Философские труды Королевского общества B. 363 (1493): 1001–1010. Дои:10.1098 / rstb.2007.2155. ЧВК  2606792. PMID  17827105.
  32. ^ Сумби, WH; Поллак, я (1954). «Визуальный вклад в разборчивость речи в шуме». Журнал Акустического общества Америки. 26 (2): 212–215. Дои:10.1121/1.1907309.
  33. ^ Тальяард, Шмулиан; и другие. (2015). «Взаимосвязь между нарушением слуха и когнитивной функцией: метаанализ у взрослых» (PDF). Клин Отоларингол. 41 (6): 718–729. Дои:10.1111 / coa.12607. HDL:2263/60768. PMID  26670203.
  34. ^ Hung, SC; и другие. (2015). «Потеря слуха связана с риском болезни Альцгеймера: исследование методом случай-контроль у пожилых людей». J Epidemiol. 25 (8): 517–21. Дои:10.2188 / jea.JE20140147. ЧВК  4517989. PMID  25986155.
  35. ^ Smith, EG; Беннетто, Л. Дж. (2007). «Аудиовизуальная интеграция речи и чтение по губам при аутизме». Детская психическая психиатрия. 48 (8): 813–21. Дои:10.1111 / j.1469-7610.2007.01766.x. PMID  17683453.
  36. ^ Ирвин, младший; Торнаторе, Луизиана; Бранкацио, L; Уэлен, DH (2011). «Могут ли дети с расстройствами аутистического спектра слышать« говорящее лицо »?». Детский разработчик. 82 (5): 1397–403. Дои:10.1111 / j.1467-8624.2011.01619.x. ЧВК  3169706. PMID  21790542.
  37. ^ Ирвин, младший; Бранкацио, Л. (2014). «Видеть, чтобы слышать? Образцы взгляда на говорящие лица у детей с расстройствами аутистического спектра». Фронт Психол. 5: 397. Дои:10.3389 / fpsyg.2014.00397. ЧВК  4021198. PMID  24847297.
  38. ^ Böhning, M; Кэмпбелл, Р. Кармилов-Смит, А (2002). «Аудиовизуальное восприятие речи при синдроме Вильямса». Нейропсихология. 40 (8): 1396–406. Дои:10.1016 / s0028-3932 (01) 00208-1. PMID  11931944.
  39. ^ Leybaert, J; Макки, L; Huyse, A; Champoux, F; Баярд, С; Колин, К; Бертоммье, Ф (2014). «Атипичное аудиовизуальное восприятие речи и эффекты Мак-Герка у детей с определенными языковыми нарушениями». Фронт Психол. 5: 422. Дои:10.3389 / fpsyg.2014.00422. ЧВК  4033223. PMID  24904454.
  40. ^ Мохаммед Т1, Кэмпбелл Р.; Максуини, М; Барри, Ф; Коулман, М. (2006). «Чтение речи и его связь с чтением среди глухих, слышащих и страдающих дислексией». Клиническая лингвистика и фонетика. 20 (7–8): 621–30. Дои:10.1080/02699200500266745. PMID  17056494.
  41. ^ Клегг, Дороти (1953), Слушающий глаз: простое введение в искусство чтения по губам, Метуэн и компания
  42. ^ «Чтение по губам - непростая задача». 2016-03-23.
  43. ^ "Руки и голоса :: Статьи".
  44. ^ Суонвик, Р. (2016). «Бимодальное двуязычие и образование глухих детей» (PDF). Обучение языкам. 49 (1): 1–34. Дои:10.1017 / S0261444815000348.
  45. ^ Bernstein, LE; Demorest, ME; Такер, ЧП (2000). «Восприятие речи без слуха». Восприятие и психофизика. 62 (2): 233–52. Дои:10.3758 / bf03205546. PMID  10723205.
  46. ^ Bergeson TR1, Pisoni DB; Дэвис, РА (2005). «Развитие навыков аудиовизуального понимания у детей с доязычной глухотой с кохлеарными имплантатами». Ухо и слух. 26 (2): 149–64. Дои:10.1097/00003446-200504000-00004. ЧВК  3432935. PMID  15809542.
  47. ^ «Коммуникационная поддержка глухих». 2015-11-24.
  48. ^ «Lipspeaker UK - Услуги связи для глухих и слабослышащих».
  49. ^ «Чтение и дислексия у глухих детей | Фонд Наффилда».
  50. ^ Майер, К. (2007). «Что действительно важно в раннем развитии грамотности глухих детей». J глухой жеребец глухое образование. 12 (4): 411–31. Дои:10.1093 / глухой / enm020. PMID  17566067.
  51. ^ Мохаммед, Тара; Кэмпбелл, Рут; МакСвини, Майрид; Барри, Фиона; Коулман, Майкл (2006). «Чтение речи и его связь с чтением среди глухих, слышащих и страдающих дислексией». Клиническая лингвистика и фонетика. 20 (7–8): 621–630. Дои:10.1080/02699200500266745. PMID  17056494.
  52. ^ Кайл, Ф. Э .; Харрис, М. (2010). «Предикторы развития чтения у глухих детей: трехлетнее продольное исследование» (PDF). J Exp Child Psychol. 107 (3): 229–243. Дои:10.1016 / j.jecp.2010.04.011.
  53. ^ Кайл, Фиона Э .; Кэмпбелл, Рут; Мохаммед, Тара; Коулман, Майк; МакСвини, Майрид (2013). «Развитие чтения речи у глухих и слышащих детей: знакомство с тестом на чтение детской речи». Журнал исследований речи, языка и слуха. 56 (2): 416–426. Дои:10.1044/1092-4388(2012/12-0039). ЧВК  4920223. PMID  23275416.
  54. ^ Николс, GH; Линг, Д. (1982). «Речь на запрос и прием разговорной речи». J Речь Слушать Res. 25 (2): 262–9. Дои:10.1044 / jshr.2502.262. PMID  7120965.
  55. ^ Leybaert, J; ЛаСассо, CJ (2010). «Речь с инструкциями для улучшения восприятия речи и развития первого языка у детей с кохлеарными имплантатами». Тенденции в усилении. 14 (2): 96–112. Дои:10.1177/1084713810375567. ЧВК  4111351. PMID  20724357.
  56. ^ «Алфавит чтения по губам: круглые гласные». В архиве из оригинала от 23.06.2014. Получено 2014-06-23.
  57. ^ «Кампании и влияние».
  58. ^ http://www-bcf.usc.edu/~rwalker/Walker/Publications_files/1996_CohenWalker%26Massaro_VisualSpeech.pdf
  59. ^ «Визуальный синтез речи на основе правил». 1995. С. 299–302.
  60. ^ Босселер, Алексис; Массаро, Доминик В. (2003). «Разработка и оценка компьютерно-анимированного репетитора по словарному запасу и изучению языка у детей с аутизмом». Журнал аутизма и нарушений развития. 33 (6): 653–672. Дои:10.1023 / B: JADD.0000006002.82367.4f. PMID  14714934.
  61. ^ «Визуальный синтез речи - УЭА».
  62. ^ «Читающий по губам компьютер может различать языки».
  63. ^ https://www.youtube.com/watch?v=Tu2vInqqHX8
  64. ^ Хики, Шейн (2016-04-24). «Новаторы: можно ли научить компьютеры читать по губам?». Хранитель.
  65. ^ «DeepMind AI от Google может читать телешоу по губам лучше, чем профессионал».
  66. ^ Petajan, E .; Bischoff, B .; Bodoff, D .; Брук, Н. М. (1988). «Улучшенная система автоматического чтения по губам для улучшения распознавания речи». Материалы конференции SIGCHI по человеческому фактору в вычислительных системах - CHI '88. С. 19–25. Дои:10.1145/57167.57170. ISBN  978-0201142372.
  67. ^ http://www.asel.udel.edu/icslp/cdrom/vol1/954/a954.pdf
  68. ^ http: //www.planetbiometrics.com-article-details-i-2250[постоянная мертвая ссылка ]
  69. ^ Калверт, Джорджия; Bullmore, ET; Браммер, MJ; и другие. (1997). «Активация слуховой коры при молчаливом чтении по губам». Наука. 276 (5312): 593–6. Дои:10.1126 / science.276.5312.593. PMID  9110978.
  70. ^ Bernstein, LE; Либенталь, Э (2014). «Нервные пути зрительного восприятия речи». Front Neurosci. 8: 386. Дои:10.3389 / fnins.2014.00386. ЧВК  4248808. PMID  25520611.
  71. ^ Шкипер, JI; ван Вассенхов, V; Нусбаум, ХК; Маленький, SL (2007). «Слышать губы и видеть голоса: как области коры головного мозга, поддерживающие производство речи, опосредуют аудиовизуальное восприятие речи». Кора головного мозга. 17 (10): 2387–2399. Дои:10.1093 / cercor / bhl147. ЧВК  2896890. PMID  17218482.
  72. ^ Кэмпбелл, Р. МакСвини, М; Сургуладзе, С; Калверт, G; McGuire, P; Сосание, Дж; Браммер, MJ; Дэвид, А.С. (2001). «Корковые субстраты для восприятия действий лица: исследование с помощью фМРТ специфичности активации видимой речи и бессмысленных действий нижней части лица (скрежетание)». Brain Res Cogn Brain Res. 12 (2): 233–43. Дои:10.1016 / s0926-6410 (01) 00054-4. PMID  11587893.
  73. ^ Swaminathan, S .; MacSweeney, M .; Boyles, R .; Waters, D .; Watkins, K. E .; Мёттёнен, Р. (2013). «Двигательная возбудимость при зрительном восприятии известных и неизвестных разговорных языков». Мозг и язык. 126 (1): 1–7. Дои:10.1016 / j.bandl.2013.03.002. ЧВК  3682190. PMID  23644583.
  74. ^ Sams, M; и другие. (1991). «Ауленко и другие. 1991 Видение речи: визуальная информация от движений губ изменяет активность слуховой коры человека ". Письма о неврологии. 127 (1): 141–145. Дои:10.1016 / 0304-3940 (91) 90914-ф. PMID  1881611.
  75. ^ Ван Вассенхов, V; Грант, кВт; Poeppel, D (январь 2005 г.). «Визуальная речь ускоряет нейронную обработку слуховой речи». Труды Национальной академии наук. 102 (4): 1181–6. Дои:10.1073 / pnas.0408949102. ЧВК  545853. PMID  15647358.
  76. ^ Холл DA1, Fussell C, Summerfield AQ. 2005 Чтение беглой речи с говорящих лиц: типичные мозговые сети и индивидуальные различия. Cogn Neurosci. 17 (6): 939-53.
  77. ^ Bernstein, LE; Цзян, Дж; Пантазис, Д; Лу, З.Л .; Джоши, А (2011). «Визуальная фонетическая обработка, локализованная с помощью речевых и неречевых жестов лица на видео и точечных световых дисплеях». Hum Brain Mapp. 32 (10): 1660–76. Дои:10.1002 / хбм.21139. ЧВК  3120928. PMID  20853377.
  78. ^ Чапек, CM; Максуини, М; Woll, B; Waters, D; Макгуайр, ПК; David, AS; Браммер, MJ; Кэмпбелл, Р. (2008). «Корковые цепи для беззвучного чтения речи глухими и слышащими людьми». Нейропсихология. 46 (5): 1233–41. Дои:10.1016 / j.neuropsychologia.2007.11.026. ЧВК  2394569. PMID  18249420.

Библиография

  • Д. Сторк и М. Хеннеке (редакторы) (1996) Чтение речи людьми и машинами: модели систем и приложений. НАТО ASI серия F Компьютерные и системные науки Том 150. Шпрингер, Берлин, Германия
  • E.Bailly, P.Perrier и E.Vatikiotis-Bateson (Eds) (2012) Обработка аудиовизуальной речи, Cambridge University Press, Cambridge UK
  • Слух на глаз (1987), Б. Додд и Р. Кэмпбелл (редакторы), Эрлбаум Ассстес, Хиллсдейл, штат Нью-Джерси, США; Слух глазами II, (1997) Р. Кэмпбелл, Б. Додд и Д. Бернем (редакторы), Psychology Press, Hove UK
  • Д. В. Массаро (1987 г., перепечатано в 2014 г.) Восприятие речи на слух и на глаз, Lawrence Erlbaum Associates, Хиллсдейл, штат Нью-Джерси

дальнейшее чтение

внешняя ссылка