Versant - Versant

Для использования в других целях см. Версант (значения).

В Versant набор тестов - это компьютеризированные тесты устной речи, доступные в Pearson PLC. Versant-тесты были первыми полностью автоматизированными тестами разговорной речи, в которых использовались расширенные обработка речи технологии (в том числе распознавание речи ) для оценки навыков разговорной речи не носителей языка. Языковой пакет Versant включает тесты по английскому, испанскому, голландскому, французскому и арабскому языкам. Технология Versant также применялась для оценки авиационного английского, оценки устного чтения детей и оценки грамотности взрослых.

История

В 1996 году Джаред Бернштейн и Брент Таунсенд основали Ordinate Corporation, чтобы разработать систему, которая будет использовать обработка речи технологии и лингвистический и теория тестирования для обеспечения автоматически доставляемого и автоматически оцениваемого языкового теста. Первый тест по английскому назывался PhonePass. Это был первый полностью компьютеризированный тест по устной речи с использованием распознавание речи технологии. В 2002 году название PhonePass было изменено на PhonePass SET-10 (Speken English Test) или просто SET-10. В 2003 году Ordinate был приобретен Harcourt Assessment, а позже, в 2005 году, название теста было изменено на его текущее название Versant. В январе 2008 года компания Harcourt Assessment (включая Ordinate Corporation) была приобретена Pearson, и Ordinate Corporation стала частью группы Knowledge Technologies компании Pearson. В июне 2010 года были запущены тесты Versant Pro Speaking Test и Versant Pro Writing Test.

Описание товара

Версантные тесты обычно представляют собой пятнадцатиминутные тесты разговорной речи и аудирования для взрослых, изучающих язык. (Продолжительность теста незначительно варьируется в зависимости от теста). Тест проводится по телефону или на компьютере и оценивается компьютером с использованием заранее определенных алгоритмов на основе данных. Во время теста система представляет серию записанных подсказок в разговорном темпе и вызывает устные ответы тестируемого.[1] Тесты Versant доступны в виде нескольких продуктов:

  • Версантный тест по английскому
  • Versant English - вступительный тест [1]
  • Versant English - письменный тест
  • Версант Испанский тест
  • Версантный арабский тест
  • Версантский французский тест
  • Versant Aviation английский

Кроме того, с помощью платформы Versant в сотрудничестве с другими организациями было создано несколько предметно-ориентированных тестов. Эти тесты включают тест Versant Aviation English Test (для авиационного персонала), тест Versant Junior English Test (для изучающих английский язык в возрасте от 5 до 12 лет) и голландский иммиграционный тест (доступный только через посольства Нидерландов). Система оценки Versant также обеспечивает автоматическую оценку устной части теста на четыре навыка, Тест Пирсона по английскому языку, доступен в конце 2009 года.

Тестовая конструкция Versant

Тесты Versant измеряют «способность к разговорной речи», определяемую как способность понимать разговорный язык на повседневные темы и отвечать соответствующим образом в темпе разговорного языка, как у носителей языка. Поддерживая темп разговора, человек должен отслеживать, что говорится, извлекать значение по мере продолжения речи, а также формулировать и производить уместный и понятный ответ.[2] Тесты Versant предназначены для измерения этих психолингвистических аспектов устной речи на втором языке в реальном времени.

Формат и задачи теста

Версантные тесты обычно состоят из шести задач: чтение, повторение, вопросы с краткими ответами, построение предложений, пересказ истории и открытые вопросы.

ЗадачаОписание
А. ЧтениеИспытуемые читают напечатанные пронумерованные предложения. Предложения относительно просты по структуре и словарному запасу, поэтому их могут легко и свободно читать грамотные носители целевого языка.
Б. ПовторяетТестируемые дословно повторяют предложения. Предложения представлены в порядке возрастания сложности. Подсказки к аудиоэлементам воспроизводятся в естественном темпе разговора.
В. Вопросы с краткими ответамиТестируемые слушают вопросы и отвечают на каждый из них одним словом или короткой фразой. Каждый вопрос требует базовой информации или простых выводов, основанных на времени, последовательности, числе, лексическом содержании или логике.
D. Построения предложенийИспытуемым предлагается три короткие фразы. Фразы представлены в случайном порядке, и испытуемого просят перегруппировать их в предложение.
E. Пересказ историиТестируемые слушают рассказ, а затем их просят описать происходящее своими словами. Тестируемым предлагается рассказать как можно больше истории, включая ситуацию, персонажей, действия и концовку.
F. Открытые вопросыТестируемые выслушивают вопрос, чтобы узнать мнение, и дают ответ с объяснением. Вопросы касаются либо семейной жизни, либо предпочтений и выбора тестируемого. Это задание используется для сбора образца спонтанной речи. Ответы тестируемого не оцениваются автоматически, но эти ответы доступны для просмотра уполномоченными слушателями.

Versant технология

Автоматизированное администрирование

Тесты Versant можно проводить по телефону или на компьютере. Участники тестирования могут получить доступ к тестам и пройти их из любого места, где есть стационарный телефон или подключение к Интернету.

Тестируемым дается идентификационный номер теста, и они слушают записанный голос экзаменатора для получения инструкций, которые также дословно печатаются на тестовой бумаге или экране компьютера. На протяжении всего теста испытуемые слушают записанные подсказки по заданию, прочитанные разными носителями языка. Поскольку тестирование автоматизировано, большое количество тестов можно проводить и оценивать очень быстро.

Автоматизированная технология скоринга

Результаты тестирования Versant публикуются в Интернете в течение нескольких минут после завершения теста. Администраторы тестов и участники тестирования могут просматривать и распечатывать результаты своих тестов, вводя свой идентификационный номер теста на веб-сайте Versant. Отчет об оценке Versant состоит из общего балла (взвешенная комбинация дополнительных баллов) и четырех диагностических баллов: владение предложением (то есть грамматика), словарный запас, беглость речи и произношение. Общий балл и промежуточные баллы выставляются по шкале от 20 до 80.

Технология автоматической оценки оптимизирована с использованием большого количества образцов речи как носителей языка, так и носителей языка. Обычно проводится обширный сбор данных, чтобы собрать достаточное количество таких речевых образцов. Эти речевые ответы затем транскрибируются для обучения автоматической системы распознавания речи.

Затем каждый входящий ответ автоматически обрабатывается распознавателем речи, оптимизированным для неродной речи. В записанном сигнале расположены слова, паузы, слоги и телефоны. Содержание ответа оценивается в зависимости от наличия или отсутствия ожидаемых правильных слов в правильной последовательности, а также скорости, беглости и произношения этих слов во фразах и предложениях. Затем базовые показатели выводятся из сегментов, слогов и слов на основе статистических моделей носителей языка и носителей языка.[3] Было подготовлено много документации относительно точности автоматизированной системы подсчета очков Versant.

Оценка использования

Тесты Versant в настоящее время используются академическими учреждениями, корпорациями и государственными учреждениями по всему миру. Versant-тесты предоставляют информацию, которую можно использовать, чтобы определить, обладают ли сотрудники или студенты необходимыми навыками разговорной речи для эффективного взаимодействия. Например, тест Versant English Test был использован на чемпионате мира по футболу 2002 года в Корее / Японии, чтобы измерить уровень владения английским языком у более чем 15 000 добровольцев и назначить соответствующих сотрудников для выполнения наиболее интенсивных по английскому языку задач.[4] Испанский тест Versant был использован в исследовании Блейка и др. (2008)[5] оценить, являются ли курсы дистанционного обучения таким же действенным способом начать изучение иностранного языка, как традиционные очные занятия, которые проводятся пять раз в неделю в отношении устной речи.

Проверка

Отношение к другим тестам

Результаты тестов Versant приведены в соответствие с Общеевропейскими компетенциями владения языком (CEFR ). Ниже приведены сопоставления оценок Versant и других тестов с CEFR. Общие баллы Versant English можно использовать для прогнозирования CEFR уровни на CEFR шкала навыков устного взаимодействия с разумной точностью.[6]

Versant[7]CEFR[8]IELTS[9]TOEIC[10]TOEFL iBT Speaking[11]TOEFL iBT[12]
20-80A1-C20-910-9900-300-120
20-250
26-35A11-28-13
36-46A2313-19
47-57B13.5-4.5550+19-2357-86
58-68Би 25-623-2887-109
69-78C16.5-7880+28+110-120
79-80C27.5+

Серия проверочных исследований показала, что тест Versant English Test разумно коррелирует с другими показателями навыков разговорного английского. Например, корреляция между тестом Versant English Test и TOEFL iBT Speaking составляет r = 0,75, а корреляция между тестом Versant English Test и IELTS Устная речь составляет r = 0,77.

Взаимосвязь между машиной и человеком

Одна из распространенных критических замечаний по поводу тестов Versant заключается в том, что машина не может оценивать разговорные навыки так же хорошо, как человек. Компания Knowledge Technologies, которая производит и проводит этот тест, утверждает, что автоматически сгенерированные результаты Versant English Test практически неотличимы от оценок, выставленных повторными независимыми экспертами-людьми на общем уровне.[13]

Еще одна критика заключается в том, что тесты Versant не измеряют коммуникативные способности, потому что между живыми участниками нет обмена взаимодействиями. Versant, в Downey et al. (2008) утверждают, что психолингвистические компетенции, которые оцениваются в их тестах, лежат в основе большей устной языковой способности. Это утверждение подтверждается совпадающими данными о валидности того, что результаты тестов Versant сильно коррелируют с другими хорошо известными тестами на собеседовании на предмет владения языком, такими как ACTFL OPI или ILR OPI.

Польза продуктов Versant была оспорена третьей стороной.[14]

Управление

  • Алистер Ван Моер, президент
  • Райан Даун, директор по управлению продуктами

Смотрите также

Рекомендации

  1. ^ Балог Дж., Барбье И., Бернштейн Дж., Сузуки М. и Харада Ю. (2005). Общая структура для разработки автоматических тестов разговорной речи на нескольких языках. Журнал JART, 1 (1), 67-79.
  2. ^ Бернштейн, Дж. И Ченг, Дж. (2007). Логика и проверка полностью автоматического теста разговорного английского. В M. Holland & F.P. Фишер (ред.), Путь речевых технологий в компьютерном обучении языку: от исследований к практике (стр. 174-194). Флоренция, Кентукки: Рутледж.
  3. ^ Балог Дж. И Бернштейн Дж. (2006). Работоспособные модели стандартного исполнения на английском и испанском языках. В Y. Matsumoto, D.Y. Осима, О. Робинсон и П. Селлз (ред.), Разнообразие языков: перспективы и последствия (стр. 20-41). Стэнфорд, Калифорния: Центр изучения языков и информационных публикаций.
  4. ^ "Корейский организационный комитет чемпионата мира по футболу 2002 года в Корее / Японии выбрал Ординат ..." AllBusiness.com. 2 ноя 2008.
  5. ^ Блейк, Р., Уилсон, Н.Л., Пардо-Баллестар, К., и Четто, М. (2008). Измерение уровня владения языком в дистанционных, очных и смешанных классах. Изучение языков и технологии, 12 (3), стр.114-127.
  6. ^ Бернштейн, Дж. И Де Йонг, Дж. Х.А.Л. (2001). Эксперимент по прогнозированию уровня владения общеевропейскими дескрипторами уровня. В Ю.Н. Leung et al. (Ред.), Избранные доклады десятого Международного симпозиума по преподаванию английского языка (стр. 8–14). Тайбэй, Китай: издательство The Crane Publishing.
  7. ^ Бернштейн, Дж. Де Йонг, Дж. Писони, Д. и Тауншенд, Б. (2000). Два эксперимента по автоматической оценке уровня владения разговорным языком. В труде П. Делклока (ред.) InSTIL2000: интеграция речевых технологий в обучение (стр. 57-61). Университет Абертай Данди, Шотландия.
  8. ^ Совет Европы (2001). «Общеевропейские компетенции владения иностранным языком» (PDF). Издательство Кембриджского университета.
  9. ^ Связывание результатов IELTS с Общеевропейскими рамками Совета Европы: «Архивная копия» (PDF). Архивировано из оригинал (PDF) 3 февраля 2007 г.. Получено 20 января, 2009.CS1 maint: заархивированная копия как заголовок (связь)
  10. ^ Танненбаум, Ричард и Кэролайн Э. Уайли (2005). «Отчеты об исследованиях: сопоставление результатов тестов на знание английского языка с общеевропейскими рамками» (PDF). Услуги образовательного тестирования. Архивировано из оригинал (PDF) 21 ноября 2008 г.. Получено 20 января, 2009.
  11. ^ «Сопоставление TOEFL iBT с общеевропейскими компетенциями» (PDF). 2007. Архивировано с оригинал (PDF) 6 февраля 2009 г.. Получено 20 января, 2009.
  12. ^ «Сопоставление TOEFL iBT с общеевропейскими компетенциями» (PDF). 2007. Архивировано с оригинал (PDF) 6 февраля 2009 г.. Получено 20 января, 2009.
  13. ^ Дауни Р., Фархади Х., Настоящий Томас Р., Сузуки М. и Ван Моер А. (2008). Оценка полезности теста Versant for English: ответ. Ежеквартальная оценка языка, 5, 160–167.
  14. ^ Кристиан В. Чун (2008): Комментарии к «« Оценка полезности версанта для теста по английскому языку: ответ »»: Ответ автора, Ежеквартальная оценка языка, 5: 2, 168-172

внешняя ссылка