Аффективные вычисления - Affective computing

Аффективные вычисления также название учебника по предмету Розалинда Пикард.

Аффективные вычисления это исследование и разработка систем и устройств, которые могут распознавать, интерпретировать, обрабатывать и моделировать человеческие влияет. Это междисциплинарная область, охватывающая Информатика, психология, и наука о мышлении.[1] Хотя некоторые основные идеи в этой области можно проследить еще до ранних философских исследований эмоция,[2] более современная отрасль информатики возникла с Розалинда Пикард газета 1995 г.[3] об аффективных вычислениях и ее книге Аффективные вычисления[4] опубликовано MIT Press.[5][6] Одна из мотиваций исследования - способность придавать машинам эмоциональный интеллект, в том числе моделировать сочувствие. Машина должна интерпретировать эмоциональное состояние людей и адаптировать к ним свое поведение, соответствующим образом реагируя на эти эмоции.

Области

Обнаружение и распознавание эмоциональной информации

Обнаружение эмоциональной информации обычно начинается с пассивного датчики которые собирают данные о физическом состоянии или поведении пользователя без интерпретации ввода. Собранные данные аналогичны сигналам, которые люди используют, чтобы воспринимать эмоции в других. Например, видеокамера может фиксировать мимику, положение тела и жесты, а микрофон может фиксировать речь. Другие датчики обнаруживают эмоциональные сигналы путем прямого измерения физиологический данные, такие как температура кожи и гальваническое сопротивление.[7]

Распознавание эмоциональной информации требует извлечения значимых закономерностей из собранных данных. Это делается с помощью методов машинного обучения, которые обрабатывают разные модальности, Такие как распознавание речи, обработка естественного языка, или же определение выражения лица. Цель большинства этих методов - создать ярлыки, которые соответствовали бы ярлыкам, которые человек-воспринимающий дал бы в той же ситуации: например, если человек делает выражение лица, нахмуренное бровью, то систему компьютерного зрения можно научить маркировать их лицо выглядит «растерянным», «сосредоточенным» или «слегка негативным» (в отличие от позитивного, о котором можно было бы сказать, если бы они улыбались радостно). Эти ярлыки могут соответствовать или не соответствовать тому, что на самом деле чувствует человек.

Эмоции в машинах

Другая область аффективных вычислений - это разработка вычислительных устройств, которые, как предполагается, демонстрируют либо врожденные эмоциональные способности, либо способны убедительно моделировать эмоции. Более практичный подход, основанный на современных технологических возможностях, - моделирование эмоций в разговорных агентах с целью обогащения и облегчения взаимодействия между человеком и машиной.[8]

Марвин Мински, один из первых компьютерных ученых в искусственный интеллект, связывает эмоции с более широкими проблемами машинного интеллекта, заявляя в Машина эмоций эта эмоция «не особенно отличается от процессов, которые мы называем« мышлением »».[9]

Технологии

В психологии, когнитивной науке и нейробиологии существует два основных подхода к описанию того, как люди воспринимают и классифицируют эмоции: непрерывный или категориальный. При непрерывном подходе используются такие параметры, как негативное и позитивное, спокойное или возбужденное.

При категориальном подходе используются отдельные классы, такие как «счастливый», «грустный», «сердитый», «пугающий», «удивление», «отвращение». Для того, чтобы машины производили непрерывные или дискретные этикетки, можно использовать различные виды регрессионных и классификационных моделей машинного обучения. Иногда также создаются модели, позволяющие комбинировать категории, например Счастливо-удивленное лицо или испуганно-удивленное лицо.[10]

В следующих разделах рассматриваются многие типы входных данных, используемых для задачи распознавание эмоций.

Эмоциональная речь

Различные изменения в вегетативной нервной системе могут косвенно изменять речь человека, а аффективные технологии могут использовать эту информацию для распознавания эмоций. Например, речь, производимая в состоянии страха, гнева или радости, становится быстрой, громкой и точной, с более высоким и широким диапазоном высоты тона, тогда как такие эмоции, как усталость, скука или печаль, имеют тенденцию вызывать медленные, низкие звуки. резкая и невнятная речь.[11] Было обнаружено, что некоторые эмоции легче идентифицировать с помощью вычислений, например гнев[12] или одобрение.[13]

Технологии обработки эмоциональной речи распознают эмоциональное состояние пользователя с помощью вычислительного анализа характеристик речи. Вокальные параметры и просодический такие функции, как переменные высоты тона и скорость речи, могут быть проанализированы с помощью методов распознавания образов.[12][14]

Анализ речи - это эффективный метод определения аффективного состояния, средняя точность которого, согласно недавним исследованиям, составляет от 70 до 80%.[15][16] Эти системы имеют тенденцию превосходить среднюю человеческую точность (примерно 60%[12]), но они менее точны, чем системы, которые используют другие методы для обнаружения эмоций, такие как физиологические состояния или выражения лица.[17] Однако, поскольку многие характеристики речи не зависят от семантики или культуры, этот метод считается многообещающим путем для дальнейших исследований.[18]

Алгоритмы

Процесс обнаружения аффекта речи / текста требует создания надежного база данных, база знаний, или же векторная космическая модель,[19] достаточно широкий, чтобы удовлетворить все потребности его применения, а также выбор успешного классификатора, который позволит быстро и точно идентифицировать эмоции.

В настоящее время наиболее часто используемыми классификаторами являются линейные дискриминантные классификаторы (LDC), k-ближайший сосед (k-NN), модель смеси Гаусса (GMM), машины опорных векторов (SVM), искусственные нейронные сети (ANN), алгоритмы дерева решений и скрытые марковские модели (HMM).[20] Различные исследования показали, что выбор подходящего классификатора может значительно повысить общую производительность системы.[17] Список ниже дает краткое описание каждого алгоритма:

  • LDC - Классификация происходит на основе значения, полученного из линейной комбинации значений признаков, которые обычно предоставляются в виде векторных объектов.
  • k-NN - Классификация происходит путем размещения объекта в пространстве признаков и сравнения его с k ближайшими соседями (обучающие примеры). Классификация принимается большинством голосов.
  • GMM - вероятностная модель, используемая для представления существования субпопуляций в общей популяции. Каждая подгруппа описывается с использованием смешанного распределения, что позволяет классифицировать наблюдения по подгруппам.[21]
  • SVM - это тип (обычно двоичного) линейного классификатора, который решает, в какой из двух (или более) возможных классов может попадать каждый вход.
  • АННА - математическая модель, созданная на основе биологических нейронных сетей, которая может лучше понять возможные нелинейности пространства признаков.
  • Алгоритмы дерева решений - работа, основанная на следовании дереву решений, в котором листья представляют результат классификации, а ветви представляют собой соединение последующих признаков, которые приводят к классификации.
  • HMMs - статистическая марковская модель, в которой состояния и переходы между состояниями напрямую не доступны для наблюдения. Вместо этого видны серии выходов, зависящих от состояний. В случае распознавания аффекта выходные данные представляют собой последовательность векторов речевых признаков, что позволяет вывести последовательности состояний, по которым развивалась модель. Состояния могут состоять из различных промежуточных шагов в выражении эмоции, и каждый из них имеет распределение вероятностей по возможным выходным векторам. Последовательности состояний позволяют нам предсказать аффективное состояние, которое мы пытаемся классифицировать, и это один из наиболее часто используемых методов в области обнаружения речевых аффектов.

Доказано, что при наличии достаточного количества акустических свидетельств эмоциональное состояние человека может быть классифицировано с помощью набора классификаторов голосования большинством голосов. Предлагаемый набор классификаторов основан на трех основных классификаторах: kNN, C4.5 и SVM-RBF Kernel. Этот набор обеспечивает лучшую производительность, чем каждый базовый классификатор, взятый отдельно. Он сравнивается с двумя другими наборами классификаторов: мультиклассовой SVM «один против всех» (OAA) с гибридными ядрами и набором классификаторов, который состоит из следующих двух основных классификаторов: C5.0 и нейронная сеть. Предлагаемый вариант обеспечивает лучшую производительность, чем два других набора классификаторов.[22]

Базы данных

Подавляющее большинство существующих систем зависят от данных. Это создает одну из самых больших проблем при обнаружении эмоций на основе речи, поскольку требует выбора соответствующей базы данных, используемой для обучения классификатора. Большинство имеющихся в настоящее время данных было получено от актеров и, таким образом, представляет собой представление об архетипических эмоциях. Эти так называемые действующие базы данных обычно основаны на теории основных эмоций (автор: Пол Экман ), который предполагает наличие шести основных эмоций (гнев, страх, отвращение, удивление, радость, грусть), остальные просто являются смесью первых.[23] Тем не менее, они по-прежнему предлагают высокое качество звука и сбалансированные классы (хотя часто их слишком мало), что способствует высокому успеху в распознавании эмоций.

Однако для реальных приложений предпочтительны натуралистические данные. Натуралистическая база данных может быть создана путем наблюдения и анализа предметов в их естественном контексте. В конечном итоге такая база данных должна позволить системе распознавать эмоции в зависимости от их контекста, а также определять цели и результаты взаимодействия. Природа этого типа данных позволяет реализовать подлинную реальную жизнь, поскольку описывает состояния, естественным образом возникающие во время взаимодействие человека с компьютером (HCI).

Несмотря на многочисленные преимущества, которыми обладают натуралистические данные над данными, полученными с помощью действующей информации, их трудно получить и обычно они имеют низкую эмоциональную напряженность. Кроме того, данные, полученные в естественном контексте, имеют более низкое качество сигнала из-за шума окружающей среды и удаленности объектов от микрофона. Первой попыткой создания такой базы данных был корпус FAU Aibo Emotion Corpus для CEICES (объединение усилий для улучшения автоматической классификации эмоциональных состояний пользователя), который был разработан на основе реалистичного контекста детей (возраст 10-13 лет), играющих с домашним роботом Sony Aibo. .[24][25] Точно так же создание единой стандартной базы данных для всех эмоциональных исследований обеспечит метод оценки и сравнения различных систем распознавания аффектов.

Речевые дескрипторы

Сложность процесса распознавания аффектов возрастает с увеличением количества классов (аффектов) и речевых дескрипторов, используемых в классификаторе. Следовательно, крайне важно выбрать только наиболее важные функции, чтобы гарантировать способность модели успешно определять эмоции, а также повышать производительность, что особенно важно для обнаружения в реальном времени. Диапазон возможных вариантов огромен, в некоторых исследованиях упоминается использование более 200 различных функций.[20] Крайне важно выявить избыточные и нежелательные, чтобы оптимизировать систему и повысить вероятность правильного обнаружения эмоций. Наиболее общие речевые характеристики делятся на следующие группы.[24][25]

  1. Частотные характеристики
    • Форма акцента - зависит от скорости изменения основной частоты.
    • Средний тон - описание того, насколько высоко / низко говорящий говорит по сравнению с нормальной речью.
    • Наклон контура - описывает тенденцию изменения частоты с течением времени, она может быть повышением, понижением или уровнем.
    • Окончательное понижение - величина, на которую падает частота в конце произнесения.
    • Диапазон высоты тона - измеряет разброс между максимальной и минимальной частотой произнесения.
  2. Функции, связанные со временем:
    • Скорость речи - описывает скорость произнесения слов или слогов за единицу времени.
    • Частота ударения - измеряет частоту появления звуков с тональным акцентом.
  3. Параметры качества голоса и дескрипторы энергии:
    • Дыхание - измеряет шум вдоха в речи
    • Brilliance - описывает преобладание высоких или низких частот в речи.
    • Громкость - измеряет амплитуду речевого сигнала, переводит в энергию произнесения.
    • Pause Discontinuity - описывает переходы между звуком и тишиной.
    • Pitch Discontinuity - описывает переходы основной частоты.

Обнаружение аффекта лица

Обнаружение и обработка выражения лица достигается с помощью различных методов, таких как оптический поток, скрытые марковские модели, обработка нейронной сети или модели активного внешнего вида. Можно комбинировать или объединять несколько модальностей (мультимодальное распознавание, например, мимика и просодия речи,[26] мимика и жесты рук,[27] или выражения лица с речью и текстом для мультимодальных данных и анализа метаданных), чтобы обеспечить более надежную оценку эмоционального состояния субъекта. Аффективный компания (соучредителем Розалинда Пикард и Рана Эль Калиуби ), непосредственно связанного с Affective Computing, и направлена ​​на исследование решений и программного обеспечения для обнаружения лицевых аффектов.

Базы данных по выражению лица

Основная статья: Базы данных по выражению лица

Создание базы данных эмоций - сложная и трудоемкая задача. Однако создание базы данных - важный шаг в создании системы, распознающей человеческие эмоции. Большинство общедоступных баз данных эмоций включают только постановочные выражения лица. В базах данных постановочных выражений участников просят отображать различные основные эмоциональные выражения, в то время как в базе данных спонтанных выражений выражения являются естественными. Спонтанное проявление эмоций требует значительных усилий по выбору правильных стимулов, которые могут привести к яркому проявлению намеченных эмоций. Во-вторых, процесс включает маркировку эмоций обученными людьми вручную, что делает базы данных очень надежными. Поскольку восприятие выражений и их интенсивности субъективно по своей природе, аннотации экспертов важны для целей валидации.

Исследователи работают с тремя типами баз данных, такими как база данных только изображений пикового выражения, база данных последовательностей изображений, отражающих эмоцию от нейтральной до ее пика, и видеоклипы с эмоциональными аннотациями. Многие базы данных по выражениям лиц были созданы и опубликованы с целью распознавания выражений лиц. Две из широко используемых баз данных - это CK + и JAFFE.

Классификация эмоций

Основная статья: Классификация эмоций

Выполняя кросс-культурные исследования в Папуа-Новой Гвинее, посвященные представителям коренных народов, в конце 1960-х гг., Пол Экман предложил идею о том, что выражение эмоций на лице не определяется культурой, а универсально. Таким образом, он предположил, что они имеют биологическое происхождение и поэтому могут быть безопасно и правильно классифицированы.[23]Поэтому в 1972 году он официально выдвинул шесть основных эмоций:[28]

Однако в 1990-х годах Экман расширил свой список основных эмоций, включив в него ряд положительных и отрицательных эмоций, не все из которых закодированы в лицевых мышцах.[29] Недавно добавленные эмоции:

  1. Развлечение
  2. Презрение
  3. Удовлетворенность
  4. Смущение
  5. Возбуждение
  6. Чувство вины
  7. Гордость за достижения
  8. Облегчение
  9. Удовлетворение
  10. Чувственное удовольствие
  11. Стыд

Система кодирования действий лица

Основная статья: Система кодирования действий лица

Психологи разработали систему для формальной категоризации физического выражения эмоций на лицах. Центральная концепция Системы кодирования движений лица или FACS, созданная Полом Экманом и Уоллесом В. Фризеном в 1978 году на основе более ранней работы Карла-Германа Хьортсьё.[30] единицы действия (ЕД). Они, в основном, представляют собой сокращение или расслабление одной или нескольких мышц. Психологи предложили следующую классификацию шести основных эмоций в зависимости от единиц их действия («+» здесь означает «и»):

ЭмоцииЕдиницы действия
Счастье6+12
Грусть1+4+15
Сюрприз1 + 2 + 5B + 26
Страх1+2+4+5+20+26
Злость4+5+7+23
Отвращение9+15+16
ПрезрениеR12A + R14A

Проблемы с распознаванием лиц

Как и в любой другой вычислительной практике, при обнаружении аффекта с помощью обработки лиц необходимо преодолеть некоторые препятствия, чтобы полностью раскрыть скрытый потенциал общего алгоритма или используемого метода. На заре почти всех видов обнаружения на основе ИИ (распознавание речи, распознавание лиц, распознавание аффектов) точность моделирования и отслеживания была проблемой. По мере развития оборудования, по мере того, как собирается больше данных, делаются новые открытия и внедряются новые методы, этот недостаток точности исчезает, оставляя проблемы с шумом. Однако существуют методы удаления шума, включая усреднение по окрестностям, линейное сглаживание по Гауссу, медианная фильтрация,[31] или более новые методы, такие как алгоритм оптимизации сбора бактерий.[32][33]

Другие проблемы включают

  • Тот факт, что заданные выражения, используемые большинством субъектов различных исследований, не являются естественными, и поэтому алгоритмы, обученные им, могут не применяться к естественным выражениям.
  • Отсутствие свободы вращательного движения. Обнаружение аффекта очень хорошо работает при фронтальном использовании, но при повороте головы более чем на 20 градусов «возникли проблемы».[34]
  • Выражение лица не всегда соответствует лежащей в основе эмоции, которая соответствует им (например, они могут быть изображены или сфальсифицированы, или человек может испытывать эмоции, но сохранять «покерное лицо»).
  • FACS не включал динамику, в то время как динамика может помочь устранить неоднозначность (например, улыбки искреннего счастья, как правило, имеют другую динамику, чем улыбки «попытаться выглядеть счастливыми»).
  • Комбинации FACS не соответствуют 1: 1 эмоциям, которые первоначально предлагали психологи (обратите внимание, что это отсутствие сопоставления 1: 1 также имеет место при распознавании речи с омофонами и омонимами и многими другими источниками двусмысленности, и может быть смягчается за счет привлечения других каналов информации).
  • Точность распознавания повышена за счет добавления контекста; однако добавление контекста и других модальностей увеличивает вычислительные затраты и сложность

Жест тела

Основная статья: Распознавание жеста

Жесты можно эффективно использовать как средство обнаружения определенного эмоционального состояния пользователя, особенно при использовании в сочетании с распознаванием речи и лиц. В зависимости от конкретного действия жесты могут быть простыми рефлексивными реакциями, такими как поднятие плеч, когда вы не знаете ответа на вопрос, или они могут быть сложными и значимыми, как при общении с помощью языка жестов. Не используя какой-либо объект или окружающую среду, мы можем махать руками, хлопать в ладоши или манить. С другой стороны, используя объекты, мы можем указывать на них, перемещать, касаться или обрабатывать их. Компьютер должен уметь распознавать их, анализировать контекст и осмысленно реагировать, чтобы его можно было эффективно использовать для взаимодействия человека с компьютером.

Есть много предлагаемых методов[35] чтобы обнаружить жест тела. В некоторой литературе различают 2 разных подхода к распознаванию жестов: на основе 3D-модели и на основе внешнего вида.[36] Самый передовой метод использует трехмерную информацию о ключевых элементах частей тела, чтобы получить несколько важных параметров, таких как положение ладони или углы суставов. С другой стороны, системы, основанные на внешнем виде, используют изображения или видео для прямой интерпретации. Жесты рук были основным направлением методов обнаружения жестов тела.[36]

Физиологический мониторинг

Это можно использовать для обнаружения аффективного состояния пользователя путем мониторинга и анализа его физиологических признаков. Эти признаки варьируются от изменений частоты сердечных сокращений и проводимости кожи до минутных сокращений лицевых мышц и изменений лицевого кровотока. Эта область набирает обороты, и теперь мы видим реальные продукты, реализующие эти методы. Обычно анализируются четыре основных физиологических признака: пульс объема крови, кожно-гальваническая реакция, лицевая электромиография, и модели цвета лица.

Пульс объема крови

Обзор

Объемный пульс (BVP) пациента может быть измерен с помощью процесса, называемого фотоплетизмографией, который создает график, показывающий кровоток через конечности.[37] Пики волн указывают на сердечный цикл, когда сердце перекачивает кровь к конечностям. Если субъект испытывает страх или испуган, его сердце обычно «подпрыгивает» и в течение некоторого времени быстро бьется, вызывая увеличение амплитуды сердечного цикла. Это хорошо видно на фотоплетизмографе, когда расстояние между впадиной и пиком волны уменьшилось. По мере того, как субъект успокаивается и внутреннее ядро ​​тела расширяется, позволяя большему количеству крови стекать обратно к конечностям, цикл вернется в норму.

Методология

Инфракрасный свет попадает на кожу с помощью специального сенсорного оборудования, и измеряется количество отраженного света. Количество отраженного и прошедшего света коррелирует с BVP, поскольку свет поглощается гемоглобином, который содержится в большом количестве в кровотоке.

Недостатки

Может быть сложно обеспечить, чтобы датчик, излучающий инфракрасный свет и отслеживающий отраженный свет, всегда был направлен на одну и ту же конечность, особенно если учесть, что объекты часто растягиваются и корректируют свое положение при использовании компьютера. Есть и другие факторы, которые могут повлиять на это. пульс объема крови. Поскольку это мера кровотока через конечности, если субъект чувствует себя горячим или особенно холодным, его тело может пропускать больше или меньше крови к конечностям, и все это независимо от эмоционального состояния субъекта.

Мышца corrugator supercilii и большая скуловая мышца - это 2 основные мышцы, используемые для измерения электрической активности в лицевой электромиографии.

Электромиография лица

Основная статья: Электромиография лица

Электромиография лица - это метод, используемый для измерения электрической активности лицевых мышц путем усиления крошечных электрических импульсов, которые генерируются мышечными волокнами при их сокращении.[38]Лицо выражает сильные эмоции, однако есть две основные группы лицевых мышц, которые обычно изучаются для выявления эмоций: мышца corrugator supercilii, также известная как «хмурящаяся» мышца, опускает бровь вниз и, следовательно, нахмуривается. - лучший тест на отрицательную, неприятную эмоциональную реакцию. Большая скуловая мышца отвечает за оттягивание уголков рта назад, когда вы улыбаетесь, и, следовательно, это мышца, используемая для проверки положительной эмоциональной реакции.

Здесь мы можем увидеть график сопротивления кожи, измеренного с использованием GSR, и времени, пока испытуемый играл в видеоигру. На графике отчетливо видны несколько пиков, что говорит о том, что GSR - хороший метод различения возбужденного и невозбужденного состояний. Например, в начале игры, когда обычно не так много захватывающей игры, регистрируется высокий уровень сопротивления, что предполагает низкий уровень проводимости и, следовательно, меньшее возбуждение. Это резко контрастирует с внезапным падением, в котором игрока убивают, поскольку он обычно очень напряжён и напряжён, когда его персонаж убит в игре.

Кожно-гальваническая реакция

Основная статья: Кожно-гальваническая реакция

Кожно-гальваническая реакция (GSR) - это устаревший термин для более общего явления, известного как [электродермальная активность] или EDA. EDA - это общее явление, при котором меняются электрические свойства кожи. Кожа иннервируется [симпатической нервной системой], поэтому измерение ее сопротивления или проводимости позволяет количественно оценить небольшие изменения в симпатической ветви вегетативной нервной системы. Когда потовые железы активируются, еще до того, как кожа начинает потеть, уровень EDA может быть определен (обычно с использованием проводимости) и использован для определения небольших изменений вегетативного возбуждения. Чем больше возбуждается объект, тем выше его проводимость.[37]

Проводимость кожи часто измеряют с помощью двух маленьких серебро-хлорид серебра электроды помещают где-нибудь на коже и прикладывают между ними небольшое напряжение. Чтобы обеспечить максимальный комфорт и уменьшить раздражение, электроды можно разместить на запястье, ногах или ступнях, что оставляет руки полностью свободными для повседневной активности.

Цвет лица

Обзор

Поверхность человеческого лица иннервируется большой сетью кровеносных сосудов. Изменения кровотока в этих сосудах приводят к заметным изменениям цвета лица. Независимо от того, активируют ли лицевые эмоции лицевые мышцы, происходят колебания кровотока, артериального давления, уровня глюкозы и другие изменения. Кроме того, цветовой сигнал лица не зависит от движения лицевых мышц.[39]

Методология

Подходы основаны на изменении цвета лица. Триангуляция Делоне используется для создания треугольных локальных областей. Некоторые из этих треугольников, которые определяют внутреннюю часть рта и глаз (склера и радужная оболочка), удаляются. Используйте пиксели левых треугольных областей для создания векторов признаков.[39] Он показывает, что преобразование цвета пикселя стандартного цветового пространства RGB в цветовое пространство, такое как цветовое пространство oRGB[40] или каналы LMS работают лучше при работе с лицами.[41] Итак, сопоставьте вышеуказанный вектор с лучшим цветовым пространством и разложите на красно-зеленый и желто-синий каналы. Затем используйте методы глубокого обучения, чтобы найти эквивалентные эмоции.

Визуальная эстетика

В мире искусства и фотографии под эстетикой понимаются принципы природы и понимание красоты. Оценка красоты и других эстетических качеств - очень субъективная задача. Специалисты по информатике из Пенсильванского университета рассматривают задачу автоматического определения эстетического качества изображений с использованием их визуального контента как проблему машинного обучения, а в качестве источника данных используют веб-сайт для обмена фотографиями в режиме онлайн.[42] Они извлекают определенные визуальные черты, основываясь на интуиции, что они могут различать эстетически приятные и неприятные изображения.

Возможные приложения

Образование

Привязанность влияет на состояние обучения учащихся. Используя технологию аффективных вычислений, компьютеры могут судить о привязанности и обучении учащихся по выражению их лиц. В образовании учитель может использовать результат анализа, чтобы понять способности ученика к обучению и принятию, а затем сформулировать разумные планы обучения. В то же время они могут обращать внимание на внутренние переживания студентов, что способствует их психологическому здоровью. В частности, в дистанционном обучении из-за разделения времени и пространства между учителями и учениками нет эмоционального стимула к двустороннему общению. Без атмосферы, создаваемой традиционным обучением в классе, ученикам быстро становится скучно, что влияет на учебный эффект. Применение аффективных вычислений в системе дистанционного образования может эффективно улучшить эту ситуацию.[43]

Здравоохранение

Социальные роботы, а также растущее число роботов, используемых в здравоохранении, выигрывают от эмоциональной осведомленности, потому что они могут лучше судить об эмоциональном состоянии пользователей и пациентов и соответствующим образом изменять свои действия / программы. Это особенно важно в странах с растущим стареющим населением и / или нехваткой молодых работников для удовлетворения своих потребностей.[44]

Аффективные вычисления также применяются для разработки коммуникативных технологий для людей с аутизмом.[45] Аффективный компонент текста также все больше привлекает внимание, особенно его роль в так называемой эмоциональной или эмоциональной составляющей. эмоциональный Интернет.[46]

Видеоигры

Эффективные видеоигры могут получить доступ к эмоциональному состоянию своих игроков через биологическая обратная связь устройств.[47] Особенно простая форма биологической обратной связи доступна через геймпады которые измеряют давление, с которым нажимается кнопка: было показано, что это сильно коррелирует с уровнем игроков возбуждение;[48] на другом конце шкалы мозг-компьютерные интерфейсы.[49][50] Аффективные игры использовались в медицинских исследованиях для поддержки эмоционального развития аутичный дети.[51]

Другие приложения

Другие потенциальные приложения связаны с социальным мониторингом. Например, автомобиль может отслеживать эмоции всех пассажиров и принимать дополнительные меры безопасности, например предупреждать другие автомобили, если обнаруживает, что водитель рассердился.[52] У эффективных вычислений есть потенциальные приложения в взаимодействие человека с компьютером, например, аффективные зеркала, позволяющие пользователю видеть, как он или она работает; агенты мониторинга эмоций, отправляющие предупреждение перед отправкой гневного электронного письма; или даже музыкальные плееры, выбирающие треки по настроению.[53]

Одна из идей, выдвинутых румынским исследователем доктором Нику Себе в интервью, - это анализ лица человека, когда он использует определенный продукт (в качестве примера он упомянул мороженое).[54] После этого компании смогут использовать такой анализ, чтобы сделать вывод, будет ли их продукт хорошо принят на соответствующем рынке.

Можно также использовать распознавание аффективного состояния, чтобы судить о влиянии телевизионной рекламы с помощью видеозаписи в реальном времени этого человека и последующего изучения его или ее выражения лица. Усредняя результаты, полученные на большой группе субъектов, можно сказать, имеет ли этот рекламный ролик (или фильм) желаемый эффект и какие элементы больше всего интересуют зрителя.

Когнитивистский и интерактивный подходы

В области взаимодействие человека с компьютером, Розалинда Пикард когнитивист концепция эмоции или «информационная модель» подвергалась критике и противопоставлялась «посткогнитивистской» или «интерактивной» прагматик подход, принятый Кирстен Бонер и другими, которые рассматривают эмоции как социальные.[55]

Пикард фокусируется на взаимодействии человека и компьютера, и ее цель для аффективных вычислений - «дать компьютерам возможность распознавать, выражать и в некоторых случаях« иметь »эмоции».[4] Напротив, интерактивный подход стремится помочь «людям понять и испытать свои собственные эмоции».[56] и для улучшения компьютерного межличностного общения. Он не обязательно стремится отобразить эмоции в объективной математической модели для машинной интерпретации, но скорее позволяет людям разобраться в эмоциональных выражениях друг друга открытыми способами, которые могут быть двусмысленными, субъективными и чувствительными к контексту.[56]:284[пример необходим ]

Критики Пикарда описывают ее концепцию эмоций как «объективную, внутреннюю, частную и механистическую». Они говорят, что он сводит эмоции к дискретному психологическому сигналу, происходящему внутри тела, который можно измерить и который является входным сигналом для познания, снижая сложность эмоционального опыта.[56]:280[56]:278

Интерактивный подход утверждает, что, хотя эмоция имеет биофизические аспекты, она «культурно обоснована, динамически переживается и до некоторой степени построена в действии и взаимодействии».[56]:276 Другими словами, он рассматривает «эмоции как социальный и культурный продукт, переживаемый в ходе наших взаимодействий».[57][56][58]

Смотрите также

Цитаты

  1. ^ Тао, Цзяньхуа; Тиениу Тан (2005). «Аффективные вычисления: обзор». Эффективные вычисления и интеллектуальное взаимодействие. LNCS 3784. Springer. С. 981–995. Дои:10.1007/11573548.
  2. ^ Джеймс, Уильям (1884). "Что такое эмоции". Разум. 9 (34): 188–205. Дои:10.1093 / mind / os-IX.34.188. Цитируется Тао и Тан.
  3. ^ «Аффективные вычисления» Технический отчет MIT № 321 (Абстрактный ), 1995
  4. ^ а б Пикард, Розалинда (1997). Аффективные вычисления. Кембридж, Массачусетс: MIT Press. п. 1.
  5. ^ Кляйне-Козак, Кристиан (октябрь 2006 г.). «Распознавание и моделирование эмоций» (PDF). Архивировано из оригинал (PDF) 28 мая 2008 г.. Получено 13 мая, 2008. Введение эмоций в информатику было сделано Пикардом (sic), который создал область аффективных вычислений.
  6. ^ Даймонд, Дэвид (декабрь 2003 г.). «Машина любви; создание заботливых компьютеров». Проводной. В архиве из оригинала 18 мая 2008 г.. Получено 13 мая, 2008. Розалинда Пикард, гениальный профессор Массачусетского технологического института, является крестной матерью этой области; ее книга 1997 года, Аффективные вычисления, вызвало взрыв интереса к эмоциональной стороне компьютеров и их пользователей.
  7. ^ Гарай, Нестор; Идоя Серрета; Хуан Мигель Лопес; Инмакулада Фахардо (апрель 2006 г.). «Вспомогательные технологии и эффективное посредничество» (PDF). Человеческие технологии. 2 (1): 55–83. Дои:10.17011 / ht / urn.2006159. В архиве (PDF) из оригинала 28 мая 2008 г.. Получено 2008-05-12.
  8. ^ Хайсе, Дэвид (2004). «Поощряющие агенты выразительным ролевым поведением». В Сабине Пайр; Траппл, Роберт (ред.). Культура агентов: взаимодействие человека и агента в многокультурном мире. Лоуренс Эрлбаум Ассошиэйтс. С. 127–142.
  9. ^ Рестак, Ричард (17 декабря 2006 г.). "Разум выше материи". Вашингтон Пост. Получено 2008-05-13.
  10. ^ Aleix, и Shichuan Du, Martinez (2012). «Модель восприятия мимики эмоций людьми: обзор исследования и перспективы». Журнал исследований в области машинного обучения. 13 (1): 1589–1608.
  11. ^ Бризил, К. и Ариананда, Л. Распознавание аффективного коммуникативного намерения в управляемой роботом речи. Автономные роботы 12 1, 2002. С. 83–104.
  12. ^ а б c Делларт, Ф., Полизин, Т., и Вайбель, А., Распознавание эмоций в речи ", In Proc. Of ICSLP 1996, Филадельфия, Пенсильвания, стр.1970-1973, 1996.
  13. ^ Рой, Д .; Пентланд, А. (1996-10-01). Автоматическая классификация и анализ речевых аффектов. Труды Второй Международной конференции по автоматическому распознаванию лиц и жестов. С. 363–367. Дои:10.1109 / AFGR.1996.557292. ISBN  978-0-8186-7713-7. S2CID  23157273.
  14. ^ Lee, C.M .; Narayanan, S .; Пьераччини Р. Распознавание отрицательных эмоций в человеческих речевых сигналах, Практикум по авто. Распознавание и понимание речи, декабрь 2001 г.
  15. ^ Neiberg, D; Элениус, К; Ласковский, К. (2006). «Распознавание эмоций в спонтанной речи с помощью GMM» (PDF). Материалы Interspeech.
  16. ^ Якуб, Шериф; Симске, Стив; Линь, Сяофань; Бернс, Джон (2003). «Распознавание эмоций в интерактивных системах голосового ответа». Труды Eurospeech: 729–732. CiteSeerX  10.1.1.420.8158.
  17. ^ а б Худличка 2003, п. 24
  18. ^ Худличка 2003, п. 25
  19. ^ Чарльз Осгуд; Уильям Мэй; Мюррей Мирон (1975). Межкультурные универсалии аффективного значения. Univ. Иллинойс Пресс. ISBN  978-94-007-5069-2.
  20. ^ а б Шерер 2010, п. 241
  21. ^ «Модель гауссовой смеси». Связи - обмен знаниями и построение сообществ. Проверено 10 марта 2011 года.
  22. ^ S.E. Хоружников; и другие. (2014). «Расширенное распознавание и предсказание речевых эмоций». Научно-технический журнал информационных технологий, механики и оптики. 14 (6): 137.
  23. ^ а б Экман П. и Фризен В. В. (1969). Репертуар невербального поведения: категории, происхождение, использование и кодирование. Семиотика, 1, 49–98.
  24. ^ а б Стейдл, Стефан (5 марта 2011 г.). "FAU Aibo Emotion Corpus". Лаборатория распознавания образов.
  25. ^ а б Шерер 2010, п. 243
  26. ^ Caridakis, G .; Malatesta, L .; Kessous, L .; Amir, N .; Raouzaiou, A .; Карпузис, К. (2–4 ноября 2006 г.). Моделирование натуралистических аффективных состояний с помощью распознавания мимики и голоса. Международная конференция по мультимодальным интерфейсам (ICMI'06). Банф, Альберта, Канада.
  27. ^ Balomenos, T .; Raouzaiou, A .; Ioannou, S .; Drosopoulos, A .; Karpouzis, K .; Коллиас, С. (2004). «Анализ эмоций в системах взаимодействия человека и машины». В Бенджио, Сами; Бурлард, Эрве (ред.). Машинное обучение для мультимодального взаимодействия. Конспект лекций по информатике. 3361. Springer-Verlag. С. 318–328.
  28. ^ Экман, Пол (1972). Коул, Дж. (Ред.). Универсальность и культурные различия в выражении эмоций на лице. Симпозиум Небраски по мотивации. Линкольн, Небраска: University of Nebraska Press. С. 207–283.
  29. ^ Экман, Пол (1999). «Основные эмоции». В Далглише, T; Мощность, М (ред.). Справочник познания и эмоций (PDF). Сассекс, Великобритания: John Wiley & Sons. Архивировано из оригинал (PDF) 28 декабря 2010 г..
  30. ^ «Система кодирования действий лица (FACS) и руководство FACS» В архиве 19 октября 2013 г. Wayback Machine. Человеческое лицо. Проверено 21 марта 2011 года.
  31. ^ «Методы пространственной области».
  32. ^ Умные алгоритмы. "Алгоритм оптимизации сбора бактерий - алгоритмы роя - умные алгоритмы". Умные алгоритмы. Проверено 21 марта 2011 года.
  33. ^ «Мягкие вычисления». Мягкие вычисления. Проверено 18 марта 2011 года.
  34. ^ Уильямс, Марк. «Лучшее программное обеспечение для распознавания лиц - Обзор технологий». Обзор технологий: авторитет в области технологий будущего. Проверено 21 марта 2011 года.
  35. ^ Дж. К. Аггарвал, К. Цай, Анализ движения человека: обзор, компьютерное зрение и понимание изображений, т. 73, № 3, 1999 г.
  36. ^ а б Павлович, Владимир I .; Шарма, Раджив; Хуанг, Томас С. (1997). «Визуальная интерпретация жестов рук для взаимодействия человека с компьютером: обзор» (PDF). IEEE Transactions по анализу шаблонов и машинному анализу. 19 (7): 677–695. Дои:10.1109/34.598226.
  37. ^ а б Пикард, Розалинда (1998). Аффективные вычисления. Массачусетский технологический институт.
  38. ^ Ларсен Дж. Т., Норрис Си Джей, Качиоппо Дж. Т. "Влияние положительного и отрицательного воздействия на электромиографическую активность большой скуловой мышцы и надстройки складок ", (Сентябрь 2003 г.)
  39. ^ а б Карлос Ф. Бенитес-Кирос, Рампракаш Сринивасан, Алейкс М. Мартинес, Цвет лица - эффективный механизм визуальной передачи эмоций, PNAS. 3 апреля 2018 г. 115 (14) 3581-3586; впервые опубликовано 19 марта 2018 г. https://doi.org/10.1073/pnas.1716084115.
  40. ^ М. Браткова, С. Булос, П. Ширли, oRGB: цветовое пространство практического противника для компьютерной графики, Компьютерная графика и приложения IEEE, 29 (1): 42–55, 2009.
  41. ^ Хадас Шахар, Хагит Хель-Ор, Классификация микровыражений с использованием цвета лица и методов глубокого обучения, Международная конференция IEEE по компьютерному зрению (ICCV), 2019, стр. 0-0.
  42. ^ Ритендра Датта, Дхирадж Джоши, Цзя Ли и Джеймс З. Ван, Изучение эстетики фотографических изображений с помощью вычислительного подхода, Конспект лекций по информатике, т. 3953, Труды Европейской конференции по компьютерному зрению, часть III, стр. 288-301, Грац, Австрия, май 2006 г.
  43. ^ http://www.learntechlib.org/p/173785/
  44. ^ Йонк, Ричард (2017). Сердце машины: наше будущее в мире искусственного эмоционального интеллекта. Нью-Йорк: Издательство Arcade. С. 150–153. ISBN  9781628727333. OCLC  956349457.
  45. ^ Проекты в области эффективных вычислений
  46. ^ Шанахан, Джеймс; Цюй, Ян; Wiebe, Janyce (2006). Вычисление отношения и аффекта в тексте: теория и приложения. Дордрехт: Springer Science & Business Media. п. 94. ISBN  1402040261
  47. ^ Гиллеад, Кильский Марк; Дикс, Алан; Аллансон, Джен (2005). Аффективные видеоигры и способы аффективной игры: помогите мне, бросьте мне вызов, дайте мне эмоции (PDF). Proc. DiGRA Конф. Архивировано из оригинал (PDF) на 2015-04-06. Получено 2016-12-10.
  48. ^ Сайкс, Джонатан; Браун, Саймон (2003). Аффективная игра: измерение эмоций с помощью геймпада. CHI '03 Extended Abstracts on Human Factor in Computing System. CiteSeerX  10.1.1.92.2123. Дои:10.1145/765891.765957. ISBN  1581136374.
  49. ^ Нейхольт, Антон; Пласс-Ауд Бос, Дэнни; Рейдеринк, Борис (2009). «Превращение недостатков в проблемы: интерфейсы мозг – компьютер для игр» (PDF). Развлекательные вычисления. 1 (2): 85–94. Bibcode:2009itie.conf..153N. Дои:10.1016 / j.entcom.2009.09.007.
  50. ^ Рейдеринк, Борис; Нейхольт, Антон; Поэль, Маннес (2009). Affective Pacman: разочаровывающая игра для экспериментов с интерфейсом мозг-компьютер. Интеллектуальные технологии для интерактивных развлечений (INTETAIN). С. 221–227. Дои:10.1007/978-3-642-02315-6_23. ISBN  978-3-642-02314-9.
  51. ^ Хандакер, М (2009). «Разработка аффективных видеоигр для поддержки социально-эмоционального развития подростков с расстройствами аутистического спектра». Исследования в области технологий здравоохранения и информатики. 144: 37–9. PMID  19592726.
  52. ^ «Распознавание лиц в автомобиле обнаруживает разгневанных водителей, чтобы предотвратить дорожную ярость». Gizmodo. 30 августа 2018.
  53. ^ Janssen, Joris H .; ван ден Брук, Эгон Л. (июль 2012 г.). «Настройтесь на свои эмоции: надежный персонализированный эффективный музыкальный проигрыватель». Пользовательское моделирование и взаимодействие с пользователем. 22 (3): 255–279. Дои:10.1007 / s11257-011-9107-7.
  54. ^ «Мона Лиза: Улыбается? Компьютерные ученые разрабатывают программное обеспечение, которое оценивает выражение лица». ScienceDaily. 1 августа 2006 г. Архивировано с оригинал 19 октября 2007 г.
  55. ^ Баттарби, Катя; Коскинен, Илпо (2005). «Совместное взаимодействие: пользовательский опыт как взаимодействие» (PDF). CoDesign. 1 (1): 5–18. CiteSeerX  10.1.1.294.9178. Дои:10.1080/15710880412331289917. S2CID  15296236.
  56. ^ а б c d е ж Бонер, Кирстен; ДеПаула, Роджерио; Dourish, Пол; Сенгерс, Фиби (2007). «Как создаются и измеряются эмоции». Международный журнал человеко-компьютерных исследований. 65 (4): 275–291. Дои:10.1016 / j.ijhcs.2006.11.016.
  57. ^ Бонер, Кирстен; ДеПаула, Роджерио; Dourish, Пол; Сенгерс, Фиби (2005). «Привязанность: от информации к взаимодействию». Труды Орхусской десятилетней конференции по критическим вычислениям: 59–68.
  58. ^ Крюк, Кристина; Шталь, Анна; Сандстрем, Петра; Лааксолахти, Ярмо (2008). «Расширение возможностей взаимодействия» (PDF). Proc. CHI: 647–656.

Общие источники

  • Худличка, Ева (2003). «Чувствовать или не чувствовать: роль аффекта во взаимодействии человека с компьютером». Международный журнал человеко-компьютерных исследований. 59 (1–2): 1–32. CiteSeerX  10.1.1.180.6429. Дои:10.1016 / с 1071-5819 (03) 00047-8.
  • Шерер, Клаус Р.; Банцигер, Т; Рош, Этьен Б. (2010). План эффективных вычислений: справочник. Оксфорд: Издательство Оксфордского университета.

внешняя ссылка