Виртуальный сенсорный экран - Virtual touch screen

А виртуальный сенсорный экран (VTS) - это система пользовательского интерфейса, которая превращает виртуальные объекты в реальность через проектор или оптический дисплей с использованием датчиков для отслеживания взаимодействия человека с объектом. Например, с помощью дисплея и задней проектор системе человек может создавать изображения, которые выглядят трехмерный и кажется, что парят в воздухе.[1] В некоторых системах используется оптический Шлем виртуальной реальности для увеличения виртуальных объектов на прозрачном дисплее с помощью датчиков для определения визуального и физического взаимодействия с проецируемыми виртуальными объектами.[2]

История

  • 2010, Displair представил свой первый рекламный ролик "без экрана «3D виртуальный мультисенсорный дисплей, состоящий из холодного стабильного воздушного потока, содержащего частицы воды, производимые кавитация метод.[3]
  • В конце 2010 г. Microsoft выпустил Kinect, первый в своем роде коммерчески доступный и доступный виртуальный сенсорный сенсор, который может отслеживать движения человека и расширять их взаимодействие с объектами, отображаемыми в телевидение набор.[4]
  • 2015, Microsoft представила Hololens, оптический Шлем виртуальной реальности используя Windows Голографическая Платформа. Виртуальные объекты отображаются через оптическую головку для визуализации системы Windows 10 в видимой среде пользователя.[5][6]

Разработка

Во время исследования, проведенного в 2009 году Корейским институтом электронных технологий, была создана система виртуального сенсорного экрана с использованием технологии отслеживания точек касания на основе время полета камера с Фильтр Калмана.[7] Чтобы решить широко распространенную проблему в традиционных системах виртуальных сенсорных экранов (т.е.чувствительно реагировать даже на малейшее движение руки и не распознавать точку касания точно), в исследовании была применена техника отслеживания с фильтром Калмана для последовательного прогнозирования и отслеживания точки касания. Будучи предсказанной и распознанной, предсказанная точка касания должна была существовать все время, но резкое движение точки касания могло быть распознано только нечувствительно. Коммерческая версия, основанная на этой технологии, так и не была реализована.

использование

В настоящее время виртуальные сенсорные экраны (VTS) используются в основном в развлекательных и исследовательских целях. Популярной системой виртуального сенсорного экрана является Kinect система сделана коммерчески доступной Microsoft. Система Kinect в основном используется для потребительских развлечений, таких как игры и использование меню на Xbox система.[8][9] Однако в последние годы Kinect был использован для исследовательских проектов в области робототехники и трехмерных взаимодействий вне области игр, таких как просмотр веб-страниц и медицинские практики.[10][11][12]

Существует потенциал для технологии, в которой необходима 3D-визуализация и физическое взаимодействие с объектами, например, вводное обучение студентов. исчисление.[13]

Технология виртуального сенсорного экрана также может применяться для превращения несенсорных дисплеев в интерактивные сенсорные поверхности с помощью Kinect датчик в сочетании с проектором.[14] Этот тип приложений позволяет использовать виртуальную сенсорную технологию для улучшения использования персонального дисплея, а также для улучшения обмена данными и представления данных, которые могут использоваться в образовательных или деловых целях.

Сенсор Kinect, обычно используемый во многих приложениях виртуального сенсорного экрана

В медицинской практике виртуальное сенсорное взаимодействие было применено, чтобы позволить пользователям просматривать и манипулировать цифровыми данными, такими как 3D-изображения, используемые в медицинских сканированиях, позволяя медицинскому персоналу взаимодействовать с данными без какого-либо физического контакта, тем самым избегая необходимости повторной стерилизации.[15] Кроме того, Microsoft Kinect Sensor также использовал технологию виртуального сенсорного экрана, чтобы помочь пациентам, перенесшим инсульт, восстановиться и улучшить двигательную функцию их конечностей с помощью игровой системы, включающей интерпретация жестов в сочетании с регулируемыми уровнями сложности в зависимости от производительности пользователя.[16]

Человеческий фактор и эргономика

Одна из ключевых проблем виртуальных сред, использующих сенсорный ввод, - это тактильные ощущения. Например, использование виртуального сенсорного экрана для медицинского обучения может сократить расходы на обучение медицинского персонала выполнению сложных операций, таких как хирургия. Однако тактильные ощущения от такого обучения не обеспечивают достаточной обратной связи с физическим прикосновением, необходимой виртуально обученному практикующему врачу для выполнения настоящей операции. Включение достаточной тактильной обратной связи при взаимодействии с виртуальным сенсорным экраном - активная область исследований.[17]

Смотрите также

Примечания

  1. ^ Гэри Б. Шелли, Томас Дж. Кэшман, Мисти Э. Вермаат, Джеффри Дж. Квасни; и другие. (2008). Открытие компьютеров 2008: введение. Бостон, Массачусетс: Thomson / Course Technology. ISBN  978-1423912040.CS1 maint: несколько имен: список авторов (связь)
  2. ^ Ко, Ынджин; Вон, Чонхо; Пэ, Чансок. «Интерфейс виртуального сенсорного экрана на основе зрения». 2008 Digest of Technical Papers - Международная конференция по бытовой электронике (2008): 1–2.
  3. ^ «Компания Displair из Астрахани продемонстрировала интерактивный безэкранный дисплей». kiosks.ru. 2012-04-17. Получено 2012-06-08.
  4. ^ ""Проект Наталь "101". Microsoft. 1 июня 2009 г. Архивировано с оригинал 21 января 2012 г.. Получено 2 июня, 2009.
  5. ^ Каин, Эрик (21 января 2015). «Microsoft увеличивает реальность с помощью голографии Windows». Forbes. Получено 21 января 2015.
  6. ^ Майерсон, Терри (21 января 2015 г.). «Новое поколение Windows: Windows 10». Блоги Windows. Microsoft. Получено 21 января 2015.
  7. ^ АН, ЯН-КЫН; КИМ, МИН-ВУК; ПАРК, ЯНГ-ЧУН; ЧОЙ, КВАН-СУН; ПАРК, ВУ-ШОЛ; SEO, HAE-MOON; ЧЖАН, КВАН-МО (2009). «Внедрение виртуального сенсорного экрана 3D» (PDF). Корейский институт электронных технологий.
  8. ^ Официальный новый Kinect от Microsoft: увеличенное поле зрения, HD-камера, пробуждение с помощью голоса
  9. ^ Дэйв Тач (21 мая 2013 г.). «Kinect всегда слушает Xbox One, но конфиденциальность -« главный приоритет »для Microsoft». Многоугольник. Получено 22 мая, 2013.
  10. ^ Уортам, Дженна (21 ноября 2010 г.). «С контроллером Kinect хакеры получают свободу». Нью-Йорк Таймс. Получено 25 ноября, 2010.
  11. ^ «В медицинской практике нашло применение взлом Kinect». Игровая сеть QuickJump. 27 декабря 2010 г.. Получено 23 мая, 2011.
  12. ^ "радраунды". Радиология и исследование медицинских изображений на базе Xbox Kinect. Получено 4 декабря, 2011.
  13. ^ Боггесс, Джейсон; Хардинг, Крис. «Улучшение вводного математического образования с помощью трехмерной визуализации и виртуального прикосновения (тактильные ощущения)». Центр приложений виртуальной реальности, Государственный университет Айовы, Эймс, Айова (2007).
  14. ^ «Ubi Interactive». Сделайте мир своим сенсорным экраном. Получено 2015-04-21.
  15. ^ «GestSure». Возьмите под свой контроль свою операционную. Получено 2015-04-21.
  16. ^ Чанг, Эрик (2015). «Microsoft Research». Восстановление хода с помощью Kinect. Получено 2015-04-21.
  17. ^ Роблес-де-ла-Торре, Габриэль (2006). «Важность осязания в виртуальной и реальной среде». Мультимедиа IEEE. 13 (3): 24–30. Дои:10.1109 / MMUL.2006.69. ISSN  1070-986X. S2CID  16153497.

Рекомендации

внешняя ссылка