OpenAI Five - OpenAI Five

OpenAI Five это имя машинное обучение проект, который работает как команда боты для видеоигр игра против игроков-людей в соревновании пять на пять видео игра Dota 2. Система была разработана OpenAI, американец искусственный интеллект (AI) научно-исследовательская компания, основанная с целью разработки безопасного ИИ на благо человечества. Первое публичное появление OpenAI Five произошло в 2017 году, когда он был продемонстрирован в живой игре один на один против профессионального игрока в игру, известную как Dendi, который проиграл этому. В следующем году система выросла до уровня полной команды из пяти человек, и начала играть против профессиональных команд и демонстрировать их способность побеждать.

Компания использует Dota 2 в качестве эксперимента по универсальному прикладному машинному обучению, призванному уловить непредсказуемость и непрерывность реального мира. Команда заявила, что сложный характер игры и ее сильная зависимость от необходимости работать вместе как команда для победы были основной причиной, по которой она была выбрана специально. Алгоритмы, использованные в проекте, также были применены к другим системам, таким как управление роботизированной рукой. Проект также сравнивали с рядом других подобных случаев, когда ИИ играл против людей и побеждал их, например Watson в телевизионном игровом шоу Опасность!, Темно-синий в шахматы, и AlphaGo в настольной игре Идти.

История

Разработка алгоритмов, используемых для ботов, началась в ноябре 2016 года. OpenAI решила использовать Dota 2, конкурентоспособная видеоигра пять на пять, в качестве основы из-за ее популярности на прямая трансляция Платформа Twitch, имея встроенную поддержку для Linux, и имел интерфейс прикладного программирования (API) доступно.[1] Прежде чем стать командой из пяти человек, первая публичная демонстрация произошла в The International 2017 в августе состоится ежегодный премьерный чемпионат по игре, где Dendi, профессиональный украинский игрок, проиграл боту OpenAI в живом матче один на один.[2][3] После матча технический директор Грег Брокман объяснил, что бот научился, играя против себя в течение двух недель реальное время, и что обучающее программное обеспечение было шагом в направлении создания программного обеспечения, которое может справляться со сложными задачами, «как хирург».[4][5] OpenAI называет систему "обучение с подкреплением ", поскольку боты со временем учатся, играя против самих себя сотни раз в день в течение месяцев, в течение которых они получают вознаграждение за такие действия, как убийство врага и разрушение башен.[6][7][8]

К июню 2018 года возможности ботов расширились: теперь они могут играть всей командой из пяти человек и побеждать команды любителей и полупрофессионалов.[9][10][11][12] В The International 2018, OpenAI Five провел две игры против профессиональных команд, одну против бразильской paiN Gaming, а другую - против все звезды команда бывших китайских игроков.[13][14] Хотя боты проиграли оба матча, OpenAI по-прежнему считал это предприятие успешным, заявляя, что игра против некоторых из лучших игроков в Dota 2 позволил им проанализировать и скорректировать свои алгоритмы для будущих игр.[15] Финальная публичная демонстрация ботов состоялась в апреле 2019 года, где они выиграли лучший из трех серия против чемпионов The International 2018 OG на живом мероприятии в Сан-Франциско.[16] В том же месяце состоялось четырехдневное онлайн-мероприятие по игре против ботов, открытое для публики.[17] Там боты сыграли в 42 729 публичных играх, выиграв все, кроме 4075.[18]

Архитектура

Каждая сеть OpenAI Five содержит один слой с 1024-ю блоками. LSTM[19] который наблюдает за текущим состоянием игры, извлеченным из API разработчика Dota. Нейронная сеть выполняет действия с помощью множества возможных головок действий (без участия человека), и каждая голова имеет значение. Например, количество отметок для задержки действия, какое действие выбрать - координаты X или Y этого действия в сетке вокруг объекта. Кроме того, заголовки действий вычисляются независимо. Система ИИ наблюдает за миром в виде списка из 20 000 номеров и предпринимает действия, создавая список из восьми значений перечисления. Кроме того, он выбирает различные действия и цели, чтобы понять, как кодировать каждое действие и наблюдать за миром.[20]

OpenAI Five был разработан как универсальная обучающая система обучения с подкреплением на инфраструктуре «Rapid». Rapid состоит из двух уровней: он запускает тысячи машин и помогает им «общаться» друг с другом, а второй уровень запускает программное обеспечение. К 2018 году OpenAI Five провел около 180 лет в играх с обучением с подкреплением на 256 компьютерах. GPU и 128 000 ЦПУ ядра[21] используя недавно разработанный метод градиента политики получил название «Оптимизация проксимальной политики».[22][23]

Таблица сравнения
Бот OpenAI 1 на 1 (2017)OpenAI Five (2018)
Процессоры60000 ядер ЦП на Microsoft Azure128000 предварительно освобождаемых ядер ЦП на Облачная платформа Google (GCP)
GPU256 графических процессоров K80 в Azure256 графических процессоров P100 на GCP
Накоплен опыт~ 300 лет в день~ 180 лет в день
Размер наблюдения~ 3,3 КБ~ 36,8 КБ
Наблюдений в секунду геймплея107.5
Размер партии8,388,608 наблюдений1 048 576 наблюдений
Пакетов в минуту~20~60

Сравнение с другими игровыми системами ИИ

До OpenAI Five и раньше успешно использовались другие эксперименты и системы искусственного интеллекта против человека, такие как Опасность! с Watson, шахматы с Темно-синий, и Идти с AlphaGo.[24][25][26] По сравнению с другими играми, в которых системы ИИ использовались для игры против людей, Dota 2 отличается, как описано ниже:

Долгосрочная перспектива: Боты работают на 30 кадров в секунду для среднего времени матча 45 минут, что дает 80 000 тиков за игру. OpenAI Five наблюдает за каждым четвертым кадром, генерируя 20 000 ходов. Для сравнения: шахматы обычно заканчиваются до 40 ходов, а го - до 150.[27]

Частично наблюдаемое состояние игры: Игроки и их союзники могут видеть карту только непосредственно вокруг себя. Остальное покрыто туман войны который скрывает вражеских юнитов и их передвижения. Таким образом, играя Dota 2 требует делать выводы на основе этих неполных данных, а также предсказывать, что их оппонент может делать в то же время. Для сравнения, Chess and Go - это «игры с полной информацией», так как они не скрывают элементы от соперника.[28][29]

Пространство непрерывного действия: Каждый игровой персонаж в Dota 2 Игра, известная как герой, может выполнять десятки действий, нацеленных либо на другой юнит, либо на позицию. Разработчики OpenAI Five предусматривают пространство для 170 000 возможных действий для каждого героя. Не считая постоянных аспектов игры, в среднем за каждый тик совершается ~ 1000 действительных действий. Для сравнения, среднее количество действий в шахматах - 35, а в го - 250.[30]

Пространство для непрерывного наблюдения: Dota 2 Играется на большой карте с десятью героями, по пять в каждой команде, а также с десятками зданий и неигровой персонаж (NPC) юниты. Система OpenAI наблюдает за состоянием игры через API ботов разработчиков, поскольку 20 000 чисел составляют всю информацию, к которой человеку разрешен доступ. Шахматная доска представлена ​​примерно 70 списками, тогда как доска го содержит около 400 списков.[31]

Прием

OpenAI Five получил признание со стороны сообщества AI, технологий и видеоигр в целом. Microsoft основатель Билл Гейтс назвали это «большим делом», так как их победы «требовали командной работы и сотрудничества».[32][33] Шахматист Гарри Каспаров, который проиграл Темно-синий AI в 1997 году заявил, что, несмотря на их проигрыш на The International 2018, боты в конечном итоге «доберутся до цели и раньше, чем ожидалось».[34]

В разговоре с Обзор технологий MIT, Эксперты AI также сочли систему OpenAI Five значительным достижением, отметив, что Dota 2 была «чрезвычайно сложной игрой», поэтому даже победа над непрофессиональными игроками производила впечатление.[35] ПК-геймер написали, что их победы над профессиональными игроками стали важным событием в машинном обучении.[36] В отличие, Материнская плата написал, что победа была «в основном обманом» из-за упрощенного пула героев с обеих сторон, а также того факта, что ботам был предоставлен прямой доступ к API, в отличие от использования компьютерное зрение интерпретировать пиксели на экране.[37] Грани писали, что боты были доказательством того, что подход компании к обучению с подкреплением и ее общая философия в отношении ИИ «давали вехи».[38]

В 2019 г. DeepMind представила похожего бота для Starcraft II, AlphaStar. Как и OpenAI Five, AlphaStar использовал обучение с подкреплением и самостоятельную игру. Грани сообщил, что «цель этого типа исследований ИИ состоит не только в том, чтобы сокрушить людей в различных играх, чтобы доказать, что это возможно. Вместо этого, это доказать, что - при наличии достаточного времени, усилий и ресурсов - сложное программное обеспечение ИИ может превзойти людей. практически в любой конкурентной познавательной задаче, будь то настольная игра или современная видеоигра ». Они добавили, что победы DeepMind и OpenAI также свидетельствуют о силе определенных способов использования обучения с подкреплением.[39]

Рекомендации

  1. ^ "OpenAI Five". openai.com/five. В архиве из оригинала на 1 сентября 2018 г.. Получено 10 октября 2018.
  2. ^ Савов Влад. «В мою любимую игру вторглись боевые роботы-убийцы и ажиотаж Илона Маска». Грани. В архиве из оригинала 26 июня 2018 г.. Получено 25 июн 2018.
  3. ^ Фрэнк, Блэр Хэнли. «Бот OpenAI настолько сильно побеждает лучшего игрока в Dota 2, что он уходит». Венчурный бит. Архивировано из оригинал 12 августа 2017 г.. Получено 12 августа 2017.
  4. ^ "Dota 2". blog.openai.com. В архиве с оригинала 11 августа 2017 г.. Получено 12 августа 2017.
  5. ^ «Подробнее о Dota 2». blog.openai.com. В архиве из оригинала 16 августа 2017 г.. Получено 16 августа 2017.
  6. ^ Симонит, Том. «Могут ли боты перехитрить людей в одной из крупнейших киберспортивных игр?». Проводной. В архиве с оригинала 25 июня 2018 г.. Получено 25 июн 2018.
  7. ^ Кан, Джереми. «Бот, поддерживаемый Илоном Маском, совершил прорыв в области искусственного интеллекта в мире видеоигр». Bloomberg. В архиве из оригинала 27 июня 2018 г.. Получено 27 июн 2018.
  8. ^ Клиффорд, Кэтрин. «Билл Гейтс говорит, что боты-геймеры от некоммерческой организации, поддерживаемой Илоном Маском, являются« важной вехой »в области искусственного интеллекта». CNBC. В архиве из оригинала 28 июня 2018 г.. Получено 29 июн 2018.
  9. ^ «Тест OpenAI Five». blog.openai.com. В архиве с оригинала 26 августа 2018 г.. Получено 25 августа 2018.
  10. ^ Симонит, Том. «Могут ли боты перехитрить людей в одной из крупнейших киберспортивных игр?». Проводной. В архиве с оригинала 25 июня 2018 г.. Получено 25 июн 2018.
  11. ^ Винсент, Джеймс. «Боты с ИИ тренировались 180 лет в день, чтобы побеждать людей в Dota 2». Грани. В архиве с оригинала 25 июня 2018 г.. Получено 25 июн 2018.
  12. ^ Савов Влад. «Боты OpenAI Dota 2 только что победили команду бывших профи». Грани. В архиве с оригинала 7 августа 2018 г.. Получено 7 августа 2018.
  13. ^ Симонит, Том. «Профессиональные геймеры отбиваются от ботов с искусственным интеллектом, поддерживаемых Илоном Маском, - пока». Проводной. В архиве с оригинала 24 августа 2018 г.. Получено 25 августа 2018.
  14. ^ Квач, Катяна. «Игра окончена, машины: люди снова побеждают ботов OpenAI на Олимпийских играх по видеоиграм». Реестр. В архиве с оригинала 25 августа 2018 г.. Получено 25 августа 2018.
  15. ^ «The International 2018: итоги». blog.openai.com. В архиве с оригинала 24 августа 2018 г.. Получено 25 августа 2018.
  16. ^ Виггерс, Кайл. «OpenAI Five дважды побеждает профессиональную команду по Dota 2». Венчурный бит. В архиве из оригинала 13 апреля 2019 г.. Получено 13 апреля 2019.
  17. ^ Статт, Ник. «ИИ по Dota 2 от OpenAI побеждает чемпиона мира по киберспорту с победами подряд». Грани. В архиве с оригинала 15 апреля 2019 г.. Получено 15 апреля 2019.
  18. ^ Виггерс, Кайл. «Бот OpenAI по Dota 2 победил 99,4% игроков в публичных матчах». Венчурный бит. Получено 22 апреля 2019.
  19. ^ «Понимание сетей LSTM». блог Колы. В архиве с оригинала на 1 августа 2017 г.. Получено 27 августа 2015.
  20. ^ "OpenAI Five". blog.openai.com. 25 июня 2018. В архиве с оригинала 25 июня 2018 г.. Получено 25 июн 2018.
  21. ^ «Почему исследователи искусственного интеллекта так одержимы играми?». КВАРЦ. В архиве из оригинала 4 августа 2018 г.. Получено 4 августа 2018.
  22. ^ "OpenAI Five". blog.openai.com. 25 июня 2018. В архиве с оригинала 25 июня 2018 г.. Получено 25 июн 2018.
  23. ^ Шульман, Джон; Вольски, Филип; Дхаривал, Прафулла; Рэдфорд, Алек; Климов, Олег (2017). «Алгоритмы оптимизации проксимальной политики». arXiv:1707.06347 [cs.LG ].
  24. ^ Габбат, Адам (17 февраля 2011 г.). «Компьютер IBM Watson побеждает в Jeopardy clash». Хранитель. В архиве из оригинала 21 сентября 2013 г.. Получено 17 февраля 2011.
  25. ^ «Шахматный гроссмейстер Гарри Каспаров о том, что происходит, когда машины достигают уровня, с которым люди не могут соревноваться'". Business Insider. В архиве из оригинала 29 декабря 2017 г.. Получено 29 декабря 2017.
  26. ^ «ИИ для игры в гоу DeepMind больше не нуждается в человеческой помощи, чтобы победить нас». Грани. 18 октября 2017. В архиве из оригинала 18 октября 2017 г.. Получено 18 октября 2017.
  27. ^ "OpenAI Five". blog.openai.com. 25 июня 2018. В архиве с оригинала 25 июня 2018 г.. Получено 25 июн 2018.
  28. ^ "OpenAI Five". blog.openai.com. 25 июня 2018. В архиве с оригинала 25 июня 2018 г.. Получено 25 июн 2018.
  29. ^ «Команда алгоритмов искусственного интеллекта сокрушила людей в сложной компьютерной игре». MIT Tech Review. Получено 25 июн 2018.
  30. ^ "OpenAI Five". blog.openai.com. 25 июня 2018. В архиве с оригинала 25 июня 2018 г.. Получено 25 июн 2018.
  31. ^ "OpenAI Five". blog.openai.com. 25 июня 2018. В архиве с оригинала 25 июня 2018 г.. Получено 25 июн 2018.
  32. ^ «Билл Гейтс говорит, что боты-геймеры от некоммерческой организации, поддерживаемой Илоном Маском, являются« важной вехой »в области искусственного интеллекта». CNBC. 28 июня 2018. В архиве из оригинала 28 июня 2018 г.. Получено 28 июн 2018.
  33. ^ «Билл Гейтс приветствует« огромную веху »для искусственного интеллекта, поскольку боты работают в команде, чтобы уничтожать людей в видеоигре Dota 2'". Business Insider. В архиве из оригинала 27 июня 2018 г.. Получено 27 июн 2018.
  34. ^ "Твиттер Гарри Каспарова". 24 августа 2018 г.. Получено 24 августа 2018.
  35. ^ «Команда алгоритмов искусственного интеллекта сокрушила людей в сложной компьютерной игре». MIT Tech Review. Получено 25 июн 2018.
  36. ^ Парк, Морган (11 августа 2018 г.). «Как OpenAI Five развалила команду профессионалов Dota 2». ПК-геймер. Получено 25 мая 2020.
  37. ^ Голт, Мэтью (17 августа 2018 г.). «OpenAI побеждает людей в« Dota 2 », потому что это в основном обман». Порок. Получено 25 мая 2020.
  38. ^ Статт, Ник (13 апреля 2019 г.). «ИИ по Dota 2 от OpenAI побеждает чемпиона мира по киберспорту с победами подряд». Грани. Получено 25 мая 2020.
  39. ^ Статт, Ник (30 октября 2019 г.). «ИИ StarCraft 2 от DeepMind теперь лучше, чем 99,8% всех игроков». Грани. Получено 25 мая 2020.

внешняя ссылка