AlphaZero - AlphaZero

AlphaZero это компьютерная программа разработан искусственный интеллект исследовательская компания DeepMind овладеть играми шахматы, сёги и идти. Этот алгоритм использует подход, аналогичный AlphaGo Zero.

5 декабря 2017 года команда DeepMind выпустила препринт Представляем AlphaZero, которая за 24 часа тренировок достигла сверхчеловеческого уровня игры в этих трех играх, победив программы чемпионов мира Stockfish, Эльмо, и 3-дневная версия AlphaGo Zero. В каждом случае использовались индивидуальные блоки тензорной обработки (TPU), для использования которых были оптимизированы программы Google.[1] AlphaZero был обучен исключительно посредством «самостоятельной игры» с использованием 5000 TPU первого поколения для создания игр и 64 TPU второго поколения для обучения нейронные сети, все в параллельно, без доступа к открытие книг или же финальные столы. После четырех часов обучения DeepMind оценил, что AlphaZero играет в шахматы на более высоком уровне. Рейтинг Эло чем Stockfish 8; после 9 часов обучения алгоритм победил Stockfish 8 в турнире из 100 игр с контролем по времени (28 побед, 0 поражений и 72 ничьих).[1][2][3] Обученный алгоритм играл на одной машине с четырьмя TPU.

Статья DeepMind об AlphaZero была опубликована в журнале Наука 7 декабря 2018 г.[4] В 2019 году DeepMind опубликовала новую статью с подробным описанием MuZero, новый алгоритм, способный обобщить работу AlphaZero, играя как в Atari, так и в настольные игры, не зная правил или представлений об игре.[5]

Отношение к AlphaGo Zero

Дальнейшая информация: AlphaGo Zero

AlphaZero (AZ) - это более обобщенный вариант AlphaGo Zero (AGZ). алгоритм, и может играть сёги и шахматы а также Идти. Различия между AZ и AGZ включают:[1]

  • В AZ жестко запрограммированы правила настройки поиска гиперпараметры.
  • Нейронная сеть теперь постоянно обновляется.
  • Го (в отличие от шахмат) симметричен при определенных отражениях и поворотах; AlphaGo Zero был запрограммирован на использование этих симметрий. AlphaZero - нет.
  • Шахматы могут закончиться рисовать в отличие от Go; поэтому AlphaZero может учитывать возможность ничьей.

Вяленая рыба и эльмо

Дальнейшая информация: Stockfish (шахматы) и Элмо (двигатель сеги)

Сравнение Поиск в дереве Монте-Карло AlphaZero выполняет поиск только 80 000 позиций в секунду в шахматах и ​​40 000 в сеги, по сравнению с 70 миллионами для Stockfish и 35 миллионами для elmo. AlphaZero компенсирует меньшее количество оценок, используя свою глубокую нейронную сеть, чтобы более избирательно сосредоточиться на наиболее многообещающем варианте.[1]

Обучение персонала

AlphaZero был обучен исключительно в режиме самостоятельной игры с использованием 5000 TPU первого поколения для создания игр и 64 TPU второго поколения для обучения нейронные сети. Параллельно с этим, AlphaZero во время обучения периодически сравнивался с его эталоном (Stockfish, elmo или AlphaGo Zero) в коротких играх с одной секундой на ход, чтобы определить, насколько хорошо продвигается обучение. DeepMind пришла к выводу, что производительность AlphaZero превысила эталонный показатель после четырех часов обучения Stockfish, двух часов для Elmo и восьми часов для AlphaGo Zero.[1]

Предварительные результаты

Исход

Шахматы

В шахматном матче AlphaZero против Stockfish 8 (2016 TCEC чемпион мира) каждой программе отводилась одна минута на ход. Stockfish было выделено 64 потока и хэш размер 1 ГБ,[1] обстановка, в которой Stockfish Торд Ромстад позже критиковали как неоптимальный.[6][примечание 1] AlphaZero тренировался по шахматам за девять часов до матча. Во время матча AlphaZero запускалась на одной машине с четырьмя приложениями. ТПУ. В 100 партиях с нормальной стартовой позиции AlphaZero выиграла 25 партий белыми, 3 - черными и в оставшихся 72 сыграла вничью.[8] В серии из двенадцати матчей по 100 игр (с неопределенными ограничениями по времени или ресурсам) против Stockfish, начиная с 12 самых популярных человеческих дебютов, AlphaZero выиграла 290, сыграла вничью 886 и проиграла 24.[1]

Сёги

AlphaZero тренировался по сёги в общей сложности за два часа до турнира. В 100 играх сёги против Эльмо ​​(версия турнира World Computer Shogi Championship 27, летний 2017 с поиском YaneuraOu 4.73) AlphaZero выиграла 90 раз, проиграла 8 раз и дважды сыграла вничью.[8] Как и в шахматных играх, каждая программа получала одну минуту на ход, а elmo было дано 64 потока и размер хэша 1 ГБ.[1]

Идти

После 34 часов самообучения Го и против AlphaGo Zero AlphaZero выиграла 60 игр и проиграла 40.[1][8]

Анализ

DeepMind заявила в своем препринте: «Игра в шахматы представляла собой вершину исследований искусственного интеллекта на протяжении нескольких десятилетий. Современные программы основаны на мощных машинах, которые ищут многие миллионы позиций, используя ручной опыт и сложную адаптацию предметной области. AlphaZero - это универсальный обучение с подкреплением алгоритм, изначально разработанный для игры в го, достиг превосходных результатов в течение нескольких часов, выполняя поиск в тысячу раз меньше позиций, не имея никаких знаний в предметной области, кроме правил ".[1] DeepMind's Демис Хассабис сам шахматист назвал стиль игры AlphaZero «инопланетянином»: он иногда побеждает, предлагая нелогичные жертвы, например, предлагая ферзя и слона, чтобы использовать позиционное преимущество. «Это похоже на шахматы из другого измерения».[9]

Учитывая сложность шахмат форсирование победы над сильным соперником, результат +28 –0 = 72 - значительный перевес. Однако некоторые гроссмейстеры, такие как Хикару Накамура и Комодо разработчик Ларри Кауфман, преуменьшает значение победы AlphaZero, утверждая, что матч был бы ближе, если бы программы имели доступ к открытие база данных (поскольку Stockfish был оптимизирован для этого сценария).[10] Ромстад дополнительно указал, что Stockfish не оптимизирован для перемещений с жестким фиксированным временем, а используемой версии уже год.[6][11]

Точно так же некоторые наблюдатели сёги утверждали, что размер хэша elmo был слишком мал, что настройки отказа и настройки «EnteringKingRule» (см. сёги § Вступающий король ) могло быть неуместным, и этот elmo уже устарел по сравнению с более новыми программами.[12][13]

Реакция и критика

В статьях говорилось, что тренировка по шахматам длилась всего четыре часа: «На это ушло немногим больше времени между завтраком и обедом».[2][14] Проводной разрекламировали AlphaZero как «первого чемпиона по настольным играм с разносторонним искусственным интеллектом».[15] Эксперт в области искусственного интеллекта Джоанна Брайсон отметила, что «способность Google к хорошей рекламе» ставит его в сильную позицию против претендентов. «Речь идет не только о найме лучших программистов. Это также очень политически, поскольку помогает сделать Google максимально сильным в переговорах с правительствами и регулирующими органами, рассматривающими сектор ИИ».[8]

Человеческие гроссмейстеры в целом выражали восторг по поводу AlphaZero. Датский гроссмейстер Питер Хайне Нильсен сравнил игру AlphaZero с игрой высших инопланетных существ.[8] Норвежский гроссмейстер Джон Людвиг Хаммер охарактеризовал игру AlphaZero как «безумные атакующие шахматы» с глубоким позиционным пониманием.[2] Бывший чемпион Гарри Каспаров сказал: «Это замечательное достижение, даже если мы должны были ожидать его после AlphaGo».[10][16]

Гроссмейстер Хикару Накамура был менее впечатлен, и заявил: «Я не обязательно доверяю результатам просто потому, что я понимаю, что AlphaZero в основном использует суперкомпьютер Google, а Stockfish не работает на этом оборудовании; Stockfish в основном работал на том, что могло бы будь моим ноутбуком. Если вы хотите получить сопоставимый матч, вам также необходимо запустить Stockfish на суперкомпьютере ".[7]

Ведущий американский шахматист по переписке Вольф Морроу также не был впечатлен, заявив, что AlphaZero, вероятно, не выйдет в полуфинал такого честного соревнования, как TCEC где все движки работают на одинаковом оборудовании. Морроу также заявил, что, хотя он, возможно, не сможет победить AlphaZero, если AlphaZero сыграет ничейные дебюты, такие как Петровская защита, AlphaZero не сможет победить его в заочные шахматы игры тоже нет.[17]

Мотохиро Исодзаки, автор YaneuraOu, отметил, что, хотя AlphaZero действительно превосходил Эльмо, рейтинг AlphaZero в сеги перестал расти в точке, которая не более чем на 100 ~ 200 выше, чем у Эльмо. Этот разрыв не так велик, и elmo и другие программы для сёги должны наверстать упущенное через 1-2 года.[18]

Окончательные результаты

DeepMind рассмотрел многие критические замечания в своей окончательной версии статьи, опубликованной в декабре 2018 г. Наука.[4] Далее они пояснили, что AlphaZero не работает на суперкомпьютере; это было обучено с использованием 5000 блоки тензорной обработки (TPU), но в своих матчах работал только на четырех TPU и 44-ядерном процессоре.[19]

Шахматы

В конечном итоге Stockfish версии 8 работал в тех же условиях, что и в TCEC superfinal: 44 ядра ЦП, эндшпильные таблицы Syzygy и размер хэша 32 ГБ. Вместо фиксированного Контроль времени одного хода в минуту, обоим двигателям давалось 3 часа плюс 15 секунд на каждый ход, чтобы завершить игру. В матче из 1000 игр AlphaZero выиграла со счетом 155 побед, 6 поражений и 839 ничьих. DeepMind также провел серию игр, используя начальные позиции TCEC; AlphaZero также убедительно выиграла.

Сёги

Как и Stockfish, Эльмо ​​бежал в тех же условиях, что и на чемпионате CSA 2017 года. Используемая версия Elmo была WCSC27 в сочетании с YaneuraOu 2017 Early KPPT 4.79 64AVX2 TOURNAMENT. Elmo работал на том же оборудовании, что и Stockfish: 44 ядра ЦП и размер хэша 32 ГБ. AlphaZero выиграла 98,2% игр черными (который играет первым в сёги) и 91,2% в целом.

Реакции и критика

Человеческие гроссмейстеры в целом были впечатлены партиями AlphaZero против Stockfish.[20] Бывший чемпион мира Гарри Каспаров сказал, что было приятно наблюдать за игрой AlphaZero, тем более что ее стиль был открытым и динамичным, как и его собственный.[21][22]

В компьютерном шахматном сообществе Комодо разработчик Марк Лефлер назвал это «довольно удивительным достижением», но также отметил, что данные устарели, поскольку Stockfish сильно набрал силу с января 2018 года (когда был выпущен Stockfish 8). Соавтор-разработчик Ларри Кауфман сказал, что AlphaZero, вероятно, проиграет матч против последней версии Stockfish, Stockfish 10, в условиях Top Chess Engine Championship (TCEC). Кауфман утверждал, что единственным преимуществом движков на основе нейронных сетей было то, что они использовали графический процессор, поэтому, если не принималось во внимание энергопотребление (например, в соревновании с одинаковым оборудованием, когда оба движка имели доступ к одному и тому же процессору и графическому процессору), тогда все достигнутый GPU был «бесплатным». Основываясь на этом, он заявил, что самый сильный движок, вероятно, будет гибридом с нейронными сетями и стандартными альфа – бета поиск.[23]

AlphaZero вдохновила компьютерное шахматное сообщество на разработку Лила Чесс Зеро, используя те же методы, что и AlphaZero. Лила провела несколько чемпионатов против Stockfish, где продемонстрировала примерно такую ​​же силу, как и Stockfish.[24]

В 2019 году DeepMind опубликовал MuZero, единая система, в которой отлично играют в шахматы, сёги и го, а также в игры в Atari Учебная среда, не будучи запрограммированной заранее их правилами.[25][26]

Смотрите также

Примечания

  1. ^ Разработчик Stockfish Торд Ромстад ответил:

    Результаты матчей сами по себе не имеют особого значения из-за довольно странного выбора элементов управления временем и настроек параметров Stockfish: игры игрались с фиксированным временем 1 минута / ход, что означает, что Stockfish не использует эвристику управления временем ( Было приложено много усилий, чтобы Stockfish определил критические точки в игре и решил, когда потратить дополнительное время на ход; при фиксированном времени на ход сила значительно пострадает). Используемой версии Stockfish один год, она играла с гораздо большим количеством поисковых потоков, чем когда-либо подвергалось сколько-нибудь значительному тестированию, и имела слишком маленькие хеш-таблицы для количества потоков. Я считаю, что процент ничьих был бы намного выше в матче с более нормальными условиями.[7]

Рекомендации

  1. ^ а б c d е ж грамм час я j Сильвер, Дэвид; Хуберт, Томас; Шриттвизер, Джулиан; Антоноглоу, Иоаннис; Лай, Мэтью; Гез, Артур; Ланкто, Марк; Сифре, Лоран; Кумаран, Дхаршан; Грэпель, Тор; Лилликрап, Тимоти; Симонян, Карен; Хассабис, Демис (5 декабря 2017 г.). «Освоение шахмат и сёги путем самостоятельной игры с использованием общего алгоритма обучения с подкреплением». arXiv:1712.01815 [cs.AI ].
  2. ^ а б c Knapton, Сара; Ватсон, Леон (6 декабря 2017 г.). «Все человеческие шахматные знания были изучены и превзойдены DeepMind AlphaZero за четыре часа». Telegraph.co.uk. Получено 6 декабря, 2017.
  3. ^ Винсент, Джеймс (6 декабря 2017 г.). «Искусственный интеллект DeepMind за несколько часов стал сверхчеловеческим шахматистом, просто для удовольствия». Грани. Получено 6 декабря, 2017.
  4. ^ а б Сильвер, Дэвид; Губерт, Томас; Шриттвизер, Джулиан; Антоноглоу, Иоаннис; Лай, Мэтью; Гез, Артур; Ланкто, Марк; Сифре, Лоран; Кумаран, Дхаршан; Грэпель, Тор; Лилликрап, Тимоти; Симонян, Карен; Хассабис, Демис (7 декабря 2018 г.). «Общий алгоритм обучения с подкреплением, который осваивает шахматы, сёги и самостоятельно играет». Наука. 362 (6419): 1140–1144. Bibcode:2018Научный ... 362.1140S. Дои:10.1126 / science.aar6404. PMID  30523106.
  5. ^ Шриттвизер, Джулиан; Антоноглоу, Иоаннис; Хуберт, Томас; Симонян, Карен; Сифре, Лоран; Шмитт, Саймон; Гез, Артур; Локхарт, Эдвард; Хассабис, Демис; Грэпель, Тор; Лилликрап, Тимоти (19 ноября 2019 г.). «Освоение Атари, Го, шахмат и сёги путем планирования с учёной моделью». arXiv:1911.08265 [cs.LG ].
  6. ^ а б «AlphaZero: отзывы ведущих GM, автор Stockfish». Chess.com. 8 декабря 2017 г.. Получено 9 декабря, 2017.
  7. ^ а б «AlphaZero: отзывы ведущих GM, автор Stockfish». Chess.com. 8 декабря 2017 г.. Получено 13 декабря, 2017.
  8. ^ а б c d е "'Сверхчеловеческий Google AI претендует на шахматную корону ". Новости BBC. 6 декабря 2017 г.. Получено 7 декабря, 2017.
  9. ^ Найт, Уилл (8 декабря 2017 г.). «Чужие» шахматы Alpha Zero демонстрируют силу и особенности ИИ ». Обзор технологий MIT. Получено 11 декабря, 2017.
  10. ^ а б "AlphaZero от Google уничтожает Stockfish в матче из 100 игр". Chess.com. Получено 7 декабря, 2017.
  11. ^ Катяна Квач. «AlphaZero AI от DeepMind затопил конкурирующее шахматное приложение на неуровневой игре ... на доске». Реестр (14 декабря 2017 г.).
  12. ^ «Некоторые опасения по поводу условий соответствия между AlphaZero и движком Shogi». コ ン ピ ュ ー タ 将 棋 レ ー テ ィ ン グ. "uuunuuun" (блогер, оценивающий бесплатные движки сёги). Получено 9 декабря, 2017. (через "瀧 澤 誠 @elmo (@mktakizawa) | Twitter". mktakizawa (разработчик elmo). 9 декабря 2017 г.. Получено 11 декабря, 2017.)
  13. ^ "DeepMind 社 が や ね う ら 王 に 注目 め た よ う で す". Разработчик YaneuraOu, поискового компонента, используемого elmo. 7 декабря 2017 г.. Получено 9 декабря, 2017.
  14. ^ Бадшах, Надим (7 декабря 2017 г.). «Робот DeepMind от Google за четыре часа станет гроссмейстером по шахматам». Лондонская Таймс. Получено 7 декабря, 2017.
  15. ^ "У последнего шоу AI Show от Alphabet есть больше, чем одна хитрость". ПРОВОДНОЙ. 6 декабря 2017 г.. Получено 7 декабря, 2017.
  16. ^ Гиббс, Сэмюэл (7 декабря 2017 г.). «AlphaZero AI превосходит программу чемпионов по шахматам, обучившись за четыре часа». Хранитель. Получено 8 декабря, 2017.
  17. ^ «Говорящие современные заочные шахматы». Шахматная база. 26 июня 2018 г.. Получено 11 июля, 2018.
  18. ^ DeepMind 社 が や ね う ら 王 に 注目 し 始 め た よ う で す |や ね う ら 王 公式 サ イ ト, 2017 12 7
  19. ^ Как указано в Наука В статье TPU «примерно схож по скорости вывода с графическим процессором Titan V, хотя архитектуры напрямую не сопоставимы» (см. 24).
  20. ^ «AlphaZero сокрушает Stockfish в новом матче из 1000 игр». Chess.com. 6 декабря 2018.
  21. ^ Шон Ингл (11 декабря 2018 г.). "'Creative 'AlphaZero является лидером в области шахматных компьютеров и, возможно, науки ". Хранитель.
  22. ^ Альберт Сильвер (7 декабря 2018 г.). «В (глубоком) уме AlphaZero». Шахматная база.
  23. ^ «Komodo MCTS (Monte Carlo Tree Search) - новая звезда TCEC». Шахматный дом. 18 декабря 2018.
  24. ^ Видеть TCEC и Лила Чесс Зеро.
  25. ^ «Может ли искусственный интеллект спасти нас от самого себя?». Удача. 2019. Получено 29 февраля, 2020.
  26. ^ «MuZero от DeepMind учит себя побеждать в Atari, шахматах, сёги и го». VentureBeat. 20 ноября 2019 г.,. Получено 29 февраля, 2020.

внешняя ссылка