Нейроэволюция - Neuroevolution

Не путать с Эволюция нервной системы, Нейронное развитие, или же Нейронный дарвинизм.

Нейроэволюция, или же нейроэволюция, это форма искусственный интеллект который использует эволюционные алгоритмы чтобы генерировать искусственные нейронные сети (ИНС), параметры, топология и правила.[1] Чаще всего применяется в искусственная жизнь, общая игра[2] и эволюционная робототехника. Основное преимущество заключается в том, что нейроэволюция может применяться более широко, чем контролируемые алгоритмы обучения, которые требуют наличия программы правильных пар ввода-вывода. Напротив, нейроэволюция требует только измерения производительности сети при выполнении задачи. Например, результат игры (то есть выиграл или проиграл один игрок) можно легко измерить без предоставления помеченных примеров желаемых стратегий. Нейроэволюция обычно используется как часть обучение с подкреплением парадигму, и ее можно противопоставить традиционным методам глубокого обучения, которые используют градиентный спуск на нейронной сети с фиксированной топологией.

Функции

Определены многие алгоритмы нейроэволюции. Одно общее различие заключается между алгоритмами, которые развивают только силу весов соединений для фиксированной топологии сети (иногда называемой обычной нейроэволюцией), в отличие от алгоритмов, которые развивают как топологию сети, так и ее веса (называемые TWEANN для топологии и веса). Развитие алгоритмов искусственной нейронной сети).

Можно провести отдельное различие между методами, которые развивают структуру ИНС параллельно с ее параметрами (применяющими стандартные эволюционные алгоритмы), и методами, которые развивают их отдельно (посредством меметические алгоритмы ).[3]

Сравнение с градиентным спуском

Большинство нейронных сетей используют градиентный спуск, а не нейроэволюцию. Однако примерно в 2017 г. исследователи из Убер заявили, что они обнаружили, что простые структурные алгоритмы нейроэволюции могут конкурировать со сложными современными стандартными алгоритмами глубокого обучения градиентного спуска, отчасти потому, что нейроэволюция с меньшей вероятностью застрянет в локальных минимумах. В Наука, журналист Мэтью Хатсон предположил, что отчасти причина того, что нейроэволюция преуспевает там, где она терпела неудачу раньше, связана с возросшей вычислительной мощностью, доступной в 2010-х годах.[4]

Прямое и косвенное кодирование

Эволюционные алгоритмы работают на популяции генотипы (также называемый геномы ). В нейроэволюции генотип отображается в нейронной сети. фенотип который оценивается по некоторой задаче, чтобы получить его фитнес.

В непосредственный В схемах кодирования генотип напрямую отображается на фенотип. То есть каждый нейрон и соединение в нейронной сети прямо и явно указаны в генотипе. Напротив, в косвенный В схемах кодирования генотип косвенно определяет способ создания этой сети.[5]

Косвенные кодировки часто используются для достижения нескольких целей:[5][6][7][8][9]

  • модульность и другие закономерности;
  • сжатие фенотипа до меньшего генотипа, что обеспечивает меньшее пространство поиска;
  • отображение пространства поиска (генома) на проблемную область.

Таксономия эмбриогенных систем для непрямого кодирования

Традиционно косвенные кодировки, использующие искусственные эмбриогенез (также известный как искусственное развитие ) были отнесены к категории грамматический подход по сравнению с подход клеточной химии.[10] Первый развивает наборы правил в форме систем грамматической перезаписи. Последний пытается имитировать появление физических структур в биологии через экспрессию генов. В системах косвенного кодирования часто используются аспекты обоих подходов.

Стэнли и Мииккулайнен[10] предложить таксономию для эмбриогенных систем, которая призвана отразить их основные свойства. Таксономия выделяет пять непрерывных измерений, по которым может быть размещена любая эмбриогенная система:

  • Судьба клетки (нейрона): окончательные характеристики и роль клетки в зрелом фенотипе. Это измерение подсчитывает количество методов, используемых для определения судьбы клетки.
  • Таргетинг: метод, с помощью которого соединения направляются из исходных ячеек в целевые ячейки. Это варьируется от конкретного таргетинга (источник и цель явно идентифицируются) до относительного таргетинга (например, на основе расположения ячеек относительно друг друга).
  • Гетерохрония: время и порядок событий во время эмбриогенеза. Подсчитывает количество механизмов изменения хронометража событий.
  • Канализация: насколько устойчив геном к мутациям (хрупкость). От требований точных генотипических инструкций до высокой устойчивости к неточным мутациям.
  • Комплексификация: способность системы (включая эволюционный алгоритм и картирование генотипа к фенотипу) обеспечивать комплексность генома (и, следовательно, фенотипа) с течением времени. В диапазоне от разрешения только геномов фиксированного размера до разрешения геномов очень переменной длины.

Примеры

Примеры методов нейроэволюции (с прямым кодированием обязательно неэмбриогенными):

МетодКодированиеЭволюционный алгоритмАспекты эволюционировали
Нейрогенетическая эволюция Э. Рональда, 1994[11]ПрямойГенетический алгоритмВес сети
Кодирование сотовой связи (CE) Ф. Груау, 1994[7]Косвенный, эмбриогенный (грамматическое дерево с использованием S-выражения )Генетическое программированиеСостав и параметры (одновременность, комплексификация)
GNARL, Ангелин и др., 1994[12]ПрямойЭволюционное программированиеСостав и параметры (одновременность, комплексификация)
EPNet Яо и Лю, 1997 г.[13]ПрямойЭволюционное программирование (в сочетании с обратное распространение и имитация отжига )Структура и параметры (смешанные, усложнение и упрощение)
Нейроэволюция дополнительных топологий (NEAT) Стэнли и Мииккулайнен, 2002 г.[14][15]ПрямойГенетический алгоритм. Отслеживает гены с историческими отметками, чтобы позволить кроссовер между различными топологиями, защищает инновации через видообразование.Структура и параметры
Нейроэволюция дополнительных топологий на основе гиперкуба (HyperNEAT) Стэнли, Д'Амброзио, Гаучи, 2008 г.[6]Косвенные, неэмбриогенные (пространственные паттерны, генерируемые Сеть создания композиционных паттернов (CPPN) в пределах гиперкуб интерпретируются как паттерны связности в пространстве меньшей размерности)Генетический алгоритм. Алгоритм NEAT (см. Выше) используется для развития CPPN.Параметры, структура фиксированная (функционально полностью подключена)
Нейроэволюция дополнительных топологий на основе эволюционируемого субстрата на основе гиперкуба (ES-HyperNEAT) Ризи, Стэнли, 2012 г.[9]Косвенные, неэмбриогенные (пространственные паттерны, генерируемые Сеть создания композиционных паттернов (CPPN) в пределах гиперкуб интерпретируются как паттерны связности в пространстве меньшей размерности)Генетический алгоритм. Алгоритм NEAT (см. Выше) используется для развития CPPN.Параметры и структура сети
Эволюционное освоение нейронных топологий (EANT / EANT2) Кассахуна и Соммера, 2005 г.[16] / Зибель и Соммер, 2007 г.[17]Прямое и косвенное, потенциально эмбриогенное (Common Genetic Encoding[5])Эволюционное программирование /Стратегии эволюцииСостав и параметры (отдельно, комплексификация)
Интерактивно ограниченная нейроэволюция (ICONE) Ремпис, 2012[18]Прямой, включает маски ограничений для ограничения поиска определенными коллекциями топологии / параметров.Эволюционный алгоритм. Использует маски ограничений, чтобы резко сократить пространство поиска за счет использования базовые знания.Состав и параметры (отдельно, комплексность, интерактивность)
Нейронная сеть Deus Ex (DXNN) Джин Шер, 2012[19]Прямой / косвенный, включает ограничения, локальную настройку и позволяет в дальнейшем интегрировать новые датчики и исполнительные механизмы.Меметический алгоритм. Изменяет структуру и параметры сети в разных временных масштабах.Состав и параметры (отдельно, комплексность, интерактивность)
Унифицированная архитектура нейроэволюции с разнообразным спектром (SUNA) Данило Васконселлос Варгас, Юничи Мурата[20] (Скачать код )Директ вводит Единое нейронное представление (представление, объединяющее большинство функций нейронных сетей из литературы).Генетический алгоритм с механизмом сохранения разнообразия, называемым Спектральное разнообразие который хорошо сочетается с размером хромосомы, не зависит от проблемы и больше ориентирован на получение разнообразия поведения / подходов высокого уровня. Для достижения этого разнообразия концепция хромосомный спектр вводится и используется вместе с Население карты новинки.Структура и параметры (смешанные, усложнение и упрощение)
Модульный агент-ориентированный Evolver (MABE) Клиффорда Бома, Аренд Хинтце и других.[21] (Скачать код )Прямое или косвенное кодирование Марковские сети, Нейронные сети, генетическое программирование и другие произвольно настраиваемые контроллеры.Предоставляет эволюционные алгоритмы, алгоритмы генетического программирования и позволяет настраивать алгоритмы вместе со спецификацией произвольных ограничений.Развиваемые аспекты включают нейронную модель и, среди прочего, позволяют эволюцию морфологии и полового отбора.
Адаптация ковариационной матрицы с помощью алгоритма адаптивной сетки с сортировкой по объему (CMA-HAGA) Шахина Ростами и др.,[22][23]Прямой, включает атавизм функция, которая позволяет чертам исчезать и снова появляться в разных поколениях.Многоцелевой Стратегия эволюции с Артикуляция предпочтений (Вычислительное управление )Структура, веса и смещения.

Смотрите также

Рекомендации

  1. ^ Стэнли, Кеннет О. (13.07.2017). «Нейроэволюция: другой вид глубокого обучения». O'Reilly Media. Получено 2017-09-04.
  2. ^ Ризи, Себастьян; Тогелиус, Юлиан (2017). «Нейроэволюция в играх: современное состояние и открытые вызовы». IEEE Transactions по вычислительному интеллекту и искусственному интеллекту в играх. 9: 25–41. arXiv:1410.7326. Дои:10.1109 / TCIAIG.2015.2494596. S2CID  11245845.
  3. ^ Тогелиус, Юлиан; Шауль, Том; Шмидхубер, Юрген; Гомес, Фаустино (2008), «Противодействие ядовитым воздействиям с помощью меметической нейроэволюции» (PDF), Параллельное решение проблем с натуры
  4. ^ «Искусственный интеллект может« развиваться »для решения проблем». Наука | AAAS. 10 января 2018 г.. Получено 7 февраля 2018.
  5. ^ а б c Кассахун, Йоханнес; Соммер, Джеральд; Эджингтон, Марк; Метцен, Ян Хендрик; Киршнер, Франк (2007), «Общее генетическое кодирование как для прямого, так и для косвенного кодирования сетей», Конференция по генетическим и эволюционным вычислениям, ACM Press, стр. 1029–1036, CiteSeerX  10.1.1.159.705
  6. ^ а б Гаучи, Стэнли (2007), «Создание крупномасштабных нейронных сетей путем обнаружения геометрических закономерностей» (PDF), Конференция по генетическим и эволюционным вычислениям, Нью-Йорк, Нью-Йорк: ACM
  7. ^ а б Груау, Фредерик; Я, Университет Клода Бернар-Лион; Доктор А. Диплом Де; Demongeot, M. Jacques; Cosnard, Examinators М. Мишель; Mazoyer, M. Jacques; Перетто, М. Пьер; Уитли, М. Дарелл (1994). Синтез нейронной сети с использованием клеточного кодирования и генетического алгоритма. CiteSeerX  10.1.1.29.5939.
  8. ^ Clune, J .; Стэнли, Кеннет О .; Pennock, R.T .; Офрия, К. (июнь 2011 г.). «О производительности косвенного кодирования в континууме регулярности». IEEE Transactions по эволюционным вычислениям. 15 (3): 346–367. CiteSeerX  10.1.1.375.6731. Дои:10.1109 / TEVC.2010.2104157. ISSN  1089-778X. S2CID  3008628.
  9. ^ а б Ризи, Себастьян; Стэнли, Кеннет О. (2012). «Улучшенное кодирование на основе гиперкуба для эволюции размещения, плотности и связности нейронов» (PDF). Искусственная жизнь. 18 (4): 331–363. Дои:10.1162 / ARTL_a_00071. PMID  22938563. S2CID  3256786.
  10. ^ а б Стэнли, Кеннет О .; Мииккулайнен, Ристо (2003). «Таксономия искусственного эмбриогенеза» (PDF). Искусственная жизнь. 9 (2): 93–130. Дои:10.1162/106454603322221487. PMID  12906725. S2CID  2124332.
  11. ^ Рональд, Эдмунд; Schoenauer, March (1994), "Genetic Lander: эксперимент по точному нейрогенетическому контролю", PPSN III 1994 Решение параллельного программирования с натуры, стр. 452–461, CiteSeerX  10.1.1.56.3139
  12. ^ Анджелина, Питер Дж .; Сондерс, Грегори М .; Поллак, Джордан Б. (1994). «Эволюционный алгоритм построения рекуррентных нейронных сетей» (PDF). IEEE-транзакции в нейронных сетях. 5 (5): 54–65. CiteSeerX  10.1.1.64.1853. Дои:10.1109/72.265960. PMID  18267779.
  13. ^ Яо, Синь; Лю, Юн (май 1997 г.). «Новая эволюционная система для развития искусственных нейронных сетей» (PDF). IEEE-транзакции в нейронных сетях. 8 (3): 694–713. Дои:10.1109/72.572107. PMID  18255671.
  14. ^ Стэнли, Кеннет О .; Брайант, Бобби Д .; Мииккулайнен, Ристо (декабрь 2005 г.). «Нейроэволюция в реальном времени в видеоигре NERO» (PDF).
  15. ^ Стэнли, Кеннет О .; Мииккулайнен, Ристо (2002). «Развитие нейронных сетей за счет улучшения топологий» (PDF). Эволюционные вычисления. 10 (2): 99–127. CiteSeerX  10.1.1.638.3910. Дои:10.1162/106365602320169811. PMID  12180173. S2CID  498161.
  16. ^ Кассахун, Йоханнес; Соммер, Джеральд (апрель 2005 г.), «Эффективное обучение с подкреплением за счет эволюционного приобретения нейронных топологий» (PDF), 13-й Европейский симпозиум по искусственным нейронным сетям, Брюгге, Бельгия, стр. 259–266.
  17. ^ Siebel, Nils T .; Соммер, Джеральд (октябрь 2007 г.). «Эволюционное обучение с подкреплением искусственных нейронных сетей» (PDF). Международный журнал гибридных интеллектуальных систем. 4 (3): 171–183. Дои:10.3233 / his-2007-4304. Архивировано из оригинал (PDF) на 2008-09-05.
  18. ^ Ремпис, Кристиан В. (октябрь 2012 г.). «Развитие сложных нейроконтроллеров с интерактивным ограничением нейроэволюции» (Кандидатская диссертация). Оснабрюкский университет. урна: nbn: de: gbv: 700-2012101710370
  19. ^ Шер, Джин I. (ноябрь 2012 г.). Справочник по нейроэволюции через Erlang. Springer Verlag. ISBN  9781461444626.
  20. ^ Варгас, Данило Васконселлос; Мурата, Джуничи (2019). «Спектрально-разнообразная нейроэволюция с использованием унифицированных нейронных моделей». Транзакции IEEE в нейронных сетях и обучающих системах. 28 (8): 1759–1773. arXiv:1902.06703. Bibcode:2019arXiv190206703V. Дои:10.1109 / TNNLS.2016.2551748. PMID  28113564. S2CID  206757620.
  21. ^ Эдлунд, Джеффри; Шомон, Николя; Хинтце, Аренд; Кох, Кристоф; Тонони, Джулио; Адами, Кристоф (2011). «Интегрированная информация увеличивается с приспособленностью в эволюции аниматов». PLOS вычислительная биология. 7 (10): e1002236. arXiv:1103.1791. Bibcode:2011PLSCB ... 7E2236E. Дои:10.1371 / journal.pcbi.1002236. ЧВК  3197648. PMID  22028639.
  22. ^ Ростами, Шахин; Нери, Ферранте (01.06.2017). «Быстрый механизм выбора, управляемый гиперобъемом, для многоцелевых задач оптимизации» (PDF). Рой и эволюционные вычисления. 34 (Дополнение C): 50–67. Дои:10.1016 / j.swevo.2016.12.002. HDL:2086/13102.
  23. ^ «Многоцелевая эволюция искусственных нейронных сетей в мультиклассовых задачах медицинской диагностики с классовым дисбалансом - публикация конференции IEEE» (PDF). Дои:10.1109 / CIBCB.2017.8058553. S2CID  22674515. Цитировать журнал требует | журнал = (помощь)

внешняя ссылка