Эволюционное приобретение нейронных топологий - Evolutionary acquisition of neural topologies

Эта статья посвящена эволюционному приобретению искусственных нейронных топологий, а не естественных.

Эволюционное приобретение нейронных топологий (EANT/EANT2) является эволюционный обучение с подкреплением метод, который развивает как топологию, так и веса искусственные нейронные сети. Это тесно связано с работами Angeline et al.[1] и Стэнли и Мииккулайнен.[2] Подобно работе Анджелины и др., В этом методе используется тип параметрической мутации, происходящей от стратегии эволюции и эволюционное программирование (теперь с использованием наиболее продвинутой формы эволюционных стратегий CMA-ES в EANT2), в котором адаптивные размеры шага используются для оптимизации весов нейронных сетей. Подобно работе Стэнли (АККУРАТНЫЙ ), метод начинается с минимальных структур, которые усложняются по мере развития.

Вклад EANT в нейроэволюцию

Несмотря на то, что эти два свойства являются общими, метод имеет следующие важные особенности, которые отличают его от предыдущих работ в нейроэволюция.

Он вводит генетическое кодирование, называемое общее генетическое кодирование (CGE), который обрабатывает как прямое, так и косвенное кодирование нейронных сетей в рамках одной теоретической основы. Кодирование имеет важные свойства, которые делают его подходящим для развивающихся нейронных сетей:

  1. это полный в том, что он способен представлять все типы действительных сетей фенотипов.
  2. это закрыто, т.е. каждый действительный генотип представляет действительный фенотип. (Аналогично кодировка закрыто по генетическим операторам такие как структурная мутация и кроссовер.)

Эти свойства были официально подтверждены в.[3]

Для развития структуры и весов нейронных сетей используется эволюционный процесс, в котором исследование сооружений выполняется в более крупном масштабе (структурная разведка), а эксплуатация строительство существующих структур выполняется в более короткие сроки (эксплуатация конструкций). На этапе структурного исследования новые нейронные структуры разрабатываются путем постепенного добавления новых структур к изначально минимальной сети, которая используется в качестве отправной точки. На этапе эксплуатации конструкций, веса имеющихся в настоящее время конструкций оптимизируются с использованием стратегия эволюции.

Спектакль

EANT был протестирован на некоторых тестовых задачах, таких как проблема двухполюсной балансировки,[4] и РобоКубок контрольный показатель Keepaway.[5] Во всех тестах EANT показал себя очень хорошо. Более того, новая версия EANT, названная EANT2, была протестирована на задаче визуального сервоуправления и показала, что она превосходит АККУРАТНЫЙ и традиционный итеративный Гаусс – Ньютон метод.[6] Дальнейшие эксперименты включают результаты по проблеме классификации [7]

Рекомендации

  1. ^ Питер Дж. Анджелина, Грегори М. Сондерс и Джордан Б. Поллак. Эволюционный алгоритм построения рекуррентных нейронных сетей. IEEE Transactions on Neural Networks, 5: 54–65, 1994. [1]
  2. ^ Нейроэволюция дополненных топологий (NEAT) Стэнли и Мииккулайнен, 2005 г. [2]
  3. ^ Йоханнес Кассахун, Марк Эджингтон, Ян Хендрик Метцен, Джеральд Соммер и Франк Киршнер. Общее генетическое кодирование как для прямого, так и для косвенного кодирования сетей. В материалах конференции по генетическим и эволюционным вычислениям (GECCO 2007), Лондон, Великобритания, 1029–1036, 2007.[3]
  4. ^ Йоханнес Кассахун и Джеральд Соммер. Эффективное обучение с подкреплением за счет эволюционного приобретения нейронных топологий. В материалах 13-го Европейского симпозиума по искусственным нейронным сетям (ESANN 2005), страницы 259–266, Брюгге, Бельгия, апрель 2005 г. «Архивная копия» (PDF). Архивировано из оригинал (PDF) на 2007-06-13. Получено 2008-02-11.CS1 maint: заархивированная копия как заголовок (связь)
  5. ^ Ян Хендрик Метцен, Марк Эджингтон, Йоханнес Кассахун и Франк Киршнер. Оценка производительности EANT в тесте RoboCup Keepaway Benchmark. В материалах шестой Международной конференции по машинному обучению и приложениям (ICMLA 2007), страницы 342–347, США, 2007 [4]
  6. ^ Нильс Т. Зибель и Джеральд Соммер. Эволюционное обучение с подкреплением искусственных нейронных сетей. Международный журнал гибридных интеллектуальных систем 4 (3): 171–183, октябрь 2007 г. [5]
  7. ^ Нильс Т. Зибель и Джеральд Соммер. Изучение классификаторов дефектов для изображений визуального осмотра с помощью нейроэволюции с использованием слабо маркированных обучающих данных. Труды Конгресса IEEE по эволюционным вычислениям (CEC 2008), страницы 3926–3932, Гонконг, Китай, июнь 2008 г. [6].

внешняя ссылка