DeepDream - DeepDream

Часть серии по
Машинное обучение
и
сбор данных

DeepDream это компьютерное зрение программа создана Google инженер Александр Мордвинцев, использующий сверточная нейронная сеть найти и улучшить шаблоны в изображений через алгоритмический парейдолия, таким образом создавая мечтать -подобно галлюциногенный появление в сознательно переобработанных изображениях.[1][2][3]

Программа Google популяризировала термин (глубокое) «сновидение» для обозначения создания изображений, которые производят желаемое. активации в обученном глубокая сеть, и этот термин теперь относится к набору связанных подходов.

История

Программное обеспечение DeepDream возникло в глубоких сверточная сеть под кодовым названием "Начало" после фильм с таким же названием,[1][2][3] был разработан для ImageNet - крупномасштабная задача по распознаванию изображений (ILSVRC) в 2014[3] и выпущен в июле 2015 года.

Идея и имя сновидения стали популярными в Интернете в 2015 году благодаря программе DeepDream от Google. Идея зародилась в самом начале истории нейронных сетей,[4] и аналогичные методы были использованы для синтеза визуальных текстур.[5]Связанные с этим идеи визуализации были разработаны (до работы Google) несколькими исследовательскими группами.[6][7]

После того, как Google опубликовал свои методы и сделал свой код Открытый исходный код,[8] На рынке появился ряд инструментов в виде веб-сервисов, мобильных приложений и программного обеспечения для настольных компьютеров, позволяющих пользователям преобразовывать свои собственные фотографии.[9]

Процесс

Изображение медузы на синем фоне
Изображение медузы, обработанное DeepDream после десяти итераций
Изображение медузы, обработанное DeepDream после пятидесяти итераций
Исходное изображение (вверху) после применения десяти (в центре) и пятидесяти (внизу) итераций DeepDream, сеть была обучена воспринимать собак

Программное обеспечение предназначено для обнаруживать лица и другие шаблоны в изображениях с целью автоматической классификации изображений.[10] Однако после обучения сеть также может работать в обратном направлении, ее попросят немного скорректировать исходное изображение, чтобы данный выходной нейрон (например, тот, который используется для лиц или определенных животных) имел более высокий показатель достоверности. Это можно использовать для визуализации, чтобы лучше понять возникающую структуру нейронной сети, и это основа концепции DeepDream. Эта процедура обращения никогда не бывает совершенно ясной и недвусмысленной, потому что в ней используется один ко многим процесс картирования.[11] Однако после достаточного количества повторений даже изображения, изначально лишенные искомых характеристик, будут скорректированы достаточно, чтобы форма парейдолия результаты, по которым психоделический и сюрреалистический изображения генерируются алгоритмически. Оптимизация напоминает обратное распространение однако вместо того, чтобы регулировать веса сети, веса остаются фиксированными, а ввод корректируется.

Например, существующее изображение можно изменить так, чтобы оно было «более похожим на кошку», а получившееся улучшенное изображение можно снова ввести в процедуру.[2] Это использование напоминает поиск животных или других узоров в облаках.

Применение градиентного спуска независимо к каждому пикселю входного сигнала создает изображения, в которых соседние пиксели имеют мало взаимосвязи, и, следовательно, изображение содержит слишком много высокочастотной информации. Созданные изображения можно значительно улучшить, включив предварительные или регуляризатор который предпочитает входные данные с естественной статистикой изображения (без предпочтения какого-либо конкретного изображения) или просто сглаженными.[7][12][13]Например, Mahendran et al.[12] использовал регуляризатор полной вариации, который предпочитает кусочно-постоянные изображения. Различные регуляризаторы обсуждаются далее в.[13] Позднее было опубликовано подробное визуальное исследование методов визуализации функций и регуляризации.[14]

Указанное сходство изображения с ЛСД - и псилоцибин -индуцированные галлюцинации наводят на мысль о функциональном сходстве между искусственными нейронными сетями и определенными слоями зрительной коры.[15]

использование

Фотография троих мужчин в бассейне, обработанная с помощью DeepDream.

Идея сновидения может быть применена к скрытым (внутренним) нейронам, отличным от тех, что находятся на выходе, что позволяет исследовать роли и представления различных частей сети.[13]Также можно оптимизировать входные данные для удовлетворения требований одного нейрона (такое использование иногда называют максимизацией активности).[16] или целый слой нейронов.

Хотя сновидение чаще всего используется для визуализации сетей или создания компьютерного искусства, недавно было предложено, что добавление «сновидений» к обучающему набору может сократить время обучения абстракциям в компьютерных науках.[17]

Модель DeepDream также продемонстрировала свое применение в области История искусства.[18]

DeepDream использовался для Взращивайте людей Видеоклип на песню "Doing It for the Money".[19]

В 2017 году исследовательская группа из Университета Сассекса создала Машина галлюцинаций, применяя алгоритм DeepDream к предварительно записанному панорамному видео, позволяя пользователям исследовать среду виртуальной реальности, чтобы имитировать переживание психоактивных веществ и / или психопатологических состояний.[20] Они смогли продемонстрировать, что субъективные переживания, вызванные машиной галлюцинаций, значительно отличаются от контрольных (не «галлюциногенных») видео, но имеют феноменологическое сходство с психоделическим состоянием (после введения псилоцибина).

Смотрите также

Рекомендации

  1. ^ а б Мордвинцев Александр; Олах, Кристофер; Тыка, Майк (2015). «DeepDream - пример кода для визуализации нейронных сетей». Google Research. Архивировано из оригинал на 2015-07-08.
  2. ^ а б c Мордвинцев Александр; Олах, Кристофер; Тыка, Майк (2015). «Инцепционизм: углубляясь в нейронные сети». Google Research. Архивировано из оригинал на 2015-07-03.
  3. ^ а б c Сегеди, Кристиан; Лю, Вэй; Цзя, Янцин; Сермане, Пьер; Рид, Скотт; Ангуелов, Драгомир; Эрхан, Думитру; Ванхаук, Винсент; Рабинович, Андрей (2014). "Углубляясь в свертки". Репозиторий компьютерных исследований. arXiv:1409.4842. Bibcode:2014arXiv1409.4842S.
  4. ^ Льюис, Дж. П. (1988). Создание путем уточнения: парадигма творчества для сетей обучения градиентным спуском. Международная конференция IEEE по нейронным сетям. Дои:10.1109 / ICNN.1988.23933.
  5. ^ Portilla, J; Симончелли, Ээро (2000). «Параметрическая модель текстуры, основанная на совместной статистике комплексных вейвлет-коэффициентов». Международный журнал компьютерного зрения. 40: 49–70. Дои:10.1023 / А: 1026553619983.
  6. ^ Ерхан, Думитру. (2009). Визуализация высокоуровневых функций глубокой сети. Международная конференция по машинному обучению, семинар по иерархиям функций обучения. S2CID  15127402.
  7. ^ а б Симонян, Карен; Ведальди, Андреа; Зиссерман, Андрей (2014). Глубоко внутри сверточные сети: визуализация моделей классификации изображений и карт значимости. Международная конференция по обучающим представительствам Мастерская. arXiv:1312.6034.
  8. ^ глубокая мечта на GitHub
  9. ^ Дэниел Калпан (2015-07-03). "Эти изображения Google" Deep Dream "странно завораживают". Проводной. Получено 2015-07-25.
  10. ^ Рич Маккормик (7 июля 2015 г.). «Страх и ненависть в Лас-Вегасе ужасают глазами компьютера». Грани. Получено 2015-07-25.
  11. ^ Хейс, Брайан (2015). «Компьютерное зрение и компьютерные галлюцинации». Американский ученый. 103 (6): 380. Дои:10.1511/2015.117.380. ISSN  0003-0996.
  12. ^ а б Махендран, Аравинд; Ведальди, Андреа (2015). Понимание представлений глубокого изображения путем их инвертирования. Конференция IEEE по компьютерному зрению и распознаванию образов. arXiv:1412.0035. Дои:10.1109 / CVPR.2015.7299155.
  13. ^ а б c Йосинский, Джейсон; Клун, Джефф; Нгуен, Ань; Фукс, Томас (2015). Понимание нейронных сетей с помощью глубокой визуализации. Семинар по глубокому обучению, Международная конференция по машинному обучению (ICML). Семинар по глубокому обучению. arXiv:1506.06579.
  14. ^ Олах, Крис; Мордвинцев Александр; Шуберт, Людвиг (2017-11-07). «Визуализация функций». Дистиллировать. 2 (11). arXiv:1409.4842. Дои:10.23915 / distill.00007. ISSN  2476-0757.
  15. ^ ЛаФранс, Эдриенн (03.09.2015). «Когда роботы галлюцинируют». Атлантический океан. Получено 24 сентября 2015.
  16. ^ Нгуен, Ань; Досовицкий, Алексей; Йосинский, Джейсон; Брокс, Томас (2016). Синтез предпочтительных входов для нейронов в нейронных сетях через глубокие сети генераторов. arxiv. arXiv:1605.09304. Bibcode:2016arXiv160509304N.
  17. ^ Арора, Санджив; Лян, Инъюй; Тенгю, Ма (2016). Почему глубокие сети обратимы: простая теория, имеющая значение для обучения. arxiv. arXiv:1511.05653. Bibcode:2015arXiv151105653A.
  18. ^ Спратт, Эмили Л. (2017). «Формулировки сновидений и глубокие нейронные сети: гуманистические темы в иконологии машинного обучения» (PDF). Kunsttexte. Humboldt-Universität zu Berlin. 4. arXiv:1802.01274. Bibcode:2018arXiv180201274S.
  19. ^ fosterthepeopleVEVO (11.08.2017), Поддерживайте людей - делая это ради денег, получено 2017-08-15
  20. ^ Судзуки, Кейсуке (22 ноября 2017 г.). «Платформа виртуальной реальности глубокой мечты для изучения измененной феноменологии восприятия». Научный представитель. 7 (1): 15982. Bibcode:2017НатСР ... 715982С. Дои:10.1038 / s41598-017-16316-2. ЧВК  5700081. PMID  29167538.

внешняя ссылка