SqueezeNet - SqueezeNet

SqueezeNet
Оригинальный автор (ы)Форрест Иандола, Сон Хан, Мэтью В. Москевич, Халид Ашраф, Билл Далли, Курт Койцер
изначальный выпуск22 февраля 2016 г.; 4 года назад (2016-02-22)
Стабильный выпуск
Репозиторийgithub.com/ DeepScale/ SqueezeNet
ТипГлубокая нейронная сеть
ЛицензияЛицензия BSD

SqueezeNet это имя глубокая нейронная сеть за компьютерное зрение который был выпущен в 2016 году. SqueezeNet был разработан исследователями из DeepScale, Калифорнийский университет в Беркли, и Стэндфордский Университет. При разработке SqueezeNet цель авторов состояла в том, чтобы создать меньшую нейронную сеть с меньшим количеством параметров, которая могла бы легче поместиться в компьютерной памяти и могла бы легче передаваться по компьютерной сети.[1]

Поддержка фреймворка для SqueezeNet

SqueezeNet был первоначально выпущен 22 февраля 2016 года.[2] Эта оригинальная версия SqueezeNet была реализована поверх Кафе программная среда для глубокого обучения. Вскоре после этого исследовательское сообщество с открытым исходным кодом перенесло SqueezeNet на ряд других платформ глубокого обучения. 26 февраля 2016 года Эдди Белл выпустил порт SqueezeNet для платформы глубокого обучения Chainer.[3] 2 марта 2016 г. Гуо Хариа выпустил порт SqueezeNet для Apache MXNet рамки.[4] 3 июня 2016 г. Тэмми Янг выпустила порт SqueezeNet для Керас рамки.[5] В 2017 году компании, в том числе Baidu, Xilinx, Воображение Технологии, и Synopsys продемонстрировал SqueezeNet, работающий на платформах обработки с низким энергопотреблением, таких как смартфоны, ПЛИС и пользовательские процессоры.[6][7][8][9]

По состоянию на 2018 год SqueezeNet поставляется «изначально» как часть исходного кода ряда платформ глубокого обучения, таких как PyTorch, Apache MXNet, и яблоко CoreML.[10][11][12] Кроме того, сторонние разработчики создали реализации SqueezeNet, совместимые с такими фреймворками, как TensorFlow.[13] Ниже приводится краткое изложение фреймворков, поддерживающих SqueezeNet.

РамкиПоддержка SqueezeNetРекомендации
Apache MXNetРодные[11]
яблоко CoreMLРодные[12]
Caffe2Родные[14]
КерасТретья сторона[5]
MATLAB Набор инструментов для глубокого обученияРодные[15]
ONNXРодные[16]
PyTorchРодные[10]
TensorFlowТретья сторона[13]
Wolfram MathematicaРодные[17]

Отношение к AlexNet

Первоначально SqueezeNet был описан в статье под названием «SqueezeNet: точность на уровне AlexNet с 50-кратным уменьшением параметров и размером модели <0,5 МБ».[18] AlexNet - это глубокая нейронная сеть с 240 МБ параметров, а SqueezeNet имеет всего 5 МБ параметров. Однако важно отметить, что SqueezeNet не является «сжатой версией AlexNet». Скорее, SqueezeNet - это совершенно другая архитектура DNN, чем AlexNet.[19] Что общего у SqueezeNet и AlexNet, так это то, что они оба достигают примерно одинакового уровня точности при оценке на ImageNet набор данных проверки классификации изображений.

Связь с глубоким сжатием

Сжатие модели (например, квантование и отсечение параметров модели) может применяться к глубокой нейронной сети после ее обучения.[20] В статье SqueezeNet авторы продемонстрировали, что к SqueezeNet можно применить метод сжатия модели, называемый Deep Compression, для дальнейшего уменьшения размера файла параметров с 5 МБ до 500 КБ.[18] Глубокое сжатие также применялось к другим DNN, таким как AlexNet и VGG.[21]

Ответвления SqueezeNet

Некоторые из членов первоначальной команды SqueezeNet продолжили разрабатывать ресурсоэффективные глубокие нейронные сети для множества приложений. Некоторые из этих работ указаны в следующей таблице. Как и в случае с исходной моделью SqueezeNet, исследовательское сообщество с открытым исходным кодом перенесло и адаптировало эти новые модели «сжатого» семейства для совместимости с несколькими структурами глубокого обучения.

Модель DNNЗаявлениеОригинал

Выполнение

Другой

Реализации

SqueezeDet[22][23]Обнаружение объекта

на изображениях

TensorFlow[24]Кафе[25], Керас[26][27][28]
SqueezeSeg[29]Семантический

Сегментация

из ЛИДАР

TensorFlow[30]
SqueezeNext[31]Изображение

Классификация

Кафе[32]TensorFlow[33], Керас[34],

PyTorch[35]

SqueezeNAS[36][37]Поиск нейронной архитектуры

для семантической сегментации

PyTorch[38]

Кроме того, исследовательское сообщество с открытым исходным кодом расширило SqueezeNet на другие приложения, включая семантическую сегментацию изображений и перенос стиля.[39][40][41]

Рекомендации

  1. ^ Ганеш, Абхинав. "Группа чтения по глубокому обучению: SqueezeNet". KDnuggets. Получено 2018-04-07.
  2. ^ "SqueezeNet". GitHub. 2016-02-22. Получено 2018-05-12.
  3. ^ Белл, Эдди (26.02.2016). «Реализация SqueezeNet в Chainer». GitHub. Получено 2018-05-12.
  4. ^ Хариа, Го (2016-03-02). «SqueezeNet для MXNet». GitHub. Получено 2018-05-12.
  5. ^ а б Ян, Тэмми (2016-06-03). «Реализация SqueezeNet Keras». GitHub. Получено 2018-05-12.
  6. ^ Чиргвин, Ричард (26.09.2017). «Baidu внедряет глубокое обучение с открытым исходным кодом в смартфоны». Реестр. Получено 2018-04-07.
  7. ^ Буш, Стив (2018-01-25). «SDK нейронной сети для графических процессоров PowerVR». Еженедельник электроники. Получено 2018-04-07.
  8. ^ Ёсида, Дзюнко (13.03.2017). "Xilinx AI Engine управляет новым курсом". EE Times. Получено 2018-05-13.
  9. ^ Боутон, Пол (28 августа 2017 г.). «Алгоритмы компьютерного зрения глубокого обучения, перенесенные на IP процессора». Инженер Live. Получено 2018-04-07.
  10. ^ а б "squeezenet.py". GitHub: PyTorch. Получено 2018-05-12.
  11. ^ а б "squeezenet.py". GitHub: Apache MXNet. Получено 2018-04-07.
  12. ^ а б «CoreML». яблоко. Получено 2018-04-10.
  13. ^ а б Плакат, Доменик. «Реализация SqueezeNet с помощью Tensorflow». GitHub. Получено 2018-05-12.
  14. ^ Inkawhich, Натан. "Краткое руководство по модели SqueezeNet". GitHub: Caffe2. Получено 2018-04-07.
  15. ^ "SqueezeNet для MATLAB Deep Learning Toolbox". Математические работы. Получено 2018-10-03.
  16. ^ Фанг, Лу. «SqueezeNet для ONNX». Открытая нейронная сеть обмена.
  17. ^ «Обучение SqueezeNet V1.1 на данных соревнований ImageNet». Репозиторий нейронной сети Wolfram. Получено 2018-05-12.
  18. ^ а б Иандола, Форрест Н; Хан, Песня; Москевич, Мэтью В.; Ашраф, Халид; Далли, Уильям Дж; Койцер, Курт (2016). «SqueezeNet: точность на уровне AlexNet, в 50 раз меньше параметров и размер модели <0,5 МБ». arXiv:1602.07360 [cs.CV ].
  19. ^ "SqueezeNet". Краткая наука. Получено 2018-05-13.
  20. ^ Гуде, Алекс (09.08.2016). "Группа чтения Lab41: глубокое сжатие". Получено 2018-05-08.
  21. ^ Хан, Сон (2016-11-06). «Сжатие и регуляризация глубоких нейронных сетей». О'Рейли. Получено 2018-05-08.
  22. ^ Ву, Бичен; Ван, Элвин; Иандола, Форрест; Джин, Питер Х .; Койцер, Курт (2016). «SqueezeDet: унифицированные, небольшие, маломощные полностью сверточные нейронные сети для обнаружения объектов в режиме реального времени для автономного вождения». arXiv:1612.01051 [cs.CV ].
  23. ^ Нуньес Фернандес, Эдгар (02.03.2017). «Представляем SqueezeDet: полностью сверточную нейронную сеть с низким энергопотреблением для автономного вождения». Разведка информации. Получено 2019-03-31.
  24. ^ Ву, Бичен (2016-12-08). «SqueezeDet: унифицированные, небольшие, маломощные полностью сверточные нейронные сети для обнаружения объектов в реальном времени для автономного вождения». GitHub. Получено 2018-12-26.
  25. ^ Куан, Сюй (2017-12-20). "Caffe SqueezeDet". GitHub. Получено 2018-12-26.
  26. ^ Падманабха, Нишаль (2017-03-20). "SqueezeDet on Keras". GitHub. Получено 2018-12-26.
  27. ^ Эманн, Кристофер (29 мая 2018 г.). «Быстрое обнаружение объектов с помощью SqueezeDet на Keras». Середина. Получено 2019-03-31.
  28. ^ Эманн, Кристофер (2018-05-02). "Более подробный взгляд на SqueezeDet on Keras". Середина. Получено 2019-03-31.
  29. ^ Ву, Бичен; Ван, Элвин; Юэ, Сянъюй; Койцер, Курт (2017). «SqueezeSeg: сверточные нейронные сети с рекуррентным CRF для сегментации дорог и объектов в реальном времени из облака точек 3D LiDAR». arXiv:1710.07368 [cs.CV ].
  30. ^ Ву, Бичен (2017-12-06). «SqueezeSeg: сверточные нейронные сети с рекуррентным CRF для сегментации дорог и объектов в реальном времени из облака точек 3D LiDAR». GitHub. Получено 2018-12-26.
  31. ^ Голами, Амир; Квон, Кисеок; Ву, Бичен; Тай, Цзычжэн; Юэ, Сянъюй; Джин, Питер; Чжао, Сичэн; Койцер, Курт (2018). "SqueezeNext: Аппаратно-ориентированный дизайн нейронной сети". arXiv:1803.10615 [cs.CV ].
  32. ^ Голами, Амир (2018-04-18). "SqueezeNext". GitHub. Получено 2018-12-29.
  33. ^ Верхульсдонк, Таймен (9 июля 2018 г.). «SqueezeNext Tensorflow: реализация SqueezeNext с тензорным потоком». GitHub. Получено 2018-12-29.
  34. ^ Семери, Олег (24.09.2018). «SqueezeNext, реализовано в Керасе». Получено 2018-12-29.
  35. ^ Лу, И (2018-06-21). "SqueezeNext.PyTorch". GitHub. Получено 2018-12-29.
  36. ^ Шоу, Альберт; Хантер, Дэниел; Иандола, Форрест; Сидху, Сэмми (2019). «SqueezeNAS: быстрый поиск нейронной архитектуры для более быстрой семантической сегментации». arXiv:1908.01748 [cs.LG ].
  37. ^ Ёсида, Дзюнко (2019-08-25). «Есть ли у вашего ИИ-чипа собственный DNN?». EE Times. Получено 2019-09-12.
  38. ^ Шоу, Альберт (2019-08-27). "SqueezeNAS". GitHub. Получено 2019-09-12.
  39. ^ Тремл, Майкл; и другие. (2016). «Ускорение семантической сегментации для автономного вождения». Мастерская НИПС МЛИЦ. Получено 2019-07-21.
  40. ^ Цзэн, Ли (2017-03-22). "Нейронный стиль SqueezeNet на PyTorch". GitHub. Получено 2019-07-21.
  41. ^ Ву, Бичен; Койцер, Курт (2017). «Влияние SqueezeNet» (PDF). Калифорнийский университет в Беркли. Получено 2019-07-21.