DeepSpeed - DeepSpeed
| Оригинальный автор (ы) | Microsoft Research |
|---|---|
| Разработчики) | Microsoft |
| изначальный выпуск | 18 мая 2020 |
| Стабильный выпуск | v0.3.1 / 12 ноября 2020 г. |
| Репозиторий | github |
| Написано в | Python, CUDA, C ++ |
| Тип | Библиотека программного обеспечения |
| Лицензия | Лицензия MIT |
| Интернет сайт | глубокая скорость |
DeepSpeed является Открытый исходный код глубокое обучение библиотека оптимизации для PyTorch.[1] Библиотека предназначена для снижения вычислительной мощности и использование памяти и тренировать большие распределен модели с лучшими параллелизм на существующих компьютерное железо.[2][3] DeepSpeed оптимизирован для обучения с низкой задержкой и высокой пропускной способностью. Он включает Оптимизатор нулевого резервирования (ZeRO) для обучения моделей со 100 миллиардами параметров и более.[4] Возможности включают обучение со смешанной точностью, обучение с использованием одного графического процессора, нескольких графических процессоров и нескольких узлов, а также параллелизм пользовательских моделей. Исходный код DeepSpeed находится под лицензией Лицензия MIT и доступно на GitHub.[5]
Смотрите также
Рекомендации
- ^ «Microsoft обновляет Windows, инструменты Azure с прицелом на будущее». PCMag UK. 22 мая 2020.
- ^ Егулалп, Сердар (10 февраля 2020 г.). «Microsoft ускоряет PyTorch с помощью DeepSpeed». InfoWorld.
- ^ Microsoft представляет пятый по мощности суперкомпьютер в мире - Neowin
- ^ «Microsoft обучает крупнейшую в мире языковую модель Transformer». 10 февраля 2020.
- ^ «Microsoft / DeepSpeed». 10 июля 2020 г. - через GitHub.
дальнейшее чтение
- Раджбхандари, Самьям; Расли, Джефф; Рувасе, Олатунджи; Он, Юйсюн (2019). «ZeRO: Оптимизация памяти для обучения триллиону моделей параметров» (PDF). Цитировать журнал требует
| журнал =(помощь)
внешняя ссылка
- ИИ в масштабе - Microsoft Research
- GitHub - Microsoft / DeepSpeed
- ZeRO и DeepSpeed: новые оптимизации системы позволяют обучать модели с более чем 100 миллиардами параметров - Microsoft Research
Категория | Эта статья о программном обеспечении, созданном или произведенном Microsoft это заглушка. Вы можете помочь Википедии расширяя это. |