XGBoost - XGBoost

XGBoost
XGBoost logo.png
Разработчики)Авторы XGBoost
изначальный выпуск27 марта 2014 г.; 6 лет назад (2014-03-27)
Стабильный выпуск
1.2.1[1] / 13 октября 2020 г.; 2 месяца назад (2020-10-13)
Репозиторий
Отредактируйте это в Викиданных
Написано вC ++
Операционная системаLinux, macOS, Windows
ТипМашинное обучение
ЛицензияЛицензия Apache 2.0
Интернет сайтxgboost.ai

XGBoost[2] является Открытый исходный код библиотека программного обеспечения что обеспечивает повышение градиента рамки для C ++, Ява,Python,[3]р,[4]Юля,[5]Perl,[6] и Scala.Это работает на Linux,Windows,[7] иmacOS.[8] Судя по описанию проекта, он призван предоставить «масштабируемую, портативную и распределенную библиотеку повышения градиента (GBM, GBRT, GBDT)». Он работает на одной машине, а также в средах распределенной обработки. Apache Hadoop, Apache Spark, и Apache Flink В последнее время он приобрел большую популярность и внимание как алгоритм выбора многих команд-победителей соревнований по машинному обучению.[9]

История

Первоначально XGBoost начинался как исследовательский проект Тяньци Чена.[10] в составе группы сообщества распределенного (глубокого) машинного обучения (DMLC). Изначально он начинался как терминальное приложение, которое можно было настроить с помощью libsvm конфигурационный файл. Он стал хорошо известен в кругах соревнований по машинному обучению после его использования в победившем решении задачи машинного обучения Хиггса. Вскоре после этого были созданы пакеты Python и R, и теперь у XGBoost есть реализации пакетов для Java, Scala, Юля, Perl, и другие языки. Это привлекло к библиотеке больше разработчиков и способствовало ее популярности среди Kaggle сообщество, где он использовался для большого количества соревнований.[9]

Вскоре он был интегрирован с рядом других пакетов, что упростило использование в соответствующих сообществах. Теперь он интегрирован с scikit-learn за Python пользователей и с каретка пакет для р пользователей. Он также может быть интегрирован в структуры потока данных, такие как Apache Spark, Apache Hadoop, и Apache Flink используя абстрактный Rabit[11] и XGBoost4J.[12] XGBoost также доступен на OpenCL за ПЛИС.[13] Эффективная масштабируемая реализация XGBoost была опубликована Тианки Ченом и Карлосом Гестрином.[14]

Функции

Основные особенности XGBoost, которые отличают его от других алгоритмов повышения градиента, включают:[15][16][17]

Награды

  • Джон Чемберс Награда (2016)[18]
  • Физика высоких энергий встречает награду за машинное обучение (HEP встречает ML) (2016)[19]

Смотрите также

Рекомендации

  1. ^ «Выпуск 1.2.1 · dmlc / xgboost». GitHub. Получено 2020-08-08.
  2. ^ "Веб-страница проекта GitHub".
  3. ^ "Индекс пакета Python PYPI: xgboost". Получено 2016-08-01.
  4. ^ "CRAN пакет xgboost". Получено 2016-08-01.
  5. ^ "Список пакетов Julia xgboost". Получено 2016-08-01.
  6. ^ "Модуль CPAN AI :: XGBoost". Получено 2020-02-09.
  7. ^ «Установка XGBoost для Anaconda в Windows». Получено 2016-08-01.
  8. ^ «Установка XGBoost в Mac OSX». Получено 2016-08-01.
  9. ^ а б «XGBoost - решения, победившие в ML (неполный список)». Получено 2016-08-01.
  10. ^ «История и уроки эволюции XGBoost». Получено 2016-08-01.
  11. ^ "Rabit - надежный интерфейс Allreduce и вещания". Получено 2016-08-01.
  12. ^ "XGBoost4J". Получено 2016-08-01.
  13. ^ «XGBoost на ПЛИС». Получено 2019-08-01.
  14. ^ Чен, Тяньци; Гестрин, Карлос (2016). «XGBoost: масштабируемая система повышения качества дерева». В Кришнапураме, Баладжи; Шах, Мохак; Смола, Александр Дж .; Aggarwal, Charu C .; Шен, Доу; Растоги, Раджив (ред.). Материалы 22-й Международной конференции ACM SIGKDD по открытию знаний и интеллектуальному анализу данных, Сан-Франциско, Калифорния, США, 13-17 августа 2016 г.. ACM. С. 785–794. arXiv:1603.02754. Дои:10.1145/2939672.2939785.
  15. ^ Ганди, Рохит (24 мая 2019 г.). «Повышение градиента и XGBoost». Середина. Получено 2020-01-04.
  16. ^ «Алгоритм повышения: XGBoost». К науке о данных. 2017-05-14. Получено 2020-01-04.
  17. ^ «Укрепление дерева с помощью XGBoost - почему XGBoost побеждает на всех соревнованиях по машинному обучению?». Синхронизировано. 2017-10-22. Получено 2020-01-04.
  18. ^ «Предыдущие победители премии Джона Чемберса». Получено 2016-08-01.
  19. ^ «HEP встречает награду ML». Получено 2016-08-01.