AutoAI - AutoAI

Автоматизированный искусственный интеллект (AutoAI) это вариант автоматизированное машинное обучение, или AutoML, технология, которая расширяет автоматизацию построения моделей до автоматизации полного жизненного цикла модели машинного обучения. Он применяет интеллектуальную автоматизацию к задаче строительства предсказательный модели машинного обучения, подготавливая данные для обучения, определяя лучший тип модели для заданных данных, затем выбирая функции или столбцы данных, которые наилучшим образом поддерживают проблему, которую решает модель. Наконец, автоматизация тестирует множество вариантов настройки для достижения наилучшего результата при создании, а затем ранжировании конвейеров модели-кандидата. Наиболее эффективные конвейеры могут быть запущены в производство для обработки новых данных и предоставления прогнозов на основе обучения модели.[1] Автоматизированный искусственный интеллект также может применяться для того, чтобы убедиться, что модель не имеет врожденной систематической ошибки, и автоматизировать задачи для постоянного улучшения модели.

Группа автоматизированного машинного обучения и анализа данных (AMLDS),[2] небольшая команда в рамках IBM Research, которая была сформирована, чтобы «применять методы из Искусственный интеллект (AI), Машинное обучение (ML) и управление данными для ускорения и оптимизации создания рабочих процессов машинного обучения и обработки данных », - считает, что способствовало развитию AutoAI.

Пример использования

Типичный вариант использования AutoAI - это обучение модели для прогнозирования реакции клиентов на стимулы к продажам. Модель сначала обучается на реальных данных о том, как клиенты отреагировали на продвижение. Представленная с новыми данными, модель может дать прогноз того, как новый клиент может отреагировать, с оценкой достоверности прогноза. До появления AutoML специалистам по обработке данных приходилось создавать эти прогностические модели вручную, тестируя различные комбинации алгоритмов, а затем проверяя, насколько прогнозы сравниваются с фактическими результатами. Если AutoML автоматизировал некоторые процессы подготовки данных для обучения, применения алгоритмов для обработки данных и последующей оптимизации результатов, AutoAI обеспечивает более интеллектуальную автоматизацию, которая позволяет тестировать значительно большее количество комбинаций факторов для создания конвейеров-кандидатов в модели, которые более точно отражают и заняться решаемой проблемой. После создания модель можно протестировать на предмет предвзятости и обновить для повышения производительности.

Процесс AutoAI

Поток процесса AutoIA

Пользователь инициирует процесс, предоставляя набор обучающих данных и идентифицируя столбец прогнозирования, который устанавливает проблему, которую необходимо решить. Например, столбец прогноза может содержать возможные значения «да» или «нет» в ответ на предложенный стимул. в данные предварительная обработка Этап AutoAI применяет многочисленные алгоритмы или средства оценки для анализа, очистки (например, удаления избыточной информации или вменения недостающих данных) и подготовки структурированных необработанных данных для машинного обучения (ML).

Следующий автоматический выбор модели который сопоставляет данные с типом модели, таким как классификация или регресс. Например, если в столбце прогноза есть только два типа данных, AutoAI готовится к построению модели двоичной классификации. Если существует неизвестный набор возможных ответов, AutoAI подготавливает регрессионную модель, которая использует другой набор алгоритмов или преобразований для решения проблем. AutoAI оценивает алгоритмы-кандидаты после тестирования небольших подмножеств информации, постепенно увеличивая размер подмножества для алгоритмов, которые становятся наиболее перспективными для достижения наилучшего соответствия. Этот процесс итеративного и инкрементного машинного обучения - это то, что отличает AutoAI от более ранних версий AutoML.

Разработка функций преобразует необработанные данные в комбинацию, которая представляет проблему, чтобы получить наиболее точный прогноз. Частью этого процесса является оценка того, как данные в источнике обучающих данных могут наилучшим образом поддержать точный прогноз. С помощью алгоритмы, он оценивает одни данные как более важные, чем другие, для достижения желаемого результата. AutoAI автоматизирует рассмотрение множества вариантов построения функций в неисчерпывающей, структурированной манере, в то же время постепенно максимизируя точность модели с помощью обучения с подкреплением. Это является результатом оптимизированной последовательности информации и преобразований данных, которая соответствует лучшим алгоритмам этапа, включающего выбор модели.

Наконец, AutoAI применяет оптимизация гиперпараметров шаг для уточнения и продвижения наиболее эффективных модельных конвейеров. Конвейеры - это кандидаты в модели, которые оцениваются и ранжируются по таким показателям, как точность и точность. В конце процесса пользователь может просмотреть конвейеры и выбрать конвейер или конвейеры для запуска в производство для получения прогнозов на основе новых данных.

История

В августе 2017 года AMLDS объявили, что изучают возможность использования автоматизированной разработки функций, чтобы исключить догадки в науке о данных.[3] Члены AMDLS Удаян Хурана, Хорст Самуловиц, Грегори Брамбл, Дипак Торага и Питер Киршнер, а также Фатема Наргезиан из Университета Торонто и Элиас Халил из Технологического института Джорджии представили свои предварительные исследования на IJCAI в том же году.[4]

Их метод, получивший название «разработка функций на основе обучения», изучил корреляции между распределениями функций, целевыми распределениями и преобразованиями, построил метамодели, которые использовали прошлые наблюдения для прогнозирования жизнеспособных преобразований, и обобщил тысячи наборов данных, охватывающих различные области. Чтобы обратиться к векторам признаков разного размера, он использовал Quantile Sketch Array, чтобы уловить существенный характер признака.[4]

В 2018 году IBM Research объявила Глубокое обучение как услуга, которая открыла популярные библиотеки глубокого обучения, такие как Caffe, Torch и TensorFlow, разработчикам в облаке.[5] AMLDS продолжили свою работу и использовали ее в хорошо известных Kaggle соревнование.[6] Он попал в первую десятку процентов.[7] Жан-Франсуа Пюже, доктор философии, выдающийся инженер, специализирующийся на машинном обучении (ML) и оптимизации в IBM, принял участие в конкурсе. Он узнал и решил быть готовым к IBM AI и платформам для обработки данных, таким как IBM Watson.[8] В декабре 2018 года IBM Research анонсировала NeuNetS, новую возможность, которая позволяет автоматизировать синтез модели нейронной сети как часть автоматизированной разработки и развертывания модели ИИ.[9]

В «Платформе на основе ADMM для конфигурации конвейера AutoML» AAAI В исследовательской статье 2020 года авторы Сиджиа Лю, Парикшит Рам, Джаллель Бунеффуф, Дипак Виджайкирти, Грегори Брамбл, Хорст Самуловиц, Дакуо Ван, Эндрю Р. Конн и Александр Грей предложили метод для AutoML, в котором метод переменного направления множителей (ADMM) для настройки нескольких этапов конвейера машинного обучения, таких как преобразования, проектирование и выбор функций, а также прогнозное моделирование.[10] Это был первый зарегистрированный случай, когда IBM Research публично применила термин «Авто» к машинному обучению.

AutoAI: эволюция AutoML

2019 год был годом, когда AutoML стала более широко обсуждаться как концепция. «Forrester New Wave ™: решения для машинного обучения, ориентированные на автоматизацию, второй квартал 2019 года», оценивая решения AutoML и обнаружив, что более мощные версии предлагают разработку функций.[11] В отчете Gartner Technical Professional Advice за август 2019 года сообщается, что на основе их исследования AutoML может улучшить науку о данных и машинное обучение. Они описали AutoML как автоматизацию подготовки данных, проектирования функций и моделирования.[12]

AutoAI - это эволюция AutoML. Один из основных изобретателей AutoAI, Жан-Франсуа Пьюже, доктор философии, описывает его как автоматическое выполнение подготовки данных, разработку функций, выбор алгоритма машинного обучения и оптимизацию гиперпараметров для поиска наилучшей модели машинного обучения.[8] Алгоритм оптимизации гиперпараметров, используемый в AutoAI, отличается от настройки гиперпараметров AutoML. Алгоритм оптимизирован для оценки функции затрат, такой как обучение модели и скоринг, которые типичны для машинного обучения, что обеспечивает быструю сходимость к хорошему решению, несмотря на то, что время оценки каждой итерации является длительным.[1]

Ученые из IBM Research опубликовали статью «На пути к автоматизации жизненного цикла операций с ИИ»,[13] в котором описаны преимущества и доступные технологии для большей автоматизации процесса с целью ограничения участия человека, необходимого для создания, тестирования и обслуживания приложения машинного обучения. Однако некоторые HCI Исследователи утверждают, что приложение машинного обучения и его рекомендации неизбежно принимаются людьми, принимающими решения, поэтому исключить участие человека в процессе невозможно.[14] Скорее, более прозрачный и интерпретируемый дизайн AutoAI является ключом к завоеванию доверия со стороны пользователей, но сам такой дизайн является довольно сложной задачей.[15]

Награды для AutoAI

  • Победитель в номинации «Лучшая инновация в области интеллектуальной автоматизации» на AIconics AI Summit (2019), Сан-Франциско.[16]
  • Победитель награды iF Design Guide за коммуникацию в программном приложении (2020)[17]

Смотрите также

использованная литература

  1. ^ а б «Обзор AutoAI». ibm.com. IBM. Получено 11 октября 2019.
  2. ^ "Команда автоматизированного машинного обучения и анализа данных [AMLDS]". ibm.com. IBM. 25 июля 2016 г.. Получено 2017-08-23.
  3. ^ «Устранение предубеждений в науке о данных с помощью автоматизированного проектирования функций на основе ИИ». ibm.com. IBM Research, Исследовательский центр Томаса Дж. Уотсона. 23 августа 2017 г.. Получено 23 августа 2017.
  4. ^ а б Хурана, Удаян; Самуловиц, Хорст; Наргезианская, Фатемех; Педапати, Теджасвини; Халил, Элиас; Брамбл, Грегори; Турага, Дипак; Киршнер, Питер. «Автоматизированная разработка признаков для прогнозного моделирования» (PDF). byu.edu. IBM Research. Получено 2017-12-31.
  5. ^ Бхаттачарджи, Бишваранджан; Боаг, Скотт; Доши, Чандани; Дубе, Париджат; Герта, Бен; Исхакян, Ваче; Jayaram, K.R .; Халаф, Рания; Кришна, Авеш; Бо Ли, Ю; Мутусами, Винод; Пури, Ручир; Рен, Юфэй; Розенберг, Флориан; Силам, Ситарами; Ван, Яньдун; Чжан, Цзянь Мин; Чжан, Ли (2017). «Служба глубокого обучения IBM». arXiv:1709.05871 [cs.DC ].
  6. ^ Бутани, Саньям. "Интервью с гроссмейстером Twice Kaggle: доктором Жан-Франсуа Пьюже (CPMP)". HackerNoon.com. Получено 25 сентября 2018.
  7. ^ «Задача отслеживания частиц TrackML, отслеживание частиц физики высоких энергий в детекторах ЦЕРН. Таблица лидеров». Kaggle.com. Kaggle. Получено 2018-09-25.
  8. ^ а б Делуа, Джулианна. «AutoAI получает награду AIconics Intelligent Automation Award: знакомьтесь с ключевым изобретателем». ibm.com. IBM. Получено 25 сентября 2019.
  9. ^ Малосси, Криштиану (18 декабря 2018 г.). «NeuNetS: автоматический синтез модели нейронной сети для более широкого внедрения ИИ». ibm.com. IBM Research. Получено 18 декабря 2018.
  10. ^ Лю, Сиджи; Рам, Парикшит; Бунефуф, Джаллель; Виджайкирти, Дипак; Брамбл, Грегори; Самуловиц, Хорст; Ван, Дакуо; Conn, Andrew R .; Грей, Александр (2019). «Формальный метод для AutoML через ADMM». arXiv:1905.00424 [cs.LG ].
  11. ^ Карлссон, Кьелл; Гуальтьери, Майк. «Новая волна Forrester: решения для машинного обучения, ориентированные на автоматизацию, второй квартал 2019 г.». forrester.com. Forrester Research. Получено 28 мая 2019.
  12. ^ Сапп, Карлтон. "Расширьте инициативы в области науки о данных с помощью AutoML". gartner.com. Gartner Research. Получено 30 августа 2019.
  13. ^ Арнольд, Мэтью; Бостон, Джеффри; Десмонд, Майкл; Дюстервальд, Эвелин; Старейшина, Вениамин; Мурти, Анупама; Навратил, Иржи; Реймер, Даррелл (2020-03-28). «На пути к автоматизации жизненного цикла операций с ИИ». arXiv:2003.12808 [cs.LG ].
  14. ^ Ван, Дакуо; Weisz, Justin D .; Мюллер, Майкл; Рам, Парикшит; Гейер, Вернер; Дуган, Кейси; Таускик, Юла; Самуловиц, Хорст; Грей, Александр (07.11.2019). «Сотрудничество человека и ИИ в науке о данных». Труды ACM по взаимодействию человека и компьютера. 3 (CSCW): 1–24. Дои:10.1145/3359313. ISSN  2573-0142.
  15. ^ Дроздал, Джейми; Вайс, Джастин; Ван, Дакуо; Дасс, Гаурав; Яо, Биншэн; Чжао, Чангруо; Мюллер, Майкл; Джу, Линь; Су, Хуэй (17 марта 2020 г.). "Доверие AutoML". Материалы 25-й Международной конференции по интеллектуальным пользовательским интерфейсам. Нью-Йорк, Нью-Йорк, США: ACM: 297–307. Дои:10.1145/3377325.3377501. ISBN  978-1-4503-7118-6.
  16. ^ Смолакс, Макс. «AIconics Awards San Francisco 2019: объявлены победители». aibusiness.com. AI Бизнес. Получено 24 сентября 2019.
  17. ^ «IBM Auto AI». iF МИРОВОЕ РУКОВОДСТВО ПО ДИЗАЙНУ. Получено 2020-04-23.