Apache Airflow - Apache Airflow

Apache Airflow
Логотип Apache Airflow
Оригинальный автор (ы)Максим Бошемин / Airbnb
Разработчики)Фонд программного обеспечения Apache
изначальный выпуск3 июня 2015 г.; 5 лет назад (2015-06-03)
Стабильный выпуск
1.10.11 / 10 июля 2020 г.; 4 месяца назад (2020-07-10)
Репозиторий
Отредактируйте это в Викиданных
Написано вPython
Операционная системаМайкрософт Виндоус, macOS, Linux
Доступно вPython
ТипПлатформа управления рабочим процессом
ЛицензияЛицензия Apache 2.0
Интернет сайтпоток воздуха.apache.org

Apache Airflow является Открытый исходный код платформа управления рабочим процессом. Это началось в Airbnb в октябре 2014 г.[1] как решение для управления все более сложными рабочими процессами компании. Создание Airflow позволило Airbnb программно создавать и планировать свои рабочие процессы и отслеживать их с помощью встроенного Airflow. пользовательский интерфейс.[2][3] С самого начала проект был сделан с открытым исходным кодом, став Инкубатор Apache в марте 2016 года и на высшем уровне Фонд программного обеспечения Apache проект в январе 2019 года.

Воздушный поток написан на Python, а рабочие процессы создаются с помощью скриптов Python. Воздушный поток разработан по принципу «конфигурация как код». В то время как другие платформы рабочего процесса «конфигурация как код» существуют с использованием таких языков разметки, как XML, использование Python позволяет разработчикам импортировать библиотеки и классы, чтобы помочь им создавать свои рабочие процессы.

Обзор

Воздушный поток использует ориентированные ациклические графы (DAG) для управления оркестровкой рабочего процесса. Задачи и зависимости определены в Python, а затем Airflow управляет планированием и выполнением. Группы DAG могут запускаться либо по определенному расписанию (например, ежечасно или ежедневно), либо на основе триггеров внешних событий (например, файл появляется в Улей[4]). Предыдущие планировщики на основе DAG, такие как Oozie и Азкабан, как правило, полагался на несколько файлы конфигурации и деревья файловой системы для создания DAG, тогда как в Airflow DAG часто можно записать в один файл Python.[5]

Управляемые провайдеры

Два известных провайдера предлагают дополнительные услуги для основного проекта с открытым исходным кодом. Астроном построил SaaS инструмент и Kubernetes -развертываемый стек Airflow, который помогает с мониторингом, предупреждениями, DevOps и управлением кластером.[6] Cloud Composer - это управляемая версия Airflow, работающая на Облачная платформа Google (GCP) и хорошо интегрируется с другими сервисами GCP.[7]

Смотрите также

использованная литература

  1. ^ "Apache Airflow". Apache Airflow. В архиве с оригинала 12 августа 2019 г.. Получено 30 сентября, 2019.
  2. ^ Бошемин, Максим (2 июня 2015 г.). «Airflow: платформа для управления рабочим процессом». Средняя. В архиве с оригинала 13 августа 2019 г.. Получено 30 сентября, 2019.
  3. ^ "Поток воздуха". В архиве с оригинала 6 июля 2019 г.. Получено 30 сентября, 2019.
  4. ^ Тренчени, Мартон (16 января 2016 г.). «Обзор воздушного потока». BytePawn. В архиве с оригинала 28 февраля 2019 г.. Получено 1 октября, 2019.
  5. ^ "AirflowProposal". Фонд программного обеспечения Apache. 28 марта 2019 г.,. Получено 1 октября, 2019.
  6. ^ Липп, Кэсси (13 июля 2018 г.). «Астроном теперь является компанией Apache Airflow». американинно. Получено 18 сентября, 2019.
  7. ^ «Google запускает Cloud Composer, новый инструмент автоматизации рабочего процесса для разработчиков». TechCrunch. Получено 2019-09-18.

внешние ссылки