Апач Килин - Apache Kylin

Апач Килин
Логотип Apache Kylin
Разработчики)Комитет Apache Kylin
изначальный выпуск10 июня 2015 г.; 5 лет назад (2015-06-10)[1]
Стабильный выпуск
3.1.0 / 2 июля 2020 г.; 5 месяцев назад (2020-07-02)[2]
Предварительный выпуск
4.0.0-alpha / 13 сентября 2020 г.; 2 месяца назад (2020-09-13)[3]
РепозиторийРепозиторий Kylin
Написано вЯва
ЛицензияЛицензия Apache 2.0
Интернет сайтКилин.apache.org

Апач Килин является Открытый исходный код механизм распределенной аналитики, предназначенный для обеспечения SQL интерфейс и многомерный анализ (OLAP) на Hadoop и Alluxio поддержка очень больших наборов данных.

Первоначально он был разработан eBay, и теперь это проект Фонд программного обеспечения Apache.[4]

История

Проект Kylin был запущен в 2013 году в отделе исследований и разработок eBay в Шанхае, Китай. В октябре 2014 года на github.com был открыт исходный код Kylin v0.6 под названием «KylinOLAP».[5]

В ноябре 2014 года Кайлин присоединился к инкубатору Apache Software Foundation.

В декабре 2015 года Apache Kylin получил статус проекта высшего уровня.[4]

В марте 2016 года создателями Apache Kylin была основана компания Kyligence, Inc.[6][7] Kyligence предоставляет коммерческую аналитическую платформу на основе Apache Kylin для локальных и облачных наборов данных.[8]

Архитектура

Apache Kylin построен на основе Apache Hadoop, Apache Hive, Apache HBase, Apache Parquet, Apache Calcite, Apache Spark и других технологий.[9] Эти технологии позволяют Kylin легко масштабироваться для поддержки больших объемов данных.[10]

Kylin имеет следующие основные компоненты:[11][9]

  • Сервер REST: получение и ответ на запросы пользователя или API
  • Метаданные: постоянная и управляемая система, особенно метаданные куба;
  • Механизм запросов: анализируйте SQL-запросы в соответствии с планом выполнения, а затем общайтесь с механизмом хранения;
  • Механизм хранения: развертывание и сканирование базового хранилища кубов (по умолчанию в HBase);
  • Механизм заданий: создание и выполнение задания MapReduce или Spark для создания исходных данных в кубе;

Пользователи

Apache Kylin был принят многими компаниями в качестве своей OLAP-платформы в производстве. Типичные пользователи: eBay, Meituan, XiaoMi, NetEase, Beike, Yahoo! Япония.

Дорожная карта

Дорожная карта Apache Kylin (с веб-сайта Kylin[12]):

  • Поддержка Hadoop 3.0 (Erasure Coding) - завершена (v2.5)
  • Полностью на движке Spark Cube - завершено (v2.5)
  • Подключить больше источников данных (MySQL, Oracle, SparkSQL и т. Д.) - завершено (v2.6)
  • Аналитика в реальном времени с помощью Lambda Architecture - завершено (v3.0)
  • Собственное облачное хранилище (Parquet) - в процессе (v4.0.0-alpha)
  • Специальные запросы без кубинга

Рекомендации

  1. ^ «Предыдущий выпуск». v0.7.1-инкубация (первый выпуск Apache). Получено 15 июн 2019.
  2. ^ «Предыдущий выпуск». v3.1.0. Получено 30 сентября 2020.
  3. ^ «Apache Kylin - Примечания к выпуску». v4.0.0-альфа. Получено 30 сентября 2020.
  4. ^ а б Фонд программного обеспечения Apache. «Apache Software Foundation объявляет Apache ™ Kylin ™ проектом высшего уровня», 8 декабря 2015
  5. ^ «Представляем Kylin: Extreme OLAP Engine для больших данных». www.ebayinc.com. 2014-10-20. Получено 2018-11-08.
  6. ^ "Apache Kylin глазами основателей - Часть первая". Kyligence. 2020-06-12. Получено 2020-09-30.
  7. ^ «Платформа аналитики больших данных | Подробнее о Kyligence». Kyligence. Получено 2020-09-30.
  8. ^ «Платформа аналитики больших данных: Apache Kylin против Kyligence». Kyligence. Получено 2020-09-30.
  9. ^ а б "Apache Kylin | Хранилище аналитических данных для больших данных". kylin.apache.org. Получено 2020-09-30.
  10. ^ Кнорр, Эрик (2016-03-07). «Как выглядит eBay изнутри». InfoWorld. Получено 2020-09-30.
  11. ^ «Apache Kylin добавляет OLAP в реальном времени». www.i-programmer.info. Получено 2020-09-30.
  12. ^ Килин, Апач. «Apache Kylin | Краткое руководство по разработке». kylin.apache.org. Получено 2020-09-30.