Большой стол - Bigtable

Google Bigtable
Разработчики)Google
изначальный выпускФевраль 2005 г.; 15 лет назад (2005-02)
Написано в
C ++ (ядро), Ява, Python, Идти, Рубин
ПлатформаОблачная платформа Google
ТипОблачное хранилище
ЛицензияПроприетарный
Интернет сайтоблако.google.com/большой стол/

Большой стол это сжатый, высокая производительность, проприетарный система хранения данных построена на Файловая система Google, Chubby Lock Сервис, SSTable (хранилище с лог-структурой, например LevelDB ) и несколько других Google технологии. 6 мая 2015 года публичная версия Bigtable стала доступна в качестве услуги. Bigtable также лежит в основе Google Cloud Datastore, который доступен как часть Облачная платформа Google.[1][2]

История

Разработка Bigtable началась в 2004 году.[3] и сейчас используется в ряде приложений Google, таких как веб-индексирование,[4] Уменьшение карты, который часто используется для создания и изменения данных, хранящихся в Bigtable,[5] Карты Гугл,[6] Поиск книг Google, "Моя история поиска", Гугл Земля, Blogger.com, Код Google хостинг YouTube,[7] и Gmail.[8] Причины, по которым Google разрабатывает собственную базу данных, включают масштабируемость и лучший контроль характеристик производительности.[9]

Google Гаечный ключ РСУБД построена на реализации Bigtable с Паксос группа для двухфазные коммиты к каждой таблице. Google F1 был построен с использованием Spanner для замены реализации, основанной на MySQL.[10]

дизайн

Bigtable - один из типичных примеров широкий колонный магазин. Он отображает два произвольных строковых значения (ключ строки и ключ столбца) и метку времени (отсюда трехмерное отображение) в связанный произвольный массив байтов. Это не реляционная база данных, и ее лучше определить как разреженную, распределенную многомерную отсортированную карту.[4]:1 Bigtable рассчитан на масштабирование петабайт охватывают «сотни или тысячи машин, чтобы упростить добавление дополнительных машин [в] систему и автоматическое использование этих ресурсов без какой-либо реконфигурации».[11] Например, копия сети Google может быть сохранена в большой таблице, где ключ строки - URL-адрес с обратным доменом, а столбцы описывают различные свойства веб-страницы, причем один конкретный столбец содержит саму страницу. Столбец страницы может иметь несколько версий с метками времени, описывающих разные копии веб-страницы с меткой времени, когда они были получены. Каждая ячейка большой таблицы может иметь ноль или несколько версий данных с отметками времени. Другая функция метки времени - разрешить как управление версиями и вывоз мусора просроченных данных.

Таблицы разбиты на несколько таблетки - сегменты таблицы разделены на определенные ключи строк, так что размер каждого планшета составляет несколько сотен мегабайт или несколько гигабайт. Bigtable чем-то напоминает рабочий пул mapreduce в том смысле, что от тысяч до сотен тысяч шардов планшетов могут обслуживаться от сотен до тысяч серверов BigTable. Когда размер таблицы угрожает превысить указанный предел, таблетки могут быть сжаты с использованием алгоритма BMDiff.[12][13] и алгоритм сжатия Zippy[14] общеизвестный и открытый как Мгновенный,[15] что является менее оптимальным по пространству вариантом LZ77 но более эффективен с точки зрения вычислительного времени. Расположение планшетов в GFS записывается как записи в базе данных на нескольких специальных планшетах, которые называются планшетами «META1». Таблетки META1 обнаруживаются путем запроса отдельного планшета "META0", который обычно находится на собственном сервере, поскольку клиенты часто запрашивают у него местонахождение планшета "META1", который сам отвечает на вопрос о том, где находится фактические данные находятся. Как и главный сервер GFS, сервер META0 обычно не является горлышко бутылки поскольку время процессора и полоса пропускания, необходимые для обнаружения и передачи местоположений META1, минимальны, а клиенты активно кэшируют местоположения, чтобы минимизировать количество запросов.

Смотрите также

использованная литература

  1. ^ «Представляем Google Cloud Bigtable: та же база данных, которая поддерживает Google Search, Gmail и Analytics, теперь доступна на Google Cloud Platform». Блог Google. 6 мая 2015. Получено 21 сентября 2016.
  2. ^ «Начните работу с Google Cloud Datastore - быстрой, мощной базой данных NoSQL».
  3. ^ Хичкок, Эндрю, Bigtable от Google, получено 29 июля 2007, Сначала обзор. Bigtable находится в разработке с начала 2004 г. и активно используется около восьми месяцев (примерно в феврале 2005 г.)..
  4. ^ а б Chang et al. 2006 г..
  5. ^ Chang et al. 2006 г., п. 3: «Bigtable можно использовать с MapReduce, фреймворком для крупномасштабных параллельных вычислений, разработанным в Google. Мы написали набор оболочек, которые позволяют использовать Bigtable как в качестве источника ввода, так и в качестве цели вывода для заданий MapReduce.
  6. ^ Хичкок, Эндрю, Bigtable от Google, получено 29 июля 2007, В настоящее время существует около 100 ячеек для таких сервисов, как печать, история поиска, карты и Orkut..
  7. ^ Кордес, Кайл (12 июля 2007 г.), Масштабируемость YouTube (говорить), Их новое решение для миниатюр - использование Bigtable от Google, которое обеспечивает высокую производительность для большого количества строк, отказоустойчивость, кэширование и т. Д. Это хороший (и редкий?) Пример реального взаимодействия при приобретении..
  8. ^ "Как хранятся объекты и индексы", Google App Engine, Google Code.
  9. ^ Chang et al. 2006 г., Заключение: «Мы описали Bigtable, распределенную систему для хранения структурированных данных в Google ... Нашим пользователям нравится производительность и высокая доступность, обеспечиваемая реализацией Bigtable, и то, что они могут масштабировать емкость своих кластеров, просто добавляя больше машин. к системе, поскольку их потребности в ресурсах меняются со временем ... Наконец, мы обнаружили, что создание собственного решения для хранения данных в Google дает значительные преимущества. Мы получили значительную гибкость, разработав собственную модель данных для Bigtable ».
  10. ^ Шут, Джеффри «Джефф»; Оанча, Мирча; Элльнер, Стефан; Хэнди, Бенджамин Бен; Роллинз, Эрик; Самвел, Барт; Вингралек, Радек; Уипки, Чад; Чен, Синь; Егерленер, Бит; Литтлфилд, Кайл; Тонг, Феникс (2012), «Резюме; F1 - отказоустойчивая распределенная СУБД, поддерживающая рекламный бизнес Google», Исследование (презентация), Sigmod, п. 19, Мы переместили большой и важный набор приложений из MySQL в F1..
  11. ^ "Файловая система Google и Bigtable", Радар (Всемирная сеть журнал), Database War Stories, О’Рейли, май 2006 г..
  12. ^ "Google Bigtable, Compression, Zippy и BMDiff". 12 октября 2008 г. Архивировано с оригинал 1 мая 2013 г.. Получено 14 апреля 2015..
  13. ^ Макилрой, Бентли. Сжатие данных с использованием длинных общих строк. DCC '99. IEEE. Дои:10.1109 / DCC.1999.755678..
  14. ^ "Большая таблица Google", Внешний суд (Журнал), 23 октября 2005 г..
  15. ^ "Быстрый", Код (проект).

Список используемой литературы

внешние ссылки