Yahoo Sherpa - Yahoo Sherpa

Шерпа

Разработчики)	Yahoo!
Написано в	C ++, PHP
Операционная система	Linux
Тип	хранилище ключей и значений

Шерпа является Yahoo! следующее поколение облачное хранилище Платформа. Это размещенная, распределенная и географически реплицированная пара "ключ-значение". хранилище данных. Это NoSQL система, разработанная Yahoo !, для обеспечения масштабируемости, доступности и задержка потребности Yahoo! веб-сайты. У Sherpa есть такие возможности, как эластичный рост, мультитенантность, глобальный охват для локального доступа с малой задержкой, асинхронная репликация, Изобразительное State Transfer API веб-служб на основе (REST), новые регуляторы согласованности для каждой записи, высокая доступность, сжатие, вторичные индексы и репликация на уровне записей.

Архитектура

Sherpa - это мультитенантная система. Приложение может хранить данные в таблице, которая представляет собой набор записей. Стол это сегментированный на более мелкие кусочки, называемые таблетками. Данные сегментируются на основе хеш-значение ключа или диапазона. Таблетки хранятся на узлах, называемых блоками хранения. Уровень программной маршрутизации отслеживает сопоставление между планшетами приложений и устройствами хранения. Приложения отправляют запросы на маршрутизатор, который перенаправляет их в нужное хранилище на основе карты планшета. Клиенты могут получать, устанавливать, удалять и сканировать записи с помощью уникальных первичных ключей записи.

Модель данных

Модель данных Sherpa - это хранилище ключей и значений, в котором данные хранятся как JSON капли. Данные организованы в таблицы, в которых может быть применена уникальность первичного ключа, но кроме этого нет фиксированных схем. Он поддерживает сканирование одной таблицы с предикатами. Клиенты могут выбрать различные типы столов: распределенная хеш-таблица, распределенная упорядоченная таблица, а также освоенные и объединяющие таблицы. Шаблоны доступа для конкретных приложений определяют пригодность каждого типа таблицы. Шаблоны запросов влияют на определение ключа.

Функции

Масштабируемость

Sherpa масштабируется путем разделения данных: разделы данных называются таблетки. Каждая определяемая пользователем таблица разбита на планшеты. Таким образом, планшеты являются одновременно единицами рабочего назначения и аренды. Каждая таблетка содержит ряд записей. Sherpa может масштабироваться до очень большого количества таблиц, табличек и записей.

Эластичность

Система масштабируется по горизонтали по мере добавления новых машин без простоев приложений. Другие операции эластичности включают назначение, переназначение и разделение разделов данных.

Отказоустойчивость

Данные автоматически реплицируются на несколько узлов для Отказоустойчивость. Репликация в нескольких центрах обработки данных. Отказ одного узла прозрачен для приложений. Sherpa полагается на надежное сообщение о транзакции автобус для тиражирования транзакций. Эта шина сообщений гарантирует доставку сообщений транзакции хотя бы один раз.

Настраиваемая согласованность

Sherpa поддерживает различные уровни согласованности, начиная от согласованности временной шкалы для каждой записи, когда все записи сериализуются в главную копию, до возможная последовательность.

Выборочная репликация записей

Репликация детализация происходит на уровнях записей и таблиц.

Резервный

Функция резервного копирования позволяет сохранять несколько старых копий полной таблицы в не в сети место хранения. Из этого автономного хранилища клиенты могут получать старые версии отдельных записей.

Вторичные индексы

Многим приложениям требуется доступ к данным через поля данных непервичного ключа. Sherpa поддерживает асинхронные вторичные индексы.

Рекомендации

внешняя ссылка

• «Архитектура PNUTS». CiteSeerX  10.1.1.141.68.
• Обновление шерпа
• Сеть разработчиков Yahoo
• Рост и масштаб Sherpa