Пакетный буфер - Burst buffer

в высокопроизводительные вычисления среда, пакетный буфер это быстрый и промежуточный уровень хранения, расположенный между интерфейсом вычислительные процессы и бэкэнд системы хранения. Это своевременное решение для хранения данных, позволяющее преодолеть постоянно растущий разрыв в производительности между скоростью обработки вычислительных узлов и Ввод, вывод (I / O) пропускная способность систем хранения. Буфер пакетов построен из массивов высокопроизводительных запоминающих устройств, таких как NVRAM и SSD. Обычно он предлагает на один-два порядка большую пропускную способность ввода-вывода, чем серверные системы хранения.

Сценарии использования

Появление пакетного буфера способствует появлению широкого спектра решений на основе пакетного буфера, которые ускоряют перемещение научных данных по суперкомпьютеры. Например, жизненные циклы научных приложений обычно чередуются между фазами вычислений и фазами ввода-вывода.[1] А именно, после каждого раунда вычислений (т. Е. Фазы вычислений) все вычислительные процессы одновременно записывают свои промежуточные данные в серверные системы хранения (т. Е. Фаза ввода-вывода), за которой следует еще один раунд операций вычислений и перемещения данных. Благодаря развертыванию пакетного буфера процессы могут быстро записывать свои данные в пакетный буфер после одного раунда вычислений вместо записи в медленные системы хранения на основе жесткого диска и сразу же переходить к следующему этапу вычислений, не дожидаясь перемещения данных. к внутренним системам хранения;[2][3] затем данные асинхронно сбрасываются из буфера пакетов в системы хранения одновременно со следующим циклом вычислений. Таким образом, длительное время ввода-вывода, затрачиваемое на перемещение данных в системы хранения, скрывается за временем вычислений. Кроме того, буферизация данных в пакетном буфере также дает приложениям множество возможностей для изменения потока данных к внутренним системам хранения данных для эффективного использования полосы пропускания систем хранения.[4][5] В другом распространенном случае научные приложения могут помещать свои промежуточные данные в буфер пакетов и из него, не взаимодействуя с более медленными системами хранения. Обход систем хранения позволяет приложениям получить большую часть выигрыша в производительности от пакетного буфера.[6]

Типичные архитектуры пакетного буфера

В среде высокопроизводительных вычислений существует две типичных архитектуры буферов пакетов: локальный для узла буфер пакетов и удаленный общий буфер пакетов. В архитектуре буфера пакетов с локальным узлом хранилище буфера пакетов размещается на отдельном вычислительном узле, поэтому совокупная полоса пропускания буфера пакетов растет линейно с увеличением количества вычислительных узлов. Этот масштабируемость Польза хорошо документирована в недавней литературе.[7][8][9][10] Это также связано с потребностью в масштабируемой стратегии управления метаданными для поддержания глобального пространства имен для данных, распределенных по всем пакетным буферам.[11][12] В архитектуре удаленного общего буфера пакетов хранилище буферов пакетов находится на меньшем количестве узлов ввода-вывода, расположенных между вычислительными узлами и внутренними системами хранения. Перемещение данных между вычислительными узлами и буфером пакетов должно происходить по сети. Размещение буфера пакетов на узлах ввода-вывода упрощает независимую разработку, развертывание и обслуживание службы буфера пакетов. Следовательно, для управления этим типом пакетного буфера было разработано несколько хорошо известных коммерческих программных продуктов, таких как DataWarp и Infinite Memory Engine. Поскольку будущие суперкомпьютеры будут развертываться с несколькими разнородными уровнями буфера пакетов, такими как NVRAM на вычислительных узлах и твердотельные накопители на выделенных узлах ввода-вывода, растет интерес к разработке и внедрению унифицированного программного решения, которое прозрачно перемещается. данные на нескольких уровнях хранения.[13][14][15]

Суперкомпьютеры с пакетным буфером

Из-за своей важности буфер пакетов получил широкое распространение на ведущих суперкомпьютерах. Например, буфер пакетов локального узла был установлен на суперкомпьютере DASH в Суперкомпьютерный центр Сан-Диего,[16] Цубаме суперкомпьютеры в Токийский технологический институт, Тета и Аврора суперкомпьютеры на Аргоннская национальная лаборатория, Саммит суперкомпьютер на Национальная лаборатория Окриджа, и суперкомпьютер Sierra на Национальная лаборатория Лоуренса Ливермора и т. д. Удаленный общий пакетный буфер был принят Тяньхэ-2 суперкомпьютер на Национальный суперкомпьютерный центр в Гуанчжоу, Суперкомпьютер Тринити на Лос-Аламосская национальная лаборатория, Суперкомпьютер Cori на Национальная лаборатория Лоуренса Беркли и суперкомпьютер ARCHER2 на Эдинбургский центр параллельных вычислений.

Рекомендации

  1. ^ Лю, Чжо; Лофстед, Джей; Ван, Тэн; Ю, Вэйкуань (сентябрь 2013 г.). «Пример общесистемного управления питанием для научных приложений». Международная конференция IEEE по кластерным вычислениям (CLUSTER), 2013 г.. IEEE. С. 1–8. Дои:10.1109 / CLUSTER.2013.6702681. ISBN  978-1-4799-0898-1.
  2. ^ Ван, Тэн; Орал, Сарп; Ван, Яньдун; Сеттлмайер, Брэд; Атчли, Скотт; Ю, Вэйкуань (октябрь 2014 г.). «BurstMem: высокопроизводительная буферная система для научных приложений». Международная конференция IEEE 2014 по большим данным (Big Data). IEEE. С. 71–79. Дои:10.1109 / BigData.2014.7004215. ISBN  978-1-4799-5666-1.
  3. ^ Лю, Нин; Коп, Джейсон; Карнс, Филип; Карозерс, Кристофер; Росс, Роберт; Грайдер, Гэри; Крум, Адам; Мальцан, Карлос (апрель 2012 г.). «О роли пакетных буферов в системах хранения высшего класса». 012 28-й симпозиум IEEE по системам и технологиям запоминающих устройств (MSST). IEEE. С. 1–11. Дои:10.1109 / MSST.2012.6232369. ISBN  978-1-4673-1747-4.
  4. ^ Ван, Тэн; Орал, Сарп; Причард, Майкл; Ван, Бин; Ю, Вэйкуань (сентябрь 2015 г.). «TRIO: оркестровка ввода-вывода на основе буфера пакетов». Международная конференция IEEE по кластерным вычислениям, 2015 г.. IEEE. С. 194–203. Дои:10.1109 / CLUSTER.2015.38. ISBN  978-1-4673-6598-7.
  5. ^ Кугкас, Энтони; Дорье, Матье; Лэтам, Роб; Росс, Роб; Сунь, Сиань-Хэ (март 2017 г.). «Использование координации буфера пакетов для предотвращения интерференции ввода-вывода». 12-я Международная конференция IEEE по электронной науке (E-Science), 2016 г.. IEEE. С. 371–380. Дои:10.1109 / eScience.2016.7870922. ISBN  978-1-5090-4273-9. OSTI  1366308.
  6. ^ Ван, Тэн; Морор, Кэтрин; Муди, Адам; Сато, Кенто; Ю, Вэйкуань (ноябрь 2016 г.). "Эфемерная файловая система с буфером пакетов для научных приложений". SC16: Международная конференция по высокопроизводительным вычислениям, сетям, хранилищам и анализу. IEEE. С. 807–818. Дои:10.1109 / SC.2016.68. ISBN  978-1-4673-8815-3.
  7. ^ "BurstFS: Файловая система с распределенным буфером пакетов для научных приложений" (PDF). Ноябрь 2015 г.
  8. ^ Муди, Адам; Броневецкий, Грег; Морор, Кэтрин; Супински, Бронис Р. де (ноябрь 2010 г.). «Дизайн, моделирование и оценка масштабируемой многоуровневой системы контрольных точек». 2010 Международная конференция ACM / IEEE по высокопроизводительным вычислениям, сетям, системам хранения и анализа. ACM. С. 1–11. Дои:10.1109 / SC.2010.18. ISBN  978-1-4244-7557-5.
  9. ^ "Файловая система 1 ПБ / с для проверки трех миллионов задач MPI" (PDF). ACM. Июнь 2013.
  10. ^ Чжао, Дунфан; Чжан, Чжао; Чжоу, Сяобин; Ли, Тонглинь; Ван, Кэ; Kimpe, Dries; Карнс, Филип; Росс, Роберт; Райку, Иоан (октябрь 2014 г.). «FusionFS: на пути к поддержке научных приложений с интенсивным использованием данных в сверхмасштабных высокопроизводительных вычислительных системах». Международная конференция IEEE 2014 по большим данным (Big Data). IEEE. С. 61–70. Дои:10.1109 / BigData.2014.7004214. ISBN  978-1-4799-5666-1.
  11. ^ Ван, Тэн; Муди, Адам; Чжу, Юэ; Морор, Кэтрин; Сато, Кенто; Ислам, Танзима; Ю, Вэйкуань (май 2017 г.). «MetaKV: хранилище ключей и значений для управления метаданными распределенных буферов пакетов». IEEE International Parallel and Distributed Processing Symposium, 2017 г. (IPDPS). IEEE. С. 1174–1183. Дои:10.1109 / IPDPS.2017.39. ISBN  978-1-5386-3914-6.
  12. ^ Ли, Тонглинь; Чжоу, Сяобин; Брандстаттер, Кевин; Чжао, Дунфан; Ван, Кэ; Раджендран, Анупам; Чжан, Чжао; Райку, Иоан (май 2013 г.). "ZHT: легкая, надежная, постоянная динамическая масштабируемая распределенная хеш-таблица с нулевым переходом". 27-й Международный симпозиум IEEE по параллельной и распределенной обработке, 2013 г.. IEEE. С. 775–787. CiteSeerX  10.1.1.365.7329. Дои:10.1109 / IPDPS.2013.110. ISBN  978-1-4673-6066-1.
  13. ^ Ван, Тэн; Бына, Сурен; Донг, Бин; Тан, Ходжун (сентябрь 2018 г.). «UniviStor: интегрированное иерархическое и распределенное хранилище для высокопроизводительных вычислений». Международная конференция IEEE по кластерным вычислениям (CLUSTER) 2018 г.. IEEE. С. 134–144. Дои:10.1109 / CLUSTER.2018.00025. ISBN  978-1-5386-8319-4.
  14. ^ «Гермес: многоуровневая распределенная буферизация ввода-вывода с учетом гетерогенности». ACM. Июнь 2018 г. Дои:10.1145/3208040.3208059. Цитировать журнал требует | журнал = (помощь)
  15. ^ Тан, Ходжун; Бына, Сурен; Тессье, Франсуа; Ван, Тэн; Донг, Бин; Му, Цзинцин; Козиол, Куинси; Сумань, Джером; Вишванатх, Венкатрам; Лю, Цзялинь; Уоррен, Ричард (май 2018 г.). «На пути к масштабируемому и асинхронному объектно-ориентированному управлению данными для высокопроизводительных вычислений». 18-й Международный симпозиум IEEE / ACM по кластерным, облачным и сетевым вычислениям (CCGRID) 2018 г.. IEEE. С. 113–122. Дои:10.1109 / CCGRID.2018.00026. ISBN  978-1-5386-5815-4.
  16. ^ «DASH: рецепт суперкомпьютера с интенсивным использованием данных на базе Flash» (PDF). ACM. Ноябрь 2010 г.

внешняя ссылка

  • Cray DataWarp, буферная система для производственных пакетов, разработанная Cray.
  • Бесконечная память, производственная система буферизации пакетов, разработанная Data Direct Network.
  • Суперкомпьютер Theta, суперкомпьютер, размещенный в Аргоннской национальной лаборатории.
  • Суперкомпьютер Summit, суперкомпьютер, размещенный в Национальной лаборатории Ок-Ридж.
  • Суперкомпьютер Sierra, суперкомпьютер, размещенный в Национальной лаборатории Лоуренса.
  • Суперкомпьютер Trinity, суперкомпьютер, размещенный в Национальной лаборатории Лос-Аламоса.
  • Суперкомпьютер Cori, суперкомпьютер, размещенный в Национальной лаборатории Лоуренса Беркли.