GPFS - GPFS

IBM Spectrum Scale
Разработчики)IBM
Полное имяIBM Spectrum Scale
Введено1998; 22 года назад (1998) с AIX
Пределы
Максимум. размер тома8 лет
Максимум. размер файла8 ЭБ
Максимум. количество файлов264 на файловую систему
Функции
Разрешения файловой системыPOSIX
Прозрачное шифрованиеда
Другой
Поддерживается операционные системыAIX, Linux, Windows Server

IBM Spectrum Scale, ранее Общая параллельная файловая система (GPFS)[1]высокопроизводительный кластерная файловая система программное обеспечение, разработанное IBM. Его можно развернуть в общий диск или ничего не поделено распределенные параллельные режимы или их комбинация. Он используется многими крупнейшими коммерческими компаниями мира, а также некоторыми суперкомпьютеры на Список 500 лучших.[2]Например, это файловая система Саммит[3]в Национальная лаборатория Окриджа который был самым быстрым суперкомпьютером в мире в списке лучших 500 суперкомпьютеров за ноябрь 2019 г.[4]. Саммит 200 Петафлопс система состоит из более чем 9000 Микропроцессоры IBM POWER и 27000 NVIDIA Вольта GPU. Файловая система хранения под названием Alpine[5] имеет 250 ПБ хранилища с использованием Spectrum Scale на оборудовании хранения IBM ESS, способное примерно на 2,5 ТБ / с для последовательного ввода-вывода и 2,2 ТБ / с для случайного ввода-вывода.

Как и типичные файловые системы кластера, IBM Spectrum Scale обеспечивает одновременный высокоскоростной доступ к файлам для приложений, выполняющихся на нескольких узлах кластера. Его можно использовать с AIX кластеры Linux кластеры[6] на Microsoft Windows Server, или гетерогенный кластер узлов AIX, Linux и Windows, работающих на x86, МОЩНОСТЬ или IBM Z архитектуры процессоров. Помимо предоставления возможностей хранения файловой системы, он предоставляет инструменты для управления и администрирования кластера IBM Spectrum Scale и обеспечивает совместный доступ к файловым системам с удаленных кластеров.

История

IBM Spectrum Scale начиналась как Тигровая акула файловая система, исследовательский проект IBM Исследовательский центр Альмадена еще в 1993 году. Tiger Shark изначально разрабатывался для поддержки мультимедийных приложений с высокой пропускной способностью. Эта конструкция оказалась хорошо подходящей для научных вычислений.[7]

Другой предок - IBM Веста файловая система, разработанная в рамках исследовательского проекта IBM Исследовательский центр Томаса Дж. Уотсона между 1992 и 1995 гг.[8] Vesta представила концепцию разделения файлов для удовлетворения потребностей параллельных приложений, работающих с высокой производительностью. мультикомпьютеры с параллельный ввод / вывод подсистемы. При разделении файл представляет собой не последовательность байтов, а несколько непересекающихся последовательностей, к которым можно обращаться параллельно. Разделение таково, что оно абстрагирует количество и тип узлов ввода-вывода, на которых размещена файловая система, и позволяет создавать различные логически разделенные представления файлов, независимо от физического распределения данных в узлах ввода-вывода. Непересекающиеся последовательности организованы так, чтобы соответствовать отдельным процессам параллельного приложения, что позволяет улучшить масштабируемость.[9][10]

Веста была коммерциализирована как файловая система PIOFS примерно в 1994 году,[11] Примерно в 1998 году на смену ему пришла GPFS.[12][13] Основное различие между старой и новой файловыми системами заключалось в том, что GPFS заменила специализированный интерфейс, предлагаемый Vesta / PIOFS, на стандартный Unix API: все функции для поддержки высокопроизводительного параллельного ввода-вывода были скрыты от пользователей и реализованы под капотом.[7][13]

Шкала спектра доступна на IBM AIX с 1998 года, в Linux с 2001 года и на Windows Server с 2008 года.

Сегодня он используется многими из 500 лучших суперкомпьютеров, включенных в список 500 лучших суперкомпьютеров. С момента своего создания он был успешно развернут для многих коммерческих приложений, включая цифровые мультимедиа, сеточную аналитику и масштабируемые файловые службы.

В 2010 году IBM анонсировала версию GPFS, которая включала возможность, известную как GPFS-SNC, где SNC означает кластер без общего доступа. Он был официально выпущен с GPFS 3.5 в декабре 2012 года и теперь известен как FPO.[14] (Оптимизатор размещения файлов). Это позволяет ему использовать локально подключенные диски в кластере серверов, подключенных к сети, вместо того, чтобы требовать выделенных серверов с общими дисками (например, с использованием SAN). FPO подходит для рабочих нагрузок с высокой локальностью данных, таких как кластеры баз данных без общего доступа, такие как SAP HANA и DB2 DPF, и может использоваться в качестве HDFS -совместимая файловая система.

Архитектура

Это кластерная файловая система. Он разбивает файл на блоки заданного размера, менее 1 мегабайта каждый, которые распределяются по нескольким узлам кластера.

Система хранит данные на стандартных томах блочного хранилища, но включает в себя внутренний уровень RAID, который может виртуализировать эти тома для обеспечения избыточности и параллельного доступа, подобно системе блочного хранилища RAID. Он также имеет возможность репликации между томами на более высоком файловом уровне.

Особенности архитектуры включают

  • Распределенные метаданные, включая дерево каталогов. Нет единого «контроллера каталогов» или «сервера индекса», отвечающего за файловую систему.
  • Эффективное индексирование записей каталога для очень больших каталогов.
  • Распределенная блокировка. Это позволяет полностью POSIX семантика файловой системы, включая блокировку монопольного доступа к файлам.
  • С учетом разделов. Сбой сети может разделить файловую систему на две или более групп узлов, которые могут видеть только узлы своей группы. Это может быть обнаружено с помощью протокола пульса, и при возникновении раздела файловая система остается активной для самого большого сформированного раздела. Это предлагает постепенную деградацию файловой системы - некоторые машины будут продолжать работать.
  • Обслуживание файловой системы может выполняться в режиме онлайн. Большинство рутинных операций по обслуживанию файловой системы (добавление новых дисков, перебалансировка данных на дисках) можно выполнять, пока файловая система работает. Это обеспечивает более частую доступность файловой системы и дольше сохраняет доступность самого кластера суперкомпьютера.

Другие функции включают высокую доступность, возможность использования в гетерогенном кластере, аварийное восстановление, безопасность, DMAPI, HSM и ILM.

По сравнению с распределенной файловой системой Hadoop (HDFS)

Hadoop файловая система HDFS предназначена для хранения аналогичных или больших объемов данных на обычном оборудовании, то есть в центрах обработки данных без RAID диски и сеть хранения данных (SAN).

  • HDFS также разбивает файлы на блоки и сохраняет их на разных узлах файловой системы.
  • IBM Spectrum Scale имеет полную семантику файловой системы Posix.
  • IBM Spectrum Scale распределяет индексы каталогов и другие метаданные по файловой системе. Hadoop, напротив, сохраняет это на первичных и вторичных узлах имен, больших серверах, которые должны хранить всю информацию индекса в ОЗУ.
  • IBM Spectrum Scale разбивает файлы на небольшие блоки. Hadoop HDFS любит блоки 64 МБ или более, поскольку это снижает требования к хранилищу Namenode. Маленькие блоки или множество маленьких файлов быстро заполняют индексы файловой системы, поэтому ограничьте размер файловой системы.

Управление жизненным циклом информации

Пулы хранения позволяют группировать диски в файловой системе. Администратор может создавать уровни хранения, группируя диски по характеристикам производительности, местоположения или надежности. Например, один пул может быть высокопроизводительным. Fibre Channel диски и еще одно более экономичное хранилище SATA.

Набор файлов - это поддерево пространства имен файловой системы, позволяющее разделить пространство имен на более мелкие и более управляемые единицы. Наборы файлов обеспечивают административную границу, которую можно использовать для установки квот и указывать в политике для управления начальным размещением или переносом данных. Данные в одном наборе файлов могут находиться в одном или нескольких пулах хранения. Расположение файловых данных и способ их переноса зависит от набора правил в политике, определенной пользователем.

Существует два типа определяемых пользователем политик: размещение файлов и управление файлами. Политики размещения файлов направляют данные файлов по мере их создания в соответствующий пул хранения. Правила размещения файлов выбираются по таким атрибутам, как имя файла, имя пользователя или набор файлов. Политики управления файлами позволяют перемещать или реплицировать данные файла или удалять файлы. Политики управления файлами можно использовать для перемещения данных из одного пула в другой без изменения расположения файла в структуре каталогов. Политики управления файлами определяются атрибутами файла, такими как время последнего доступа, имя пути или размер файла.

Механизм обработки политик масштабируем и может запускаться на многих узлах одновременно. Это позволяет применять политики управления к одной файловой системе с миллиардами файлов и завершать ее за несколько часов.[нужна цитата ]

Смотрите также

Рекомендации

  1. ^ «GPFS (общая параллельная файловая система)». IBM. Получено 2020-04-07.
  2. ^ Шмук, Франк; Роджер Хаскин (январь 2002 г.). «GPFS: файловая система с общим диском для больших вычислительных кластеров» (PDF). Материалы конференции FAST'02 по файловым технологиям и технологиям хранения. Монтерей, Калифорния, США: USENIX. С. 231–244. ISBN  1-880446-03-0. Получено 2008-01-18.
  3. ^ «Вычислительные системы Summit». Национальная лаборатория Окриджа. Получено 2020-04-07.
  4. ^ «Список Top500 за ноябрь 2019 года». top500.org. Получено 2020-04-07.
  5. ^ "FAQ саммита". Национальная лаборатория Окриджа. Получено 2020-04-07.
  6. ^ Ван, Тэн; Васько, Кевин; Лю, Чжо; Чен, Хуэй; Ю, Вэйкуань (ноябрь 2014 г.). «BPAR: основанная на пакетах структура параллельной агрегации для независимого выполнения ввода-вывода». 2014 Международный семинар по масштабируемым вычислительным системам с интенсивным использованием данных. IEEE. С. 25–32. Дои:10.1109 / DISCS.2014.6. ISBN  978-1-4673-6750-9. S2CID  2402391.
  7. ^ а б Мэй, Джон М. (2000). Параллельный ввод-вывод для высокопроизводительных вычислений. Морган Кауфманн. п. 92. ISBN  978-1-55860-664-7. Получено 2008-06-18.
  8. ^ Корбетт, Питер Ф .; Feitelson, Dror G .; Prost, J.-P .; Бейлор, С. Дж. (1993). «Параллельный доступ к файлам в файловой системе Vesta». Суперкомпьютерные вычисления. Портленд, Орегон, США: ACM / IEEE. С. 472–481. Дои:10.1145/169627.169786. ISBN  978-0818643408. S2CID  46409100.
  9. ^ Корбетт, Питер Ф .; Фейтельсон, Дрор Г. (август 1996 г.). «Параллельная файловая система Vesta» (PDF). Транзакции в компьютерных системах. 14 (3): 225–264. Дои:10.1145/233557.233558. S2CID  11975458. Получено 2008-06-18.
  10. ^ Тэн Ван; Кевин Васько; Чжо Лю; Хуэй Чен; Вэйкуан Ю (2016). «Улучшите параллельный ввод / вывод с помощью агрегации между пакетами». Международный журнал приложений для высокопроизводительных вычислений. 30 (2): 241–256. Дои:10.1177/1094342015618017. S2CID  12067366.
  11. ^ Corbett, P. F .; Д. Г. Фейтельсон; Ж.-П. Прост; Г. С. Алмаси; С. Дж. Бэйлор; А. С. Болмарчич; Ю. Сюй; Дж. Сатран; М. Снир; Р. Колао; B. D. Herr; Дж. Каваки; Т. Р. Морган; А. Злотек (1995). «Параллельные файловые системы для компьютеров IBM SP» (PDF). Журнал IBM Systems. 34 (2): 222–248. CiteSeerX  10.1.1.381.2988. Дои:10.1147 / sj.342.0222. Получено 2008-06-18.
  12. ^ Баррис, Марсело; Терри Джонс; Скотт Киннейн; Матис Ландзеттель Сафран аль-Сафран; Джерри Стивенс; Кристофер Стоун; Крис Томас; Ульф Троппенс (сентябрь 1999 г.). Размер и настройка GPFS (PDF). IBM Redbooks, Международная организация технической поддержки. см. страницу 1 («GPFS является преемником файловой системы PIOFS»).
  13. ^ а б Снир, Марк (июнь 2001 г.). "Масштабируемые параллельные системы: вклад 1990-2000 гг." (PDF). Семинар по высокопроизводительным вычислениям, факультет компьютерной архитектуры, Политехнический университет Каталонии. Получено 2008-06-18.
  14. ^ "IBM GPFS FPO (DCS03038-USEN-00)" (PDF). Корпорация IBM. 2013. Получено 2012-08-12.[постоянная мертвая ссылка ]

внешняя ссылка