Хранилище метаданных - Metadata repository

А репозиторий метаданных это база данных, созданная для хранения метаданные. Метаданные - это информация о структурах, которые содержат фактические данные. Метаданные часто называют «данными о данных», но это вводит в заблуждение. Профили данных являются примером реальных «данных о данных». Метаданные добавляют к этому определению еще один уровень абстракции - это данные о структурах, содержащих данные. Метаданные могут описывать структуру любых данных любой тематики, хранящихся в любом формате.

Хорошо спроектированный репозиторий метаданных обычно содержит данные, выходящие далеко за рамки простых определений различных структуры данных. Типичные репозитории хранят от десятков до сотен отдельных частей информации о каждой структуре данных.

Сравнение метаданных пары элементов данных - одного цифрового и одного физического - проясняет, что такое метаданные:

Во-первых, цифровой: для данных, хранящихся в базе данных, может быть таблица с названием «Пациент» с множеством столбцов, каждый из которых содержит данные, описывающие разные атрибуты каждого пациента. Один из этих столбцов может называться «Имя_Пациента». Какие метаданные относятся к столбцу, который содержит фактические фамилии пациентов в базе данных? Мы уже использовали два элемента: имя столбца, содержащего данные (Patient_Last_Name) и имя таблицы, содержащей столбец (Patient). Другие метаданные могут включать максимальную длину фамилии, которая может быть введена, требуется ли фамилия (можно ли иметь пациента без Patient_Last_Name?), А также преобразовывает ли база данных любые фамилии, введенные в нижнем регистре, в верхний регистр. Метаданные безопасности могут отображать ограничения, которые ограничивают круг лиц, которые могут просматривать эти имена.

Во-вторых, физические: данные, хранящиеся в обычной библиотеке, имеют много томов и могут иметь различные носители, включая книги. Метаданные о книгах будут включать ISBN, Binding_Type, Page_Count, Author и т. Д. В Binding_Type метаданные будут включать возможные привязки, материал и т. Д.

Эта контекстная информация бизнес-данных включает значение и содержание, управляющие политики, технические атрибуты, преобразующие спецификации и программы, которые манипулируют.[1]:171

Определение

Репозиторий метаданных отвечает за физическое хранение и каталогизацию метаданных. Данные в репозитории метаданных должны быть общими, интегрированными, текущими и историческими. Универсальный: Метамодель должна хранить метаданные в виде общих терминов вместо того, чтобы хранить их определенным для конкретного приложения способом, чтобы при изменении стандарта вашей базы данных с одного продукта на другой физическая метамодель репозитория метаданных не нуждалась в изменении. Интеграция репозитория метаданных позволяет интегрировать метаданные всех областей бизнеса: охватывая все домены и предметные области организации. Хранилище метаданных должно быть доступно текущие и исторические метаданные.[2] Репозитории метаданных раньше назывались словарь с данными.[1]:239

С переходом потребности в использовании метаданных для бизнес-аналитики увеличились, так же как и объем репозитория метаданных. Более ранние словари данных - это самое близкое место для взаимодействия технологий с бизнесом. Словари данных - это совокупность репозитория метаданных на начальных этапах, но по мере увеличения объема бизнес-глоссарий и их тегов до различных флагов статуса появились в бизнес-части, в то время как потребление технологических метаданных, их происхождение и связи сделали репозиторий источником для ценные отчеты, которые объединяют бизнес и технологии и помогают упростить принятие решений по управлению данными, а также оценить стоимость изменений.

Репозиторий метаданных исследует управление данными в масштабе предприятия, качество данных и управление основными данными (включает основные данные и справочные данные) и объединяет это богатство информации с интегрированными метаданными по всей организации, чтобы обеспечить система поддержки принятия решений для структур данных, даже если он отражает только структуры, потребляемые из различных систем.

Репозиторий против реестра

Основная статья: Реестр метаданных

Репозиторий имеет дополнительные функции по сравнению с реестром. Хранилище метаданных не только хранит метаданные, такие как реестр метаданных, но также добавляет связи со связанными типами метаданных. Метаданные, когда они связаны в потоке от точки входа в организацию до результатов, рассматриваются как происхождение этой точки данных. Метаданные, связанные с другими связанными типами метаданных, называются связями. Предоставляя взаимосвязи со всеми точками метаданных в организации и поддерживая их целостность с архитектурой для обработки изменений, репозиторий метаданных предоставляет базовый материал для понимания всего потока данных, их определений и их влияния. Также важной функцией является сохранение контроля версий, хотя это противопоставление открыто для обсуждения. Эти определения все еще развиваются, поэтому точность определений требует уточнения.

Цель реестра - определить элемент метаданных и поддерживать его в масштабах всей организации. А модели данных и другие группы управления данными обращаются к реестру для внесения любых изменений. В то время как репозиторий метаданных получает метаданные из различных систем метаданных в организациях и отражает то, что находится в восходящем направлении. Репозиторий никогда не действует как восходящий поток, в то время как реестр используется как восходящий поток для изменений метаданных.

Причина использования

Хранилище метаданных позволяет объединить всю структуру контейнеров данных организации в одно интегрированное место. Это открывает множество полезной информации для принятия взвешенных бизнес-решений. Этот инструмент использует одну общую форму модели данных для интеграции всех моделей, что позволяет объединить все приложения и программы организации в один формат. Кроме того, применение бизнес-определений и бизнес-процессов сближает бизнес и технологии, что помогает организациям составлять надежные дорожные карты с определенными целями. Обладая единой информацией, бизнес будет иметь больший контроль над изменениями и сможет проводить анализ воздействия инструмента. Обычно бизнес тратит много времени и денег на принятие решений, основанных на обнаружении и исследовании влияний на внесение изменений или добавление новых структур данных или удаление структур в управлении данными организации. Благодаря структурированному и хорошо обслуживаемому репозиторию перемещение продукта от идеи к доставке занимает минимум времени (учитывая, что другие переменные постоянны). Подвести итог:

  1. Интеграция метаданных в организации.
  2. Налаживайте отношения между различными типы метаданных
  3. Налаживайте отношения между различными разрозненные системы.
  4. Определить бизнес золотая копия определений.
  5. Версия контроль изменений на уровне структуры.
  6. взаимодействие с Справочные данные
  7. ссылка на основные данные.
  8. автоматический синхронизироватьхронизация с различными авторизованными системами источников метаданных.
  9. Более контроль к бизнес-решениям.
  10. подтверждать конструкции путем наложения моделей
  11. открытие расхождения, пробелы, родословная, метрики на уровне структуры данных.

Каждая система управления базами данных (СУБД) и инструменты баз данных имеют свой собственный язык для компонентов метаданных. Приложения баз данных уже имеют свои собственные репозитории или реестры, которые, как ожидается, обеспечат все необходимые функции для доступа к данным, хранящимся в них. Поставщики не хотят, чтобы другие компании могли легко переносить данные из их продуктов в продукты конкурентов, поэтому они являются собственностью в отношении того, как они обрабатывают метаданные. CASE-инструменты, словари СУБД, инструменты ETL, очистка данных Инструменты, инструменты OLAP и инструменты интеллектуального анализа данных обрабатывают и хранят метаданные по-разному. Только репозиторий метаданных может быть разработан для хранения компонентов метаданных из всех этих инструментов.[3]

Дизайн

Репозитории метаданных должны хранить метаданные в четырех классификациях: владение, описательные характеристики, правила и политики и физические характеристики. Право собственности, показывающее владельца данных и владельца приложения. Описательные характеристики определяют имена, типы и длину, а также определения, описывающие бизнес-данные или бизнес-процессы. Правила и политики будут определять безопасность, чистоту данных, сроки для данных и отношения. Физические характеристики определяют происхождение или источник и физическое местонахождение.[1]:176 Как создание логическая модель данных Для создания базы данных логическая метамодель может помочь определить требования к метаданным для бизнес-данных.[1]:185 Хранилище метаданных будет централизованным, децентрализованным или распределенным. Централизованный дизайн означает, что существует одна база данных для репозитория метаданных, в которой хранятся метаданные для всех приложений в масштабах всего бизнеса. Централизованное хранилище метаданных имеет те же преимущества и недостатки, что и централизованная база данных. Легче управлять, потому что все данные находятся в одной базе данных, но недостатком является то, что могут возникнуть узкие места.

Децентрализованный репозиторий метаданных хранит метаданные в нескольких базах данных, разделенных по местоположению и / или отделам бизнеса. Это делает управление репозиторием более сложным, чем централизованное хранилище метаданных, но преимущество состоит в том, что метаданные можно разбить на отдельные отделы.

Распределенный репозиторий метаданных использует децентрализованный метод, но в отличие от децентрализованного репозитория метаданных метаданные остаются в исходном приложении. An XML шлюз создан[1]:246 который действует как каталог для доступа к метаданным в каждом отдельном приложении. Преимущества и недостатки распределенного репозитория метаданных отражают распределенная база данных.

Дизайн информационной модели должен включать различные уровни типов метаданных, которые должны перекрываться для создания интегрированного представления данных. Различные типы метаданных должны быть объединены с соответствующими элементами метаданных в модели сверху вниз, связанной с бизнес-глоссарием.

Слои метаданных:

  1. Бизнес-глоссарий: содержит рекурсивную связь с бизнес-терминами.
  2. Бизнес-теги: содержат различную принадлежность к этому термину или терминам.
  3. Словарь данных: содержит информацию из инструментов модели данных для определения элементов метаданных и их технических определений, предоставляемых данными или архитектурой предприятия.
  4. Концептуальные модели данных:
  5. Логические модели данных
  6. Физические модели данных
  7. Базы данных
  8. правила проверки и правила качества данных
  9. ETL, бизнес-правила и их связь с атрибутами и сущностями
  10. Отчеты
  11. От источника к целевым артефактам сопоставления (отношения)
  12. Требования к отчетности (отношения)
  13. бизнес-процессы и их связь с технологиями
  14. иерархия людей и их отношения
  15. отношения собственника

Сущность-отношения / объектно-ориентированный

Репозитории метаданных могут быть спроектированы как Модель отношения сущность, или Объектно-ориентированный дизайн.

Смотрите также

Рекомендации

  1. ^ а б c d е Moss, L.T .; Атре, С. (2003). Дорожная карта Business Intelligence: полный жизненный цикл проекта для приложений поддержки принятия решений. Эддисон-Уэсли Профессионал. ISBN  0-201-78420-3.
  2. ^ Marco, D .; Дженнингс, М. (2004). Универсальные модели метаданных. Вайли. стр.36 –43. ISBN  0-471-08177-9.
  3. ^ Марко, Д. (2000). Создание репозитория метаданных и управление им: полное руководство по жизненному циклу. Вайли. ISBN  978-0471355236.