Работа с мастер данными что значит

Что такое «система управления мастер-данными» и зачем она нужна

Максим Власов, директор по развитию DATAREON, на портале Хабрахабр (https://habrahabr.ru) // Март, 2017

Какие бывают данные

Прежде чем перейти непосредственно к системам управления мастер-данными, давайте определим, какого рода вообще бывают данные.

Ниже представлены 5 ключевых типов:

1. Метаданные (Metadata);
2. Референс-данные (Reference data);
3. Мастер-данные (Master data);
4. Транзакционные данные (Transactional data);
5. Исторические данные (Historical data).

Метаданные – это данные о данных. Они нужны для понимания и определения, какими данными оперирует предприятие. Метаданные определяют структуры, типы данных, доступы к ним и т.д. Существуют различные схемы для описания метаданных. Например, для описания структуры XML-документа может применяться XSD-схема, для описания веб-сервиса – WSDL-схема.

Референс-данные – это относительно редко меняющиеся данные, которые определяют значения конкретных сущностей, используемых при выполнении операций в рамках всего предприятия. К таким сущностям чаще всего относятся: валюты, страны, единицы измерения, типы договоров/счетов и т.д.

Мастер-данные – это базовые данные, которые определяют бизнес-сущности, с которыми имеет дело предприятие. К таким бизнес-сущностям обычно относятся (в зависимости от предметной отраслевой направленности предприятия) клиенты, поставщики, продукция, услуги, договора, счета, пациенты, граждане и т.п. Кроме информации непосредственно о той или иной мастер-сущности, в мастер-данные входят взаимосвязи между этими сущностями и иерархии. Например, с точки зрения поиска дополнительных возможностей продаж, может быть очень важно выявлять явные и неявные взаимосвязи между физическими лицами. Мастер-данные распространяются по всему предприятию и участвуют во всех бизнес-процессах. Обычно мастер-данные воспринимаются как ключевой нематериальный актив предприятия, т.к. от их качества и полноты зависит эффективность его работы. В России часто вместо термина «мастер-данные» используют термин «нормативно-справочная информация».

Транзакционные данные – это данные, которые образовались в результаты выполнения предприятием каких-либо бизнес-транзакций. Например, для коммерческого предприятия: продажи продуктов и услуг, закупки, поступления/списания денежных средств, поступления на склад и т.п. Обычно такие данные базируются в системе управления ресурсами предприятия (ERP) или других отраслевых системах. Естественно, транзакционные системы широко используют мастер-данные при выполнении транзакций.

Исторические данные – это данные, которые включают в себя исторические транзакционные и мастер-данные. Чаще всего такие данные аккумулируются в ODS и DWH системах и служат для решения различных аналитических задач и поддержки принятия управленческих решений.

Cистемы управления мастер-данными

Прежде чем перейти к системе управления мастер-данными, определим, что такое управление мастер-данными вообще.

Управление мастер-данными (Master Data Management, MDM) – дисциплина, которая работает с мастер-данными в целях создания «золотой записи», то есть целостного и всестороннего представления о мастер-сущности и взаимосвязях, эталона мастер-данных, который используются всем предприятием, а иногда и между предприятиями для упрощения обмена информацией.

Специализированные системы управления мастер данными (MDM-системы) автоматизируют все аспекты этого процесса и являются «авторитетным» источником мастер-данных масштаба предприятия. Часто MDM-системы управляют также и референт-данными.

Ситуация, когда MDM-система является единственным источником мастер-данных, все изменения вносятся в MDM-систему и только потом передаются в системы-потребители, называется «системой записей». Это идеальная ситуация для управления мастер-данными. Однако в реальной жизни все не так просто: MDM-система не всегда будет являться «системой записей». Из-за особенностей бизнес-процессов конкретного предприятия, технических сложностей конкретных систем и т.д., приходится создавать «копии» мастер-записей. Система, в которой содержится копия мастер-данных, называется «системой ссылок». Чтобы не терять управляемости, «система ссылок» обязательно должна находиться под управлением и синхронизироваться с «системой записей».

Три измерения MDM-систем

Рассмотрим MDM–систему в трех измерениях:

Обычно MDM-системы не внедряются «с наскоку», т.к. их внедрение – это сложный процесс последовательных преобразований масштаба всего предприятия, от ведения разрозненных данных до создания целостного всестороннего представления о мастер-сущности. Поэтому внедрение MDM-систем выполняется последовательно с постепенным приближением к целевому результату в трех указанных измерениях.

Рассмотрим подробнее эти измерения.

Домены

В контексте управления мастер-данными под доменом понимается конкретная область мастер-данных. Самые распространённые домены мастер-данных – это домен клиентов и домен продуктов. В западной литературе сложились устоявшиеся термины для управления мастер-данными в рамках этих доменов: Customer Data Integration (CDI) – для домена клиентов и Product Information Management (PIM) – для домена продуктов.

К CDI традиционно относятся не только клиенты, но и организации или физические лица, которые могут называться по-разному в зависимости от отрасли предприятия: клиенты, поставщики, банки, фонды, пациенты, граждане и т.д.

К PIM традиционно относятся: продукция, товары, материалы, услуги, работы и т.д.

Есть много общего в подходах к управлению мастер-данными CDI и PIM, но есть также и много отличий. Например, при дедубликации клиентских сущностей в большинстве случаев выполняется простой синтаксический анализ атрибутов сущностей и их сопоставление на основе вероятностных алгоритмов, в то время как в продуктовом домене проводится семантический/онтологический анализ атрибутов с подключением механизмов самообучения. Кроме того, в продуктовом домене у сущностей в зависимости от выбранной категории могут сильно различаться атрибуты (например, у ноутбуков свой набор атрибутов, а у стиральных машинок – свой). Все эти особенности различных доменов должны поддерживаться MDM-системами.

В последнее время имеет место тенденция создания мультидоменных MDM¬-систем с возможностью гибкой настройки структуры метаданных. Такая гибкость дает предприятию возможность описать мастер-данные конкретно под себя с учетом всех особенностей и нюансов, но при этом требует немалого времени и знаний, чтобы грамотно спроектировать и настроить такую систему. Также на рынке присутствуют системы с «жесткой» структурой мастер-сущностей, которые имеют уже корректно настроенные механизмы, но использование такой системы возможно только теми предприятиями, которые смогут подстроиться под нее. Обычно такие системы хорошо применимы для решения задачи управления мастер-данными в рамках какой-то узкой отрасли. По моему мнению, наиболее перспективными являются системы с гибкой моделью метаданных, но имеющие при этом преднастроенные для предприятий разных отраслей модели, которые можно быстро перенастраивать.

Методы использования

Методы использования MDM (Method of use) определяют то, для чего MDM система будет использоваться на предприятии. Иными словами, кто будет потребителем мастер-данных (естественно, их может быть несколько).

Основных методов использования три:

1. Аналитический (Analytical)
2. Операционный (Operational)
3. Коллективный (Collaborative)

Аналитический метод использования поддерживает бизнес-процессы и приложения, которые используют мастер-данные преимущественно для анализа эффективности бизнеса, предоставляют необходимые отчеты и выполняют аналитические функции. Часто это происходит посредством взаимодействия MDM с инструментами и продуктами BI. Обычно аналитическая MDM-система работает с данными только в режиме чтения, она не изменяет данные в системах-источниках, но занимается их очисткой и обогащением.

Операционный метод использования позволяет собирать, изменять и использовать мастер-данные в процессе выполнения бизнес-транзакций (операций) и служит для поддержки семантической согласованности мастер-данных в рамках этих операций внутри всех операционных приложений. Фактически, в этом случае MDM функционирует как OLTP-система, которая отрабатывает запросы от других операционных приложений или пользователей. Работа в таком режиме зачастую требует построения единого интеграционного ландшафта с использованием принципов сервис-ориентированной архитектуры (SOA) и применением инструментария сервисной шины предприятия (ESB). Идеально, если такие инструменты или входят непосредственно в MDM-систему, или являются ее продолжением (есть вендоры, которые имеют в своей линейке и MDM и ESB-решения, глубоко интегрированные между собой).

Коллективный метод использования позволяет создавать мастер-сущности в случаях, когда требуется коллективное взаимодействие между различными группами пользователей в процессе этого создания. Такое согласование обычно имеет сложные «ветвящиеся» бизнес-процессы, состоящие из различных автоматических и ручных задач. Ручные задачи выполняются различными специалистами по работе с данными (дата-стюардами) в порядке, определенном бизнес-процессом. Чаще всего коллективный метод использования применяется в продуктовом домене. Например, при создании нового продукта, когда существуют несколько ответственных за ввод разных данных, много ручной работы и финальное согласование. Важно, чтобы MDM-система позволяла настраивать произвольные бизнес-процессы для быстрой поддержки бизнес-процессов конкретного предприятия.

Стили внедрения

Обычно выделяют три основных стиля внедрения (implementation style):

1. Реестровый (registry);
2. Сосуществующий (coexistence);
3. Транзакционный (transactional).

Реестровый стиль внедрения предполагает создание источника мастер-данных как «системы ссылок» на нижестоящие источники данных. Реестровая MDM содержит только ключевые атрибуты, необходимые для идентификации и сопоставления сущностей. Реестровая MDM работает в режиме «только чтение», данные вводятся в системах-источниках и передаются в MDM для разрешения сущностей. Также в реестровой MDM могут храниться ссылки на источники неключевых данных, но сами эти данные обычно в MDM не передаются. Реестровый стиль внедрения обычно применяется в случае выбора операционного метода использования MDM (см. выше).

Сосуществующий стиль внедрения предполагает наличие распределенного ввода данных в нескольких источниках (бизнес-приложениях и MDM-системе). MDM-система в данном случае может являться «системой записей» только для части атрибутов. Тем не менее, в MDM-системе формируется полноценная мастер-сущность, изменения которой транслируются в другие системы (возможно, не все). Сосуществующий стиль внедрения довольно прост и часто применяется как первый шаг к следующему — транзакционному стилю, т.к. не требует глубокой переработки систем, взаимодействующих с MDM-системой.
Транзакционный стиль внедрения предполагает создание полноценной «системы записей», в которой хранятся все данные по мастер-сущностям. MDM-система в этом случае является «единственным источником правды» для всех систем-потребителей.

Все операции по созданию и обработке данных выполняется на уровне MDM-системы. Ввод данных на уровне систем-потребителей запрещен. Такой подход обычно довольно сложен для внедрения, т.к. требует существенного изменения бизнес-процессов и систем-подписчиков.

Заключение

На практике, выбор той или иной стратегии внедрения MDM определяется многими факторами: целями предприятия в области управления мастер-данными, степенью зрелости предприятия, степенью готовности IT-инфраструктуры, наличием инвестиций на реализацию проекта и многими другими параметрами. Чтобы определиться со стратегией внедрения, нужно провести тщательный анализ всех этих факторов и составить подробное технико-экономическое обоснование проекта и детальный план-график с указанием фаз развития проекта. Но это уже другая обширная тема, требующая отдельного рассмотрения.

Одно можно сказать точно, что к внедрению MDM-системы нужно подходить очень взвешенно и поступательно. Большинство проектов внедрения MDM-систем проваливаются именно из-за недооценки сложности и объема изменений, с которыми приходится сталкиваться в MDM-проектах.

Максим Власов, директор по развитию

Менеджеры DATAREON будут рады ответить на все вопросы по тел. +7(495)280-08-01. Также вы можете написать нам через форму

Источник

MDM помогает управлять информацией

Время просмотра: 5.2 мин.

История вопроса

В условиях жесткой конкуренции компаниям приходится искать пути сокращения затрат, роста эффективности, повышения качества своих продуктов и услуг. Зачастую решение этих задач связано с применением информационных технологий. В итоге возникает уже знакомая картина – в компании эксплуатируется большое число разнородных программ и информационных систем (ИС). Управлять информацией, расположенной во множестве источников, – дело трудозатратное и дорогое.

Те компании, которые стремились к минимизации расходов и повышению доходов, приняли на вооружение системы электронного обмена данными. Эти решения позволяют экономить деньги за счет перенаправления информационных потоков, раньше требовавших создания огромного числа бумажных документов, факсов, взаимодействия большого числа людей, организации многочисленных встреч. В итоге сегодня формирование системы обмена данными между разными программами является одной из ключевых задач любого бизнеса.

Статьи по теме

Поделиться

На этом пути дополнительной проблемой становится потребность в управлении базовыми справочными данными, т.е. теми данными, которые существуют в компании во множестве копий, содержащих подчас не совпадающую и противоречивую информацию. При этом они должны быть одинаковыми. В разных учетных системах справочные данные вводятся, классифицируются и кодируются по-разному. Отметим, что наличие несинхронизированных копий одной и той же информации приводит к проблемам производственного и информационного взаимодействия.

Что такое MDM?

Перечисленные выше проблемы вызвали к жизни целый набор технологий, стандартов и продуктов, предназначенных для управления основными, или мастер-данными, и объединенных под общим названием MDM. Часто мастер-данные называют нормативно-справочной информацией (НСИ) или эталонными данными. Типичные их примеры – справочники поставщиков, клиентов, классификаторы материалов, оборудования, общероссийские классификаторы (ОКСМ, ОКВЭД, ОКАТО и т.д.), то есть всё то, что не претерпевает существенных изменений в процессе повседневной деятельности компаний и является информацией нетранзакционного характера. Разные типы мастер-данных принято называть доменами, например, домен «клиенты», домен «продукты» и т.д.

Цели MDM заключаются в обеспечении процессов формирования мастер-данных (сбора данных из внешних источников, повышения их качества за счет очистки и обогащения, поиска и объединения дубликатов и т.д.), а также их дистрибуции для дальнейшего использования в других ИС.

В силу своих особенностей часто выделяют 2 предметные области, автоматизируемые с помощью MDM-систем: данные о продуктах (Product Information Management, PIM) и клиентах (Customer Data Integration, CDI). Однако это вовсе не означает, что MDM-решения не пригодны для других видов данных, т.е. для других доменов. Так, системы CDI могут быть использованы для управления реестрами сотрудников, населения. У компаний-разработчиков MDM-решений, кроме указанных типов, есть системы, ориентированные на финансовый сектор, сектор высшего образования.

Предпосылки и модели использования

Как уже было сказано, одной из предпосылок для внедрения MDM-системы является необходимость в обобщении информации из большого числа источников. Причины этого – географическая распределенность подразделений компании и применение в филиалах разнотипного программного обеспечения. Такая ситуация характерна, например, для банков и страховых компаний. Они отличаются обширной филиальной сетью, множеством территориальных отделений и офисов продаж. Есть множество примеров, когда в разных филиалах одного банка используются автоматизированные банковские системы (АБС) от разных компаний-разработчиков. Кроме того, у обслуживания юридических лиц (корпоративный сектор) и физических лиц есть своя специфика. Поэтому в одном отделении банка могут быть установлены два типа АБС для обслуживания разных категорий клиентов. Похожая ситуация и со страховыми компаниями. Здесь разнообразие программ может быть обусловлено не только категорией клиентов, но и типом страхования (жизни, транспортных средств и т.д.).

Одна из часто возникающих задач, характерных для подобных компаний, – это формирование единого клиентского справочника (CDI). С помощью MDM можно создать хранилище, которое будет содержать полные, достоверные и непротиворечивые клиентские данные. Информация, поступающая из внешних учетных систем, в MDM-системе пройдет проверку, очистку, обогащение, будет приведена к единой форме, а также избавится от дубликатов. Таким образом, создается «золотая» запись, которая позволяет сформировать единый взгляд на клиента и является предпосылкой для перехода к клиентоориентированной модели бизнеса. Эти эталонные данные используются в системах анализа и принятия решений. Они востребованы маркетингом, продающими подразделениями и отделами, осуществляющими финансовый мониторинг. Подобный способ использования MDM – это консолидация (Consolidation) (см. рис. 1). Он ориентирован на создание центральной системы мастер-данных, консолидирующей данные источников для поддержки аналитических и отчетных приложений.

Рис. 1. Организация консолидированных данных

Второй тип задач, которые могут быть решены с помощью MDM, – это создание единой платформы для централизованного ведения нормативно-справочной информации. Соответствующая система управления НСИ призвана обслуживать всех участников внутренних бизнес-процессов компании, а иногда и целых отраслей, нуждающихся в выверенной и актуальной справочной информации. Одним из типичных примеров здесь является справочник материально-технических ресурсов (PMI). Такие MDM-системы востребованы компаниями розничной торговли и дистрибуции, поставщиками потребительских товаров и бытовой электроники. Качественная информация о продукции помогает стимулировать продажи, повышать эффективность маркетинговых кампаний, а также оптимизировать цепочки поставок и каналы сбыта. Такую схему MDM принято называть транзакционной (Transaction). Иногда применяют термин «репозитарий» – (Repository) (см. рис. 2).

Рис. 2. Организация централизованной схемы ведения справочной информации

Следующий вариант применения MDM частично схож с организацией консолидированных данных. Здесь также происходит создание данных во внешних учетных ИС, они также передаются в MDM-систему, где формируется «золотая» запись. Отличия заключаются в том, что присутствует обратная связь с учетными системами и происходит синхронизация мастер-данных со справочными данными этих ИС, что, в свою очередь, напоминает транзакционную схему реализации MDM. Внешние учетные системы в этом случае являются как источниками, так и потребителями данных.

Например, в организации есть несколько разнотипных ИС, предназначенных для учета движения товарно-материльных ценностей. В одной из таких систем в рабочий справочник вводится новая товарная номенклатура. На следующем шаге она передается в эталонный справочник товарных номенклатур, реализованный с помощью MDM-системы. В автоматическом режиме по заранее настроенным правилам для нее осуществляется поиск соответствующей эталонной номенклатуры. Если найти таковую не удалось, специалист по НСИ с помощью пользовательского интерфейса MDM-системы делает это вручную или, если номенклатура является новой, подтверждает новую запись в эталонном справочнике. Благодаря обратной связи в рабочий справочник внешней системы из MDM возвращается информация о номенклатуре с дополнительными атрибутами из эталонного справочника и ссылкой на эталонную номенклатуру. Это позволяет использовать рабочий справочник в оперативной работе во внешней системе и при необходимости, например, формировать отчеты в разрезе кодов эталонного номенклатурного справочника. Такую схему MDM принято называть комбинированной (Co-existence, или Hybrid) (см. рис. 3).

Рис. 3. Организация схемы синхронизации справочной информации

Выделяют еще один вид MDM – это реестр (Registry). При данном подходе в хранилище мастер-данных реальные данные не хранятся. Задачи MDM в таком случае – быстрое выявление схожих записей во многих системах и источниках и их связывание. Это дает возможность в реальном времени и в центральной точке получать данные из источников по перекрестным ссылкам.

Следует отметить, что внедрение MDM-решений в компаниях приводит к некоторому отделению справочных данных от прикладных приложений. Это, в свою очередь, побуждает создавать специальные подразделения по НСИ, основными функциями которых являются контроль и управление качеством основных данных. В ряде случаев проекты внедрения MDM-систем выгодно отличаются по показателям стоимости, эффективности и продолжительности от проектов реорганизации основных учетных ИС компании, таких как ERP, АБС и т.д. Иногда внедрение MDM-решения планируется как логичное развитие этих учетных систем.

Кто они – производители MDM-решений?

На рынке MDM-решений есть много игроков. Предлагаемые ими системы могут решать все описанные выше задачи. На рис. 4 и 5 знаменитые квадраты Gartner фиксируют позиции производителей PIM- и CDI-решений.

Компания IBM является одним из лидеров рынка MDM-решений. InfoSphere Master Data Management Server (MDM Server) – это решение вендора для управления информацией о клиентах, ориентированное на оперативное применение и бизнес-аналитику. В свою очередь, MDM Server for PIM предназначено для управления сложными и множественными иерархическими представлениями информации о продукции. Современное название этого решения – InfoSphere MDM Collaboration Server. Программные продукты для управления НСИ являются частью полномасштабной платформы по управлению корпоративной информацией IBM InfoSphere.

Компания Oracle является крупным игроком в области MDM, у вендора существует множество специализированных решений. Oracle Customer Data Hub (CDH) является первым приложением в семействе специализированных хранилищ основных данных, разрабатываемых компанией Oracle. Продукт подходит для управления реестрами клиентов, сотрудников, населения и пр. Отметим, что Oracle CDH постепенно замещается другим MDM-продуктом Oracle – Siebel UCM. В 2007 году компания Oracle приобрела Hyperion – известного производителя BI-решений. В числе продуктов Hyperion, продолживших свое развитие под флагом Oracle, – Hyperion Data Relationship Management (DRM). Он предназначен для управления НСИ с ориентацией на финансовые данные. Назначение решения Oracle Product Information Management Data Hub (PIM Data Hub) – централизация данных о продукции.

Компания Informatica широко известна в области хранилищ и интеграции данных. В то время как многие поставщики предлагают разные решения для различных доменов, которые зачастую навязывают фиксированные модели данных, Informatica избрала мультидоменный подход. Все необходимые домены мастер-данных можно вести на одной платформе и в рамках одного решения вендора. При этом между различными доменами могут быть построены связи любой сложности. Настраиваемые в Informatica MDM домены свободны от фиксированных моделей данных. Формирование «золотой» записи основывается на уровне доверия к конкретным атрибутам записей из систем-источников. При этом также можно учитывать дату/время изменения записи и использовать любые дополнительные бизнес-правила для изменения уровня доверия к атрибутам. Решение MDM от Informatica использует ведущую технологию поиска и выявления потенциальных дублей – Informatica Identity Resolution (IIR). Технология позволяет осуществлять высокоскоростной и высокоточный поиск и выявление потенциальных дублей с использованием механизмов нечеткой логики даже при низком качестве данных.

Рис. 4. Позиции производителей PIM-решений

Немецкая компания SAP – крупнейший производитель корпоративного ПО. В числе прочих продуктов и услуг она предлагает решение по управлению основными данными – SAP Netweaver MDM. Продукт нацелен на средние и крупные предприятия. Решение является одним из ключевых компонентов платформы SAP Netweaver, предназначенной для построения и интеграции корпоративных решений. Данная система реализует централизованную архитектуру хранения справочных данных о продукции, клиентах и пр. Отличительной особенностью SAP MDM является мультиязычность программного интерфейса и самих данных: существует возможность заводить данные для одной сущности на разных языках.

Рис. 5. Позиции производителей CDI-решений

Отдельно стоит отметить, что до недавнего времени цена и трудоемкость внедрения систем управления базовыми данными были неоправданно высокими для малого и среднего бизнеса. Стоимость легко могла достигать 1 млн долларов – недосягаемая цифра для таких компаний. И вот появились хорошие новости. Последняя версия Microsoft SQL Server включает в качестве бесплатного приложения MDM-систему под названием Master Data Services (MDS). Выход Microsoft на рынок MDM-систем – знаковое событие, если учитывать, что большинство малых и средних компаний используют решения этого вендора для управления своими данными и осуществления ежедневных операций. Небольшие фирмы, которые раньше не могли позволить себе внедрение дорогих MDM-систем, смогут получить «коробочное» решение, просто установив MS SQL Server 2008 R2.

В последнее время на рынок вышло множество новых разработчиков MDM, включая Teradata, Kalido, ObjectRiver Inc., Talend и др. Так, компания Talend предлагает решение Talend MDM Community Edition, которое призвано составить недорогую альтернативу другим MDM-системам и имеет открытый код.

Перспективы

По мнению специалистов, мировой рынок программного обеспечения класса MDM рассматривается как один из наиболее растущих в ИТ-отрасли. Так, по прогнозам Forrester Research, рынок MDM в этом году составит 6,7 млрд долл. Gartner полагает, что мировой доход от продаж ПО класса MDM в 2012 году достигнет 1,9 млрд долл., что на 21% больше, чем в прошлом. При этом, полагают аналитики, решения MDM появятся в центре ИТ-архитектуры многих организаций. Конкретных цифр по российскому рынку нет, но о его внушительных объемах и росте свидетельствуют примеры успешных внедрений MDM-решений в крупных российских банках, добывающих компаниях, госкорпорациях.

Источник