Управление данными в крупных компаниях
Сегодня мы поговорим о Data Governance — управлении данными в компаниях.
Позади 9 важных тем управления данными — мы говорили о причинах работы с данными, обсудили, как их загружать, хранить, обрабатывать и как создавать на  их основе продукты, а также искать в данных инсайты.

На уровне «для чайников» мы познакомились со всеми важными элементами управления данными.
DataGovernance
  • установления политик, процедур и руководств использования данных

  • контроля за соблюдением политик, процедур и руководств

  • решения проблем, связанных с данными
Управление данными на уровне организации происходит за счет выстраивания процессов:
  • управление доступностью данных

  • управление удобством использования данных

  • управление целостностью данных

  • управление безопасностью данных
Управление данными это:
То есть управление данными (DataGovernance) — это не столько выполнение определенных технических манипуляций с данными и информацией.

Управление данными — это задача организации процессов работы с данными внутри компании для эффективного достижения бизнес-целей.
Для лучшего понимания можно сравнить управление данными со строительством домов.

Кирпичи, железобетонные блоки, гипсокартон, отделочные материалы — это наши данные, ETL-инструменты, БД, BI-инструменты. Какими бы замечательными не были строительные материалы, они не сложатся сами в дом — для этого нужны строители. А строителей должен кто-то взять на работу, научить пользоваться инструментами, распределить роли и объяснить задачи. И управлять процессом строительства так, чтобы дом соответствовал ожиданиям и был построен в срок. Если мы строим один частный дом для себя — вряд ли мы будем прописывать правила, регламенты, инструкции и разрабатывать стандарты проведения строительных работ.

Но если мы строим многоэтажный жилой комплекс, то управление строительством превращается в отдельную сложную задачу. Нам нужно будет организовать процесс строительства так, чтобы дом соответствовал всем нормам, СНИП-ам и ГОСТ-ам. Не будет регламентированных процессов — цемент не привезут вовремя, рабочие будут без касок, а геодезисты отснимут не тот участок. Управляет строительством главный инженер — он не строит дом сам, но отвечает за объем, качество, сроки и стоимость строительства, а также его соответствие проектной документации и техническим нормативам. В случае управления данными, главный инженер — это CDO (директор по управлению данными) — он отвечает за разработку стратегии управления данными, определяет политики, процедуры и стандарты для управления данными организации.
внедрение инструментов и технологий, необходимых работы с данными
разработку процессов использования данных
определение данных, необходимых для поддержки бизнес-целей
В первых статьях мы уже говорили о том, что управление данными — это процесс, связанный с накоплением, организацией, обновлением, хранением данных и поиском информации.

Управление данными (DataGovernance) на уровне организации — это сложная задача, она включает в себя:
Что такое управление данными?
1
Первый шаг внедрения управления данными в компании — разработка стратегии.
Стратегические цели управления данными должны быть четко связаны с ключевыми бизнес-задачами и целями компании. Например, если у компании есть KPI на импортозамещение, то в стратегии управления данными должна быть цель внедрения отечественных продуктов для работы с данными.

Стратегия управления данными должна включать планы по управлению доступностью данных (их качеством, полнотой, своевременностью доставки), планы по управлению безопасностью данных (оперативное предоставление данных тем, кому они нужны и пресечение несанкционированного доступа) и планы по операционализации данных — доставки данных до конечных потребителей в нужной форме.
Разработайте стратегию управления данными.
Планы — бесполезны, планирование — бесценно.
Мы опишем ключевые шаги, которые необходимо выполнить, чтобы внедрение было успешным:
То, о чем мы будем говорить дальше в большей степени относится к таким компаниям, как Uber, чем к таксопаркам небольших населенных пунктов. Тем не менее, общие подходы управления данными, позволят повысить эффективность бизнеса любого размера.

Внедрить практики управления данными в крупной компании — сложная задача, которая может занять не один год.
Управление данными — это задача, которая решается в любой компании. Любая компания ведет бухгалтерскую отчетность, анализирует финансовые потоки, сдает отчетность в государственные органы.

Но в маленьких компаниях обычно данных не много, бизнес-процессы проще и достаточно ручного «стихийного» управления данными: внутри операционных систем, Excel-файлов и головы генерального директора. Такой подход может быть весьма успешен для небольшого бизнеса, а затраты на промышленные решения для управления данными — дорогими и не эффективными.

А в крупных компаниях, где много данных, сотрудников и процессы сложные, управлять данными в Excel уже не эффективно. В крупных компаниях применяют системный подход к управлению данными.

Рассмотрим это на двух примерах.

Uber — это компания по совместному использованию поездок, которая построила свой интернациональный бизнес на данных. Компания использует данные для оптимизации своей стратегии ценообразования, прогнозирования спроса и корректировки цен для максимизации доходов. Uber также использует данные для оптимизации своей сети водителей, прогнозируя доступность водителей и подбирая водителей с наиболее эффективными маршрутами. Управлять таким бизнесом невозможно без хранилища данных, аналитических инструментов и DataScience.

Таксопарк в небольшом городе — в городе проживает 1000 человек, средняя поездка занимает 5−7 минут, стоимость поездки фиксированная — 100 рублей. Оператор фиксирует заказы в системе ордеринга и передает водителям, бухгалтер сводит информацию о доходах и расходах в 1С, а генеральный директор анализирует сводный отчет по прибылям и убыткам, чтобы принять решения — нужно ли повышать стоимость поездок, снижать накладные расходы. Это пример бизнеса, которым можно эффективно управлять без хранилища данных, сложных процессов и стратегии управления данными.
Как внедрить управление данными в крупной компании?
2
3
4
Команда управления данными — это не только технические специалисты, которые работают в дата-офисе. Это и владельцы данных — эксперты, которые отвечают за операционные системы, и бизнес-пользователи — потребители данных.

Стратегия, стандарты и процессы бесполезны, если их некому выполнять. Все члены большой команды, которые вовлечены в работу с данными, должны быть знакомы со всеми стратегическими документами, политиками и процедурами, должны быть согласны с ними и выполнять договоренности.

Более подробно про роли и профессии в управлении данными мы будем говорить в следующем лонгриде.
Создайте команду управления данными.
Крупные дела не делаются одним человеком, они совершаются командой.
Процессы и стандарты облегчают жизнь людей, взаимодействие и решение задач. Например, в повседневной жизни стандарты качества Роспотребнадзора позволяют нам покупать продукты в супермаркетах и не боятся отравиться. А процессы и правила ГИБДД — диктуют план действий в случае ДТП.

Процессы и стандарты важны и для управления данными в компаниях. Они помогают сотрудникам ориентироваться в правилах взаимодействия и формулировать свои ожидания.

Процессы могут определять, например, какой порядок действий должен совершить сотрудник, чтобы в хранилище начали загружаться данные из новой системы. И этот порядок действий должен зависеть от стратегических целей управления данными — если стратегическая цель в максимизации прибыли от использования данных, то перед подключением источника должно рассчитываться ТЭО. Если стратегическая цель - внедрение инноваций, то ТЭО не потребуется, а новый источник должен быть подключен в минимальные сроки.

При внедрении управления данными разрабатывают стандарты для моделирования данных, интеграции данных, управления качеством данных и хранения данных. А также процессы для сбора, хранения и управления данными. Стандарты и процессы должны соответствовать и стратегическим целям бизнеса, и стратегии управления данными.
Определите процессы и стандарты.
Менять правила — очень хлопотный процесс.
Управление данными — это способ достижения бизнес-целей и задач компании через ИТ-технологии. Поэтому разрабатывать и внедрять стратегию управления данными нужно при участии всех заинтересованных лиц — ИТ, бизнес-подразделений и высшего руководства.

Эффективнее всего будет создать специальный комитет, в который войдут заинтересованные представители всех подразделений.
Создайте комитет управления данными.
Никто не может в одиночку сыграть симфонию. Для этого нужен целый оркестр.
5
6
7
8
9
Успешное управление данными дает компаниям конкурентное преимущество в своих отраслях. Это позволяет менеджменту лучше понимать свои сильные и слабые стороны, лучше понимать своих клиентов и их потребности, лучше понимать рынок и возможности для роста прибыли.
Даже если вы разработали шикарные процессы, стандарты и реализовали волшебную экосистему управления данными — это бесполезно, если вы не расскажете об этом сотрудникам компании. Если они не знают, для чего использовать данные, как ими пользоваться, как получить доступ и извлечь из данных пользу — все инвестиции будут напрасными.

Поэтому важно рассказывать о стратегии и политиках управления данными всем заинтересованным сторонам в организации. Вся информация должна быть описана и доступна на внутренних ресурсах компании. А также важно проводить обучение, чтобы все сотрудники понимали важность управления данными и свою роль в этом процессе.
Информируйте и обучайте.
Если чего-то нет в документах — этого не существует. Пока информация хранится у кого-то в голове — она легко теряется
Управление данными — это процесс, а не проект. Но внутри этого процесса может быть множество проектов. Подключение нового источника — это проект. Загрузка данных из источника в хранилище — проект. Создание витрины — это проект. Каждый проект имеет свою конечную цель и конечную точку. А процесс управления данными — цикличен.

Если мы бесконечно наполняем наше хранилище данными, создаем витрины и отчетность, то в конечном итоге наше хранилище будет похоже на склад забытых вещей. Важно не только создавать новые инфосервисы, но также регулярно проводить ревью и удалять невостребованные данные, отчетность и витрины.
При внедрении DataGovernance нужно разработать процесс управления жизненным циклом данных, включая сбор, хранение и удаление данных. Этот процесс должен соответствовать стратегии управления данными.
Внедрите управление жизненным циклом данных.
Прежде чем создать что-то повторяемое и многоразовое, сначала нужно создать что-то одноразовое
Мы часто читаем в прессе новости про утечки персональных и других видов данных.
Данные сегодня — это самый ценный актив компаний, и на персональные данные очень высокий спрос в даркнете.

Управление данными включает и управление безопасностью данных. Внедряя в компании DataGovernance практики нужно позаботиться и о мерах безопасности данных, таких как контроль доступа, шифрование и маскирование данных, чтобы защитить конфиденциальные данные и обеспечить соблюдение соответствующих нормативных требований и отраслевых стандартов.

Но цель управления данными — организовать экосистему, в которой сотрудники могут легко использовать данные для решения своих задач. Поэтому задача управления безопасностью данных шире — это поиск баланса между доступностью данных и их безопасностью. С одной стороны, пользователи должны быстро и просто получать доступ к данным, которые им нужны для решения задач. А с другой стороны — не иметь доступа к данным, которые им не позволено использовать.
Обеспечьте безопасность данных.
Защита чьих-то клиентских данных — защита всех нас.
Мы с вами говорили про качество данных на протяжении 2х лонгридов, и это не спроста. Качество данных — это главный приоритет управления данными.

Внедряя DataGovernance важно не только определить и установить стандарты качества данных. Важно выстроить процессы проверки данных и процедуры очистки, и обогащения данных. А также установить контрольные точки, и продумать сценарии реагирования.

Например, в банковской сфере, где очень много процессов зависит от качества клиентских данных, которые вводят операторы в интерфейсе, контроль качества вводимой информации мониторят в онлайн-режиме. И в случае, если контролер видит снижение качества вводимых данных, то он должен подойти к оператору — и помочь исправить ошибки ввода, дать нужные инструкции и провести обучение в моменте.
Определите требования к качеству данных.
Даже если ты на правильном пути, тебя могут переехать, если ты будешь на нём просто сидеть
Невозможно управлять данными, совсем не инвестируя в технологии и инфраструктуру.
Для обеспечения процессов потребуется создать хранилище данных, настроить интеграцию данных и внедрить инструменты анализа данных.
Но решение о том, в какие инструменты инвестировать и какую инфраструктуру использовать должно опираться на стратегические цели и расчет возврата инвестиций.

Например, задачи небольших компаний могут лучше решать облачные платформы. А для крупных государственных компаний лучше подойдут собственные дата-центры.
Инвестируйте в технологии и инфраструктуру.
Не важно, насколько на сколько дорогой у вас софт или как эффективна команда, если вы не решаете правильную проблему, то проект провалится.
Для работы с качеством данных были созданы Мастер-система нормативно-справочной информации (MDM) и системы для унификации адресной и клиентской информации (ОРПОН, CDI).

Но недостаточно просто создать хранилище с качественными данными, чтобы решить задачи бизнеса и внедрить Data-Driven культуру. Пользователям нужны не сами данные, а сервисы над данными. Наша цель — обеспечить операционализацию данных, то есть их использование в бизнес-процессах компании.

Для этого были настроены процессы работы с данными — создана фабрика аналитической отчетности. За каждым сегментом бизнеса был закреплен фронт-менеджер DataOffice, который вместе со своей командой помогал бизнесу решать аналитические задачи. А также бизнес-пользователи смогли сами создавать отчетность в режиме self-service.

На этом базисе мы построили «Профиль клиента», который мы дополнили технологиями искусственного интеллекта. Это в частности позволило создавать рекомендации релевантных продуктов и услуг нашим клиентам.

В результате сейчас наши пользователи имеют возможность выполнять все аналитические задачи на единой платформе (Data-as-Service).

В какой-то момент мы осознали, что накопленный опыт и наработки могут быть полезны не только внутри «Ростелекома», но могут помочь и другим компаниям управлять данными. Сегодня «Ростелеком» — крупнейший в России игрок на рынке облачных решений, с большой сетью сертифицированных ЦОД по всей стране. И появление облачных сервисов по работе с данным очень востребовано.

Мы хотели сделать решение, в котором каждый из продуктов в облаке может быть использован и как отдельный сервис — как в дополнение к существующему хранилищу, так и в связке со всей экосистемой. И сегодня платформа управления данными пользуется большим спросом на рынке.
Текущий проект по созданию Централизованного хранилища данных (ЦХД) был запущен в 2018 году. Основной фокус внимания проекта — создание технологической платформы для подготовки данных в целях формирования отчетности и аналитических сервисов.

Перед командой стояла сложная задача: выстроить централизованное хранилище, вобрать в себя функционал существующих локальных решений, не снизив их качества.
«Ростелеком» переживал трансформацию. Все больше подразделений компании интересовались данными. И в любой момент мог произойти сильный рост по объему данных и нагрузки на хранилище.

Задача проекта ЦХД — создать фундамент — Платформу управления данными, которая была бы устойчива к возрастающим требованиям бизнеса. А также обеспечить качество и актуальность данных в хранилище.
В компании было несколько попыток построить централизованное хранилище. При старте текущего проекта по внедрению процессов управления данными были определены следующие стратегические цели:
Управление данными:
практический пример Ростелекома
Эффективное использование данных требует дата-грамотности сотрудников во всей организации. Отсутствие инвестиций в развитие грамотности может ограничить способность сотрудников эффективно использовать данные и подорвать эффективность внедрения стратегии управления данными.
5. Недостаточная грамотность сотрудников при работе с данными
Распространенная ошибка при внедрении управления данными — отсутствие четких целей и задач. Без четких целей трудно измерить успех инициативы. А неспособность измерить прогресс и результаты может затруднить оценку эффективности стратегии и внесение необходимых корректировок.
4. Отсутствие измерения прогресса и результатов
В управление данными должны быть вовлечены заинтересованные стороны во всей организации, чтобы гарантировать, что она отражает потребности и приоритеты всех бизнес-подразделений. Без поддержки инициативы по управлению данными со стороны бизнес-подразделений будет сложно получить необходимые ресурсы.
3. Отсутствие вовлечения заинтересованных сторон в компании
Эффективный анализ данных и принятие решений требуют высококачественных данных. Низкое качество данных может привести к недоверию к данным и может помешать принятию решений на основе данных. А это в свою очередь помешает достичь стратегических бизнес-целей.
2. Недостаточное внимание к качеству данных
Распространенная ошибка — уделять слишком большое внимание технологиям и недостаточное внимание бизнес-целям. Если технологические ограничения выбранной платформы не позволяют реализовать бизнес-задачи, значит требуется менять платформу.
1. Приоритет технологиям, а не бизнес-целям
Вот несколько типичных ошибок, которые часто встречаются при внедрении стратегии управления данными в организациях:
5 ошибок джуна при внедрении DataGovernance
Многонациональная нефтегазовая компания внедрила программу управления данными для управления огромными объемами данных, которые она собирает в ходе операций по разведке, добыче и переработке. Программа помогла компании улучшить безопасность, повысить эффективность и сократить расходы.
Royal Dutch Shell
Target — розничный продавец, внедривший стратегию данных, ориентированную на персонализацию и качество обслуживания клиентов. Компания использует данные, чтобы персонализировать опыт покупок в магазине и в Интернете для своих клиентов, давая рекомендации на основе прошлых покупок и истории просмотров.
Target
Procter & Gamble — компания по производству потребительских товаров, внедрившая подход к разработке продуктов, основанный на данных. Компания использует данные для выявления тенденций и потребностей потребителей, которые информируют о разработке продуктов и маркетинговых стратегиях.
Procter & Gamble
Amazon — еще одна компания, которая построила свой бизнес на данных. Компания использует данные для оптимизации своей платформы электронной коммерции, рекомендуя продукты на основе поведения пользователей и истории поиска. Amazon также использует данные для улучшения своей цепочки поставок, прогнозирования спроса и оптимизации уровня запасов.
Amazon
Netflix — это компания, построенная на данных. Компания использует данные для персонализации просмотра для своих пользователей, делая рекомендации на основе истории просмотров, пользовательских предпочтений и других точек данных. Компания также использует данные для оптимизации своих предложений контента, приобретая и создавая контент на основе анализа данных.
Netflix
5 вдохновляющих примеров
про управление данными
Кейс Tele2 — внедрить процессы DG в динамичном быстрорастущем бизнесе

  • Можно ли построить эффективный и прибыльный бизнес без инструментов DataGovernance? Разбираемся на примере компании Tele2.
Демократизация данных. За и против. Регуляторные требования и этика работы с данными

  • Зачем данные о людях нужны компаниям и почему это важно
  • С позиции человека: какие риски и какие бенефиты несет в себе накопление данных о нем компаниями
  • Каким образом можно организовать обмен данными между компаниями
Как построить DataOffice с нуля?

  • Где находится нулевая отметка для уровня развития данных в современной крупной компании?
  • Люди, процессы и технологии — что является первоочередным при создании дата-офиса
  • Развитие self-service
Подходы к управлению DataOffice

  • Выстраивание подхода по взаимодействию с подразделениями
  • Выстраивание эффективной работы с данными, которая помогает правильно разграничить ответственность между подразделениями
Рекомендуем следующие материалы по теме:
Подборка ссылок для самых любознательных
This site was made on Tilda — a website builder that helps to create a website without any code
Create a website