После того как системные архитекторы определили аппаратные и программные компоненты, необходимые для построения платформы, их требуется реализовать — развернуть железо, установить и настроить программное обеспечение, подготовить инфраструктуру. За это отвечают системные администраторы. Их задача — настроить компоненты инфраструктуры так, чтобы платформа данных всегда была доступна и работала оптимально. Это включает в себя управление хранилищем, BI-средами, резервными копиями и системными обновлениями.
Инфраструктура (железо и софт) без данных — это как пустая коробка. Она может быть красивой и дорогой, но совершенно бесполезной, если в ней ничего не лежит. Чтобы хранение данных было эффективным, данные должны загружаться в хранилище согласно правилам, которые разрабатывают архитекторы модели данных. Эти специалисты несут ответственность за разработку логической модели данных хранилища. Они идентифицируют сущности, атрибуты и отношения, необходимые для поддержки требований организации к данным.
Логическую модель хранилища данных можно сравнить с чертежами архитектора — это хорошо продуманная концепция, каким должно быть здание, а не само здание — его строят строители. За воплощение логической модели в физике (создание потоков данных, таблиц и витрин) отвечают системные разработчики и специалисты сопровождения.
После того как определена логическую модель хранилища данных требуется спроектировать и разработать модули интеграции данных. Системные разработчики отвечают за проектирование и разработку модулей, которые позволяют интегрировать данные из разных источников в хранилище данных. Сюда входит разработка процессов ETL, которые извлекают, преобразовывают и загружают данные из исходных систем в хранилище данных. А также разработка модулей, позволяющих хранить и извлекать данные из хранилища данных — схемы хранения данных, оптимизация запросов на получение данных и обеспечение эффективного и организованного хранения данных.
Когда модули интеграции данных спроектированы, разработаны и протестированы — система готова к тому, чтобы запустить процессы доставки данных из источников в хранилище. Модули интеграции — это трубы, а данные — это вода. За то, чтобы данные потекли по интеграционным потокам отвечают специалисты внедрения и сопровождения. Эти специалисты проводят тестовые подключения к системам-источникам, тестируют результаты загрузки, трансформации и выгрузки данных. Специалисты команды сопровождения обеспечивают промышленный ETL-процесс, следят за качеством данных, выявляют проблемы и работают над их устранением.
Продумывают архитектуру платформы управления данными системные архитекторы. Они отвечают за определение общей архитектуры платформы, включая аппаратные и программные компоненты, необходимые для построения системы. Они должны гарантировать, что архитектура является масштабируемой и гибкой. Системные архитекторы должны выбирать технологические решения (БД, ETL, BI-инструменты и пр.), которые смогут решить стоящие перед компанией задачи сейчас и будут соответствовать меняющимся требованиям к данным со временем.
Платформа управления данными — это комплекс программных и аппаратных средств для решения задач накопления, обновления, хранения и визуализации данных. К платформе относятся хранилище данных, ETL инструменты, инструменты контроля качества данных, инструменты визуализации и анализа данных.
Платформа управления данными.
Рассмотрим экосистему управления данными и поговорим о том, какие специалисты работают над созанием ее основных элементов: Платформа управления данными, Управление нормативно-справочной информацией, Инструменты DataGovernance, Фабрика аналитической отчетности и DataScience.
И в этой экосистеме требуются и классические ИТ-специалисты (разработчики, администраторы), и менеджеры, и дата-специалисты.
Их объединяет одно — они работают с данными, и они делают процессы работы с данными проще для бизнес-пользователей.
Экосистема управления данными —
это комплекс ИТ-систем и процессов.
Чтобы устроиться на работу в дата-офис не обязательно быть датасаентистом.
Кто работает в дата-офисе?