Дата-профессии
Сегодня мы поговорим про основные профессии, связанные с данными. И расскажем, как начать карьеру дата-сфере.
Теперь вы знаете, что для эффективного  управления данными в компании требуются Технологии, Процессы и Люди. В предыдущих 10 лекциях марафона DataTalks мы рассмотрели первые два аспекта.

Теперь нам осталось обсудить последний, и самый важный компонент — людей, которые управляют данными. Сегодня мы поговорим про дата-профессии.

В современном мире данные стали одним из самых ценных активов для компаний, поэтому люди, способные работать с данными профессионально, очень высоко ценятся на рынке труда.

Дата-специалисты способствуют внедрению инноваций, повышению эффективности и принятию обоснованных решений, которые влияют на успех бизнеса.
Люди, которые управляют данными
После того как системные архитекторы определили аппаратные и программные компоненты, необходимые для построения платформы, их требуется реализовать — развернуть железо, установить и настроить программное обеспечение, подготовить инфраструктуру. За это отвечают системные администраторы. Их задача — настроить компоненты инфраструктуры так, чтобы платформа данных всегда была доступна и работала оптимально. Это включает в себя управление хранилищем, BI-средами, резервными копиями и системными обновлениями.

Инфраструктура (железо и софт) без данных — это как пустая коробка. Она может быть красивой и дорогой, но совершенно бесполезной, если в ней ничего не лежит. Чтобы хранение данных было эффективным, данные должны загружаться в хранилище согласно правилам, которые разрабатывают архитекторы модели данных. Эти специалисты несут ответственность за разработку логической модели данных хранилища. Они идентифицируют сущности, атрибуты и отношения, необходимые для поддержки требований организации к данным.

Логическую модель хранилища данных можно сравнить с чертежами архитектора — это хорошо продуманная концепция, каким должно быть здание, а не само здание — его строят строители. За воплощение логической модели в физике (создание потоков данных, таблиц и витрин) отвечают системные разработчики и специалисты сопровождения.

После того как определена логическую модель хранилища данных требуется спроектировать и разработать модули интеграции данных. Системные разработчики отвечают за проектирование и разработку модулей, которые позволяют интегрировать данные из разных источников в хранилище данных. Сюда входит разработка процессов ETL, которые извлекают, преобразовывают и загружают данные из исходных систем в хранилище данных. А также разработка модулей, позволяющих хранить и извлекать данные из хранилища данных — схемы хранения данных, оптимизация запросов на получение данных и обеспечение эффективного и организованного хранения данных.

Когда модули интеграции данных спроектированы, разработаны и протестированы — система готова к тому, чтобы запустить процессы доставки данных из источников в хранилище. Модули интеграции — это трубы, а данные — это вода. За то, чтобы данные потекли по интеграционным потокам отвечают специалисты внедрения и сопровождения. Эти специалисты проводят тестовые подключения к системам-источникам, тестируют результаты загрузки, трансформации и выгрузки данных. Специалисты команды сопровождения обеспечивают промышленный ETL-процесс, следят за качеством данных, выявляют проблемы и работают над их устранением.
Продумывают архитектуру платформы управления данными системные архитекторы. Они отвечают за определение общей архитектуры платформы, включая аппаратные и программные компоненты, необходимые для построения системы. Они должны гарантировать, что архитектура является масштабируемой и гибкой. Системные архитекторы должны выбирать технологические решения (БД, ETL, BI-инструменты и пр.), которые смогут решить стоящие перед компанией задачи сейчас и будут соответствовать меняющимся требованиям к данным со временем.
Платформа управления данными — это комплекс программных и аппаратных средств для решения задач накопления, обновления, хранения и визуализации данных. К платформе относятся хранилище данных, ETL инструменты, инструменты контроля качества данных, инструменты визуализации и анализа данных.
Платформа управления данными.
Рассмотрим экосистему управления данными и поговорим о том, какие специалисты работают над созанием ее основных элементов: Платформа управления данными, Управление нормативно-справочной информацией, Инструменты DataGovernance, Фабрика аналитической отчетности и DataScience.
И в этой экосистеме требуются и классические ИТ-специалисты (разработчики, администраторы), и менеджеры, и дата-специалисты.

Их объединяет одно — они работают с данными, и они делают процессы работы с данными проще для бизнес-пользователей.
Экосистема управления данными —
это комплекс ИТ-систем и процессов.
Чтобы устроиться на работу в дата-офис не обязательно быть датасаентистом.
Кто работает в дата-офисе?
Задача DG-инструментов — дать конечному пользователю информацию о том, какие данные и информационные сервисы есть в компании, как найти данные и использовать их. Команда DG разрабатывает стандарты документирования данных, описания дата-продуктов (отчетов, витрин, аналитических сервисов), систематизирует информацию и публикуют ее на корпоративном ресурсе.

В команду DataGovernance входят специалисты по качеству и профилированию данных, менеджеры, разработчики DG-инструментов. Команда DG отвечает за разработку политик и стандартов, внедрение программного обеспечения, управление рабочими процессами, обучение дата-грамотности и поддержку пользователей.

Специалисты по качеству и профилированию данных определяют правила и рекомендации по качеству данных, управляют коммуникациями между командами, заинтересованными в качестве данных, внедряют инструменты профилирования и мониторинга для своевременного выявления проблем с качеством данных.

Менеджеры отвечают за разработку политик и стандартов управления данными. Эти политики и стандарты определяют правила и рекомендации по управлению данными, их качеству, конфиденциальности и безопасности. Также они проводят обучение и внедрение дата-грамотности в компании.

Разработчики DG-инструментов отвечают за разработку и внедрение программного обеспечения для автоматизации DG-процессов. Это инструменты для автоматизации политик и стандартов управления данными — документирования и описания дата-продуктов, поиска отчетности, построения data-lineage.
Инструменты DataGovernance
О внедрении MDM-систем, мастер-справочников и систем управления НСИ чаще всего задумываются, когда в компании много операционных систем, и их нужно интегрировать в бесшовные процессы.

Чтобы информация передавалась из одной системы в другую без потерь и затрат на ручную постобработку, внедряют мастер-справочники и синхронизируют справочники систем между собой.

Когда в компании внедряется хранилище — мы получаем в одном месте данные из множества информационных систем в компании. Чтобы «подружить» эти данные между собой нужны мастер-данные, и мастер-справочники. Например, чтобы по единому ключу соединить данные о клиентах из разных систем. Или чтобы по идентификатору адреса собрать из разных информационных систем все, что известно про этот дом.

За внедрение MDM систем и процессов управления нормативно-справочной информацией (УНСИ) обычно отвечает отдельная команда — это специалисты по качеству данных, разработчики интеграционных интерфейсов, аналитики данных и процессов. Задача команды УНСИ — обеспечение точности, полноты, непротиворечивости и безопасности мастер-данных организации, а также в сопровождении системы MDM.

Аналитики данных и процессов отвечают за определение элементов, атрибутов мастер-данных, а также определяют отношения между различными элементами мастер-данных. Это включает в себя создание словарей данных, диаграмм сущность-связь и других типов моделей данных, чтобы обеспечить четкое понимание мастер-данных и того, как они связаны с другими данными в организации. Также они несут ответственность за разработку и внедрение политик управления данными, которые обеспечивают точность, полноту, согласованность и безопасность мастер-данных в системе MDM

Разработчики интеграционных интерфейсов отвечают за управление интеграцией MDM-системы с другими системами в организации. В их задачи входит определение требований к интеграции данных, разработка процессов интеграции данных и обеспечение точности и согласованности данных в разных системах

Специалисты по качеству данных разрабатывают правила и показатели качества данных в MDM, выявляют и устраняют проблемы с качеством данных (дедубликация, нормализация и пр.), а также внедряют процессы очистки и обогащения данных.
Задачей команды УНСИ также является создание единого корпоративного глоссария — реестра всех бизнес-терминов, и их определений. Бизнес-глоссарий, созданный командой УНСИ, ложится в основу DG-инструментов.
Управление нормативно-справочной информацией
Направление DataScience занимается глубокой аналитикой данных с применением методов машинного обучения (искусственного интеллекта) и создает рекомендательные модели реагирования и принятия решений.

В качестве основы для разработки DataScience моделей может использоваться широкий клиентский профиль. Этот профиль составляют не только внутренние данные компании, но и данные из ряда внешних источников. К клиентскому профилю относятся возраст, пол, контактные и геоданные, регистрационное и судебное досье на юридические лица, потребительские предпочтения и активность, финансовая стабильность и множество другой информации.

В команде DataScience можно выделить два основных типа сотрудников: дата-саентисты анализируют данные и разрабатывают модели, а дата-инженеры занимаются подготовкой данных.

Дата-саентисты используют статистические методы и методы машинного обучения для анализа данных и построения моделей, которые можно использовать для прогнозирования или выявления закономерностей в данных. Для задач машинного обучения требуются большие и сложные наборы данных, которые часто требуют значительной очистки и обработки, прежде чем их можно будет проанализировать.

Дата-инженеры отвечают за сбор, обработку и хранение данных из широкого круга источников. Это может включать в себя настройку систем для сбора данных из API, веб-скрапинг или работу с внешними поставщиками для получения данных. Дата-инженеры отвечают также за обработку и преобразование данных в формат, который можно использовать для анализа. Это может включать очистку, нормализацию данных или выполнения крупномасштабной обработки данных.
DataScience (интегрированные в бизнес-процесс алгоритмы искусственного интеллекта).
Платформа управления данными, системы УНСИ и инструменты DataGovernance — это технологический базис, который позволяет сделать процессы разработки конечных дата-продуктов для бизнеса эффективнее, проще и дешевле. Конечные продукты для бизнеса создаются на фабрике аналитической отчетности. Это команда, которая занимается разработкой отчетности в интересах бизнес-заказчиков.

Цель фабрики аналитической отчетности — предоставлять бизнесу аналитические инструменты, чтобы бизнес-заказчики могли принимать своевременные и обоснованные управленческие решения.

В команде аналитической отчетности работают бизнес-аналитики, системные-аналитики, функциональные и BI-разработчики.

Бизнес-аналитик погружается в задачу заказчика и помогает сформулировать полные, четкие и непротиворечивые требования на разработку аналитической отчетности. Сотрудники на этой позиции работают с заказчиками из бизнес-подразделений компании и работают «переводчиками» между бизнесом и ИТ.

Системный аналитик проектирует витрины данных в хранилище в соответствии с бизнес-требованиями заказчика. Сотрудник на этой позиции прорабатывает процессы загрузки данных из источников в хранилище, продумывает оптимальные структуры данных и обеспечивает качество данных итогового аналитического отчета.

Функциональный разработчик автоматизирует процессы выгрузки данных из систем источников и их загрузки в хранилище, а также разрабатывает процессы наполнения аналитических витрин данными. Сотрудники на этой позиции создают решения, которые позволяют ежедневно загружать в хранилище терабайты данных и своевременно доставлять аналитику до заказчиков.

BI разработчик занимается визуализацией данных — превращает плоские таблицы в аналитические дэшборды и представляет большие объемы информации в сжатом виде удобном для работы бизнес-заказчиков.
Фабрика аналитической отчетности
Начать карьеру в дата-сфере может быть непросто. Но если вы читаете эти строки — значит вам действительно интересна сфера данных, а это уже половина успеха. Мы желаем вам удачи и будем рады видеть вас на наших DataTalks мероприятиях.
1. Развивайте свои технические навыки. Чтобы добиться успеха в дата-сфере, вам необходимы навыки работы с языками программирования — как минимум SQL и Python. Важно, чтобы вы понимали принципы работы хранилищ данных, реляционных и нереляционных БД. А также умели разрабатывать отчеты с помощью BI-инструментов.

2. Получите образование. Сегодня существует множество онлайн-курсов и университетских программ, которые могут помочь разобраться в управлении данными. Выбор конкретной программы зависит от вашего опыта и знаний. Для ИТ-специалиста из смежной области может быть достаточно открытых курсов на youtube, а для гуманитария лучше подойдет университетская программа.

3. Создайте портфолио проектов. Начните работать над реальными проектами, чтобы набраться опыта. Вы можете работать над личными проектами, используя открытые данные и облачные платформы, или участвовать в проектах с открытым исходным кодом.

4. Ищите стажировки или должности начального уровня. Ищите возможности получить практический опыт в области данных, например, на позициях специалиста команды сопровождения или бизнес-аналитика. Это поможет вам применить знания на практике и познакомиться с реальными процессами работы с данными в компаниях.

5. Заводите знакомства. Посещайте отраслевые мероприятия, подписывайтесь на телеграм-каналы и общайтесь с профессионалами в области данных. Нетворкинг может помочь вам узнать больше о профессии, познакомиться с экспертами, найти стажировку или подходящую вакансию.

6. Будьте в курсе тенденций. Технологии работы с данными постоянно развиваются, поэтому важно быть в курсе последних тенденций. Если вы будете знать о современных технологиях по работе с данными — это продемонстрирует ваш интерес к данным и будет выгодно отличать вас от других начинающих специалистов.
Вот несколько шагов, которые вы можете предпринять, чтобы начать свою дата-карьеру:
Поскольку интерес компаний к принятию решений на основе данных не ослабевает, то и спрос на дата-специалистов растет. Многие хотят начать работать в ИТ и в BigData, соблазняясь большими зарплатами, фильмами про хакеров и роботов. Но вряд ли получится построить карьеру в дата-сфере с такими ожиданиями — на старте зарплата может быть скромной, а работа не самой интересной. Но тех, кого действительно увлекают данные, кому нравится разбираться в деталях и видеть тренды в цифрах, ждет успех.

Конечно, тем, кто уже работает в смежной сфере в ИТ, или тем, кто занимается анализом данных, как бизнес-пользователь, начать карьеру в управлении данными будет проще. Но в принципе, это по силу каждому, если есть желание.
Как начать карьеру в области данных?
Часто компании предпочитают кандидатов с меньшим опытом, но желанием развиваться, чем экспертов с синдромом выгорания. Подготовьте развернутый ответ на вопрос «Готовы ли вы учиться новому?». Расскажите, как вы остаетесь в курсе последних событий в сфере данных, про блоги и каналы, за которыми следите, конференции, которые вас заинтересовали. Также не будет лишним упомянуть курсы, которые вы прошли, и которые стоят в вашем плане обучения.
Будьте готовы доказать свой интерес к данным
Скорее всего ваше собеседование будет проходить не только с техническими специалистами, но и с менеджерами и HR-рекрутерами. Специалист по данным должен иметь эффективно общаться как с техническими, так и с нетехническими заинтересованными сторонами. Попрактикуйтесь в объяснении технических понятий простым языком — это поможет вам самим разобраться в сложных темах, и поможет быстрее находить общий язык с любым заказчиком в дальнейшем.
По практикуйте свои навыки общения
Приготовьтесь рассказать о своем опыте работы с различными инструментами и программным обеспечением для анализа данных. Также будьте готовы привести конкретные примеры того, как вы использовали инструменты анализа данных для решения конкретных задач. Будет здорово, если вы сможете рассказать о решениях, которые были приняты с использованием данных — конкретные примеры сделают ваш рассказ интереснее, понятнее и вызовут больше доверия. Но будьте честными, если вы работали с данными только на учебных проектах — так и скажите. Это вызовет больше доверия, чем фантазии о исследовании данных для проектов NASA.
Будьте готовы обсудить свои технические навыки и опыт
Вспомните ключевые технические понятия и термины, и потренируйтесь отвечать на типичные вопросы про опыт работы с данными.

Например:
  • Какой у вас опыт в анализе данных?
  • Занимались ли вы очисткой и подготовкой данных? Что вы делали?
  • Как вы использовали статистические методы для поиска закономерностей в данных?
  • Каков ваш опыт работы с инструментами визуализации данных?
  • Как вы работали с большими наборами данных и какие инструменты использовали?
Подготовьтесь к общим вопросам
Работа с данными — это поиск инсайтов о бизнесе компании. Если бизнес компании вам интересен, значит будет интересно работать с данными компании. Если вы продемонстрируете вашу заинтересованность на собеседовании — это будет большой плюс. Посетите веб-сайт компании, прочитайте новостные статьи и страницы в социальных сетях. Это поможет вам лучше ориентироваться на собеседовании и задавать более адресные вопросы.
Узнайте больше о компании
5 советов, как джуну подготовиться к собеседованию
Кадры для DataGovernance: где найти и как вырастить?

  • Обсуждаем кадровые вопросы с экспертами управления данными крупнейших телеком-компаний.
Data-Driven культура в организации.

  • Выровнять понятийное поле – обсудить на примере каждой компании что значит для вас data driven компания (Телеком, Банк, Нефтегазовая и т.д.)
  • Ключевые «точки опоры»/must have - на каких компетенциях в широком смысле (человеческих, технологических, управленческих, партнерских и т.д.) базируется data driven компания.
Рекомендуем следующие материалы по теме:
Подборка ссылок для самых любознательных
This site was made on Tilda — a website builder that helps to create a website without any code
Create a website