Это приложения, с которыми работает много пользователей. Например, с CRM системой могут работать тысячи продавцов или специалистов технической поддержки. Обычно дата-специалисты называют их системами-источниками.

Системы с которыми работает меньше сотрудников, чем с операционными системами. Обычно дата-специалисты называют их хранилищами данных. С хранилищами работают аналитики, стратеги — люди которые должны анализировать отдельные процессы и решать «большие» проблемы. Например, у аналитика может быть задача — предложить решения как повысить эффективность работы технической поддержки.

Сводные
(приведены к корпоративному формату)

Детальные

Представляют версию записи (или снимок) в момент времени

Актуальные в момент доступа

Модель данных ориентирована
на предметную область (для анализа)

Модель данных ориентирована на приложение (для оперативного учета)

Сниженные требования ко времени отклика

Высокие требования ко времени отклика

Доступ к чтению и обработке
отдельного набора записей

Доступ к чтению и обработке
отдельной записи

Управление обновлением записи не используется

Управление обновлением записи серьезная проблема процесса обработки данных

Представьте ситуацию. Вы звоните в колл-центр, чтобы решить техническую проблему «здесь
и сейчас". Но вам приходится ждать на линии несколько минут, потому что все операторы заняты. Это очень раздражает, правда?

Примерно такая же ситуация возникнет, если начать анализировать информацию в операционной системе. Менеджер пытается открыть карточку клиента, а в ответ получает «подождите, система занята — выполняется запрос аналитика на 100 500 строк». Такое положение дел не понравится, ни менеджеру, ни клиенту, ни самому аналитику.

Почему нельзя анализировать данные
в источнике?

Аналитические данные

Оперативные данные

Чтобы повысить эффективность работы технической поддержки, компании нужно смотреть не на каждую отдельную заявку, а на статистику по заявкам пользователей. Например, заявки какого типа дольше находятся в работе? В какое время клиенты дольше ожидают на линии? С какими вопросами чаще обращаются клиенты? Статистика покажет — где самые большие проблемы в технической поддержке, а работа над самым слабым элементом процесса даст самый высокий эффект.

То есть в любой операционной системе важно:

• Быстро получить нужную информацию
• Получать актуальную информацию
• Получать информацию порционно (1 клиент, 1 обращение в тех.поддержку = 1 запись в БД)

Каждый из пользователей обычно работает в один момент времени с 1-2 записями: открывают карточки клиента, или карточки обращений в техническую поддержку. Для пользователей важно, чтобы карточки открывались очень быстро. Если карточка обращения клиента будет открываться даже 10 секунд — это уже долго. Чем быстрее менеджер обслуживает одного клиента, тем меньше время ожидания на линии колл-центра и больше довольных клиентов.

Данные в хранилище не меняются, но реальные объекты изменяются. Например, стоимость заказов может изменяться и в жизни, и в системе-источнике. В хранилище загружаются все срезы данных, но они должны быть привязаны к промежутку и моменту времени.

Данные в хранилище не меняются. Если запись однажды попала в хранилище — она должна там остаться. Корректировать или удалять данные из хранилища нельзя.

Данные в хранилище должны решать проблемы всей компании, а не одного бизнес-подразделения. Каждая система-источник решает отдельную задачу, а в хранилище стремятся создать агрегированные представления данных, которые полезны всем.

Из всего сказанного можно сделать важные выводы о характеристиках хранилищ данных.

Важные выводы

СУБД и хранилище данных это одно и тоже?

СУБД — это технология управления базами данными.

БД используется и для построения операционных систем, например, сайтов, и для построения аналитических систем — хранилищ данных.

Можно сказать, что БД — это что-то маленькое. А хранилище данных — что-то огромное, содержащее в себе информацию из множества источников.

Хранилище данных и платформа данных это одно и тоже?

Хранилище данных решает задачу сохранения исходных и агрегированных данных из разных источников.

А платформа данных — автоматизирует все процессы управления данными (см. предыдущий лонгрид — экосистема).

Платформа данных включает в себя различные инструменты для загрузки\выгрузки данных, технологии озер данных, технологии контроля качества данных. Мы об этом еще поговорим на нашем марафоне.

Как работать с хранилищем данных?

Извлекать информацию из хранилища можно с помощью специального приложения (SQL-клиента). В таком приложении можно формировать SQL-запросы к хранилищу или базе данных, и получать запрошенную информацию. SQL — язык структурированных запросов, который используется для работы с базами данных.

Как появились хранилища?

Родителями хранилищ данных считают Билла Инмона и Ральфа Кимбалла. Хотя эти двое и были в основном сосредоточены на аспектах хранения данных, связанными с базами данных.

А датой рождения КХД принято считать 1990-е года. Мы еще вспомним две эти фамилии, когда будем говорить про архитектуры хранилищ данных в следующем лонгриде.

Для чего используются хранилища данных?

Хранилища данных используются для различных целей, включая бизнес-аналитику и научные исследования. Анализируя большие объемы данных за длительный период времени, пользователи могут выявлять тенденции и закономерности, которые могут быть невидимы в небольших наборах данных.

Это помогает принимать лучшие решения и повышать эффективность бизнеса.

Рубрика: 5 вопросов от джуна