Основы хранилищ данных: самостоятельный старт

Познакомитесь с инструментами аналитика: SSMS или ADS. Узнаете, как соотносятся операционные базы данных (OLTP) и хранилища данных (DWH/КХД); как должна быть устроена структура хранилища; чем мы «расплачиваемся» за удобства, предоставляемые хранилищем; о чем должен подумать разработчик, когда проектирует хранилище данных. Попрактикуетесь на учебном хранилище данных, порешаете задачи, потренируетесь писать запросы. Выполните практическое задание.

Познакомитесь со справочными таблицами (контекст событий) и таблицами фактов (события), узнаете, как они могут быть устроены. Познакомитесь с классическими шаблонами «звезда» («star») и «снежинка» («snowflake») связи справочников и фактов, шаблоном «календарь». Узнаете, что такое медленно меняющаяся размеренность, «мусорная размеренность» («junk dimensions»), быстро меняющаяся размеренность. Познакомитесь с горизонтальным секционированием таблиц, грануляцией фактов, аддитивностью мер. Узнаете о разных типах таблиц фактов: «транзакционные», «накопительные»,  «исторические». Выполните практическое задание.

Узнаете, как данные из операционных источников попадают в хранилище; что такое ETL-процесс (Extract, Transform, Load), и кто его разрабатывает; зачем аналитику самостоятельно создавать ETL-процесс. Зачем нужно разбивать ETL-процесс на шаги, и как это сделать. Познакомитесь на примере с приёмом «обобщённое табличное выражение» («common table expression» или CTE), которым вы захотите пользоваться как можно чаще. Выполните практическое задание.

Познакомитесь с жизненным циклом данных, аспектами управления данных (Data Governance): качество данных (Data Quality), нормативные справочники (Master Data) и управление ими (Master Data Management / MDM). Узнаете, что такое метаданные, почему они особенно важны в хранилищах, и как они упрощают разработку и поддержку хранилища. Выполните практическое задание.

Узнаете про витрины данных (Data Mart). Разберетесь в двух моделях (методологиях проектирования) хранилищ данных: Кимбалла и Инмона. Погрузитесь в концепцию «резервуара» (озера) данных (Data Lake). Узнаете про сложные типы хранилищ: Data Vault и Ancor Modeling; а также про еще более сложную слоёную архитектуру хранилища. Выполните практическое задание.

Рассмотрите сценарии потребления данных из хранилища: запросы и отчеты аналитиков, исходные данные для машинного обучения, исходные данные для аналитических моделей. Узнаете, что пользователи хотят видеть в отчетах, а чего не хотят; как модели данных связаны с Business Intelligence (BI). Рассмотрите некоторые виды моделей: классические многомерные модели (кубы), табличные модели. Выполните практическое задание.

Узнаете, на каких решениях строятся современные хранилища данных в 2024 году в России: Postgres, Arenadata. Разберетесь со слоями хранения и управления данными. По завершении модуля пройдете итоговое тестирование.