Pokročilý Data Engineering v Microsoft Fabric

• Navrhovat a implementovat medaillon architekturu v Microsoft Fabric v prostředí Lakehouse
• Implementovat datovou logiku a transformace pomocí Pythonu (Polars, DuckDB) a PySparku v Notebooks
• Pracovat s různými metodami načítání dat – Dataflows Gen2, Pipelines a vlastní kód
• Kopírovat a znovu využívat data v rámci OneLake
• Profilovat, čistit a transformovat data pomocí kódu v různých praktických scénářích
• Pracovat s Lakehouse a Data Warehouse včetně zabezpečení dat
• Automatizovat a orchestrovat datová workflow pomocí Pipelines
• Optimalizovat výkon (partitioning, komprese, optimalizace Spark jobů)
• Verzovat kód a nasazovat změny pomocí Git integrace a deployment pipelines

Kurz je určen především pro datové inženýry a vývojáře, kteří chtějí pracovat s Microsoft Fabric na úrovni kódu a navrhovat, implementovat a provozovat datová řešení v produkčním prostředí. Kurz je vhodný také pro pokročilé analytiky a datové architekty, kteří mají zkušenost s Pythonem a chtějí se posunout směrem k data engineeringu a práci v distribuovaném prostředí.

• Základní znalost prostředí Microsoft Fabric alespoň v rozsahu kurzu GOC680
• Znalost Pythonu (pandas, list comprehensions, funkce, error handling) a PySparku alespoň v rozsahu kurzu GOC685
• Základní znalost relačních databází a jazyka SQL
• Základní zkušenost s data warehouses nebo data lakes
• Porozumění konceptům extrakce, načítání, profilování a transformace dat
• Zkušenost s nástroji pro datovou analýzu a integraci dat (ETL procesy, data pipelines)
• Znalost verzování a Git integrace výhodou

1. Nastavení prostředí a základní principy

• Medaillon architektura – principy a komponenty
  • Lakehouse, Data Warehouse, analytické enginy, sémantické vrstvy
  • Nastavení tenantu, volba kapacity, dopady na výkon a cenu

2. Načítání a kopírování dat

• Metody načítání dat
  • Dataflows Gen2
  • Pipelines
  • Vlastní ingest pomocí Python / PySpark v Notebooks
• Kopírování a znovupoužití dat v OneLake
  • Shortcuts
  • Rozhodovací metodika a architektonické dopady
  • Praktická implementace

3. Data profiling, čištění a transformace

• Data profiling
  • Principy a metody
  • Implementace v Pythonu / PySparku (Notebooks)
• Čištění a transformace dat
  • Návrh čistících mechanismů na základě profilace
  • Transformace dat pomocí kódu
  • Slowly changing dimensions a pokročilé scénáře

4. Uložení dat

• Lakehouse vs. Data Warehouse – rozdíly a použití
• Dotazování nad daty
  • SQL dotazy
  • Dotazy nad Lakehouse a Warehouse
• Pokročilé komponenty
  • Stored procedures, functions, role, schémata
  • RLS, CLS, data masking

5. Automatizace

• Orchestrační Pipelines
  • Koordinace a závislosti
  • Integrace notebooků, dataflows a SQL objektů
• Orchestrace notebooků
  • Řízení návazných kroků v Python / PySpark
  • Fail-over a error handling

6. Monitoring a optimalizace

• Optimalizace výkonu Spark workloadů
• Partitioning, komprese, V-order, vacuuming
• Monitoring Fabric kapacit a efektivity zpracování

7. Verzování a nasazování změn

• Git integrace
• Deployment pipelines

Předchozí kurzy

Úvod do Microsoft Fabric [GOC680]

Pythonové minimum pro Microsoft Fabric [GOC685]