Data Engineering v Microsoft Fabric

• Seznámíte se s platformou Microsoft Fabric a jejími komponentami pro data engineering
• Naučíte se načítat a transformovat data s pomocí Dataflows Gen2, Pipelines a Apache Spark
• Vyzkoušíte si ukládat data v úložištích Lakehouse a Data Warehouse a pracovat s Delta Lake tabulkami
• Naučíte se organizovat data v lakehouse s využitím medailonové architektury
• Dozvíte se, jak zpracovávat real-time data pomocí Eventstreams, Eventhouse a jazyka KQL
• Vyzkoušíte si automatizovat nasazování změn s využitím CI/CD, Git integrace a deployment pipelines
• Naučíte se monitorovat a zabezpečit analytické řešení v Microsoft Fabric

• Datovým inženýrům, kteří chtějí navrhovat a vyvíjet procesy pro načítání a transformaci dat, datové architektury a jejich orchestraci v prostředí Microsoft Fabric.
• Datovým profesionálům se zkušenostmi s extrakcí, transformací a načítáním dat, kteří chtějí své znalosti rozšířit o platformu Microsoft Fabric.
• Zájemcům o přípravu na certifikační zkoušku DP-700: Implementing Data Engineering Solutions Using Microsoft Fabric.

• Zkušenosti s extrakcí, transformací a načítáním dat (ETL/ELT procesy)
• Zkušenost s manipulací a transformací dat v alespoň jednom z jazyků SQL, PySpark nebo KQL
• Doporučena základní znalost datových konceptů a datových služeb v Microsoft Azure na úrovni kurzu MOC DP-900

1 Kompletní analytické řešení v Microsoft Fabric

• Seznámíte se s platformou Microsoft Fabric, úložištěm OneLake a jednotlivými službami Data Factory, Data Engineering, Data Warehouse, Data Science, Real-Time Intelligence a Power BI
• Dozvíte se, jaké role v datových týmech pracují s kterými službami v Microsoft Fabric
• Zjistíte, jak povolit Microsoft Fabric ve Vašem tenantu a jak přiřadit workspace k výpočetní kapacitě

2 Začínáme s Lakehouse v Microsoft Fabric

• Pochopíte, co je Lakehouse a jak kombinuje flexibilitu úložiště Data Lake s analytickými schopnostmi datového skladu
• Naučíte se vytvořit vlastní Lakehouse včetně automaticky vytvořeného SQL analytics endpointu a výchozího sémantického modelu
• Vyzkoušíte si načítat data do souborů a tabulek Lakehouse a využívat shortcuts pro přístup k externím datům bez jejich kopírování
• Naučíte se dotazovat tabulky v Lakehouse pomocí jazyka SQL
• Seznámíte se s nástroji pro průzkum, transformaci a vizualizaci dat v Lakehouse

3 Použití Apache Spark v Microsoft Fabric

• Seznámíte se s frameworkem Apache Spark a principy distribuovaného zpracování dat ve Spark poolech
• Naučíte se konfigurovat Spark prostředí včetně runtime verzí, knihoven a vlastností
• Vyzkoušíte si spouštět Spark kód interaktivně v notebooku i neinteraktivně pomocí Spark Job Definition
• Naučíte se načítat, transformovat a ukládat data ve Spark dataframech a dotazovat je pomocí Spark SQL
• Zjistíte, jak vizualizovat data přímo v notebooku

4 Práce s Delta Lake tabulkami v Microsoft Fabric

• Pochopíte principy formátu Delta Lake a jeho roli v Microsoft Fabric
• Naučíte se ukládat dataframy jako spravované i externí delta tabulky a upravovat data v nich
• Vyzkoušíte si zpracovat streamovaná data pomocí Spark Structured Streaming s delta tabulkou v roli zdroje i cíle
• Dozvíte se, jak optimalizovat delta tabulky pomocí funkcí OptimizeWrite, Optimize, V-Order, Vacuum a rozdělení dat do partition
• Zjistíte, jak funguje verzování dat a dotazování historických verzí tabulky (time travel)

5 Načítání dat pomocí Dataflow Gen2

• Pochopíte principy Dataflow Gen2, jeho výhody a omezení
• Naučíte se vytvořit dataflow pro extrakci a transformaci dat v grafickém prostředí Power Query
• Dozvíte se, jak nastavit cílové úložiště dat a jak integrovat Dataflow Gen2 do pipeline

6 Orchestrace procesů a přesunů dat

• Seznámíte se s možnostmi pipelines v Microsoft Fabric, jejich aktivitami a parametrizací
• Naučíte se používat aktivitu Copy Data pro přesun dat
• Vyzkoušíte si vytvořit pipeline na základě předdefinovaných šablon
• Naučíte se pipeline validovat, spouštět, plánovat a monitorovat jejich běh

7 Organizace Lakehouse dle medailonové architektury

• Pochopíte principy medailonové architektury a účel vrstev bronze, silver a gold
• Naučíte se navrhnout a implementovat jednotlivé vrstvy a vybrat vhodné nástroje pro přesun a transformaci dat mezi nimi
• Dozvíte se, jak analyzovat data uložená v Lakehouse s využitím režimu Direct Lake v Power BI
• Zjistíte, jak zabezpečit jednotlivé vrstvy pomocí oprávnění na úrovni workspace a položek

8 Začínáme s Real-Time Intelligence v Microsoft Fabric

• Pochopíte koncepty analýzy dat v reálném čase
• Seznámíte se s komponentami Real-Time Intelligence: Eventstream, Eventhouse, Real-Time Dashboard a Activator
• Dozvíte se, jak vyhledávat a připojovat zdroje real-time dat pomocí Real-Time Hubu

9 Použití Eventstreams v Microsoft Fabric

• Seznámíte se s komponentami eventstreamů a podporovanými zdroji a cíli streamovaných dat
• Naučíte se nastavit zdroje a cíle eventstreamu
• Vyzkoušíte si zachytávat, transformovat a směrovat real-time data s využitím transformací jako filtrování či agregace

10 Práce s real-time daty v Eventhouse

• Naučíte se vytvořit Eventhouse a KQL databázi a načítat do tabulek statická i streamovaná data
• Vyzkoušíte si dotazovat real-time data jazykem Kusto Query Language (KQL)
• Naučíte se vytvářet materializované pohledy a uložené funkce v KQL databázi

11 Tvorba real-time dashboardů

• Naučíte se vytvořit real-time dashboard nad streamovaným zdrojem dat
• Dozvíte se, jak organizovat a filtrovat data dashboardu s pomocí base queries, stránek a parametrů
• Zjistíte, jak dashboard spravovat a optimalizovat dle doporučených postupů

12 Použití služby Activator

• Pochopíte, jak Activator pracuje s událostmi, objekty, vlastnostmi a pravidly
• Naučíte se definovat objekty a jejich vlastnosti nad daty z eventstreamu
• Naučíte se vytvářet pravidla vyhodnocující podmínky nad daty
• Vyzkoušíte si nakonfigurovat akce spouštěné při splnění podmínek, jako je odeslání e-mailu, zprávy do Teams či spuštění Power Automate flow

13 Začínáme s datovými sklady v Microsoft Fabric

• Seznámíte se se základy datových skladů v Microsoft Fabric a jejich odlišnostmi od Lakehouse
• Naučíte se navrhnout schéma datového skladu včetně tabulek faktů, tabulek dimenzí a schémat star a snowflake
• Vyzkoušíte si vytvořit datový sklad, klonovat tabulky a dotazovat data pomocí T-SQL i vizuálního editoru dotazů
• Dozvíte se, jak definovat vztahy mezi tabulkami, jak funguje výchozí sémantický model a jak data vizualizovat
• Zjistíte, jak řídit přístup k datovému skladu pomocí oprávnění na úrovni workspace a položek

14 Načítání dat do datového skladu

• Pochopíte strategie načítání dat včetně plného a inkrementálního načtení a využití staging tabulek
• Naučíte se pracovat s klíči dimenzí a implementovat slowly changing dimensions
• Vyzkoušíte si načítat data pomocí pipeline s aktivitou Copy Data, příkazů T-SQL (COPY INTO, CREATE TABLE AS SELECT) i pomocí Dataflows Gen2
• Dozvíte se, jak si při transformaci dat pomoci nástrojem Copilot

15 Monitorování datového skladu

• Naučíte se sledovat spotřebu kapacitních jednotek pomocí aplikace Microsoft Fabric Capacity Metrics
• Vyzkoušíte si monitorovat aktuálně běžící dotazy pomocí Dynamic Management Views
• Zjistíte, jak analyzovat trendy dotazování s pomocí pohledů Query Insights

16 Zabezpečení datového skladu

• Seznámíte se s koncepty zabezpečení datového skladu v Microsoft Fabric
• Naučíte se implementovat dynamické maskování dat (Dynamic Data Masking)
• Vyzkoušíte si nastavit zabezpečení na úrovni řádků (row-level security) a sloupců (column-level security)
• Naučíte se konfigurovat granulární oprávnění na objekty datového skladu pomocí jazyka T-SQL

17 Implementace CI/CD v Microsoft Fabric

• Pochopíte principy continuous integration a continuous delivery a jejich implementaci v Microsoft Fabric
• Naučíte se propojit workspace se systémem správy verzí Azure DevOps či GitHub, commitovat a synchronizovat změny a pracovat s větvemi
• Vyzkoušíte si automatizovat nasazování obsahu mezi prostředími pomocí deployment pipelines
• Dozvíte se, jak automatizovat CI/CD procesy s využitím Fabric REST API

18 Monitorování aktivit v Microsoft Fabric

• Seznámíte se s koncepty a doporučenými postupy monitorování v Microsoft Fabric
• Naučíte se používat Monitoring Hub pro sledování stavu a průběhu aktivit napříč Fabric položkami
• Zjistíte, jak spouštět automatické akce nad daty pomocí služby Activator

19 Zabezpečení přístupu k datům v Microsoft Fabric

• Pochopíte bezpečnostní model Microsoft Fabric a postupné vyhodnocování přístupu od autentizace v Microsoft Entra ID
• Naučíte se konfigurovat role na úrovni workspace a oprávnění na úrovni jednotlivých položek
• Dozvíte se, jak řídit přístup pro čtení dat v Lakehouse přes SQL endpoint a Apache Spark
• Vyzkoušíte si nastavit granulární oprávnění pomocí T-SQL a zabezpečit složky a soubory pomocí OneLake data access roles

20 Správa Microsoft Fabric

• Seznámíte se s architekturou a koncepty Microsoft Fabric včetně tenantu, kapacit a workspace
• Dozvíte se, jaké úlohy řeší administrátor Fabric a jaké nástroje má k dispozici: admin portál, admin monitoring workspace a aplikaci Capacity Metrics
• Zjistíte, jak přiřazovat a spravovat uživatelské licence
• Dozvíte se o možnostech data governance, jako je doporučování obsahu (endorsement), sledování datové linie (lineage) a skenování metadat

Předchozí kurzy

Základy práce s daty v Microsoft Azure [MOC DP-900]

Navazující kurzy

Pokročilý Data Engineering v Microsoft Fabric [GOC681]

Související kurzy

Pythonové minimum pro Microsoft Fabric [GOC685]

Alternativní kurzy

Úvod do Microsoft Fabric [GOC680]