A modern vállalatok működésének egyik legfontosabb alapja az adatok hatékony gyűjtése, feldolgozása és elemzése. A nagy mennyiségű strukturált és strukturálatlan adat kezelése ma már nem csupán technológiai kérdés, hanem versenyelőnyt meghatározó tényező. Az Azure Data Engineering képzés átfogó tudást biztosít azok számára, akik szeretnének batch és valós idejű (real-time) analitikai megoldásokat tervezni és megvalósítani a Microsoft Azure adatplatform technológiáival.
A tanfolyam során a résztvevők megismerik azokat az alapvető számítási (compute) és tárolási (storage) technológiákat, amelyek egy modern analitikai rendszer alapját képezik. Részletesen foglalkozunk az
- Azure Synapse Analytics,
- Azure Databricks
- Azure Data Lake Storage
működésével, valamint azok szerepével az adatmérnöki folyamatokban.
A képzés bemutatja, hogyan lehet interaktívan felfedezni a data lake-ben tárolt adatokat, és miként lehet különböző adatbetöltési (ingestion) technikákat alkalmazni.
A résztvevők megtanulják, hogyan használható az Apache Spark az Azure Synapse Analytics vagy az Azure Databricks környezetben az adatok feldolgozására és átalakítására. Emellett megismerik az Azure Data Factory és az Azure Synapse Pipelines eszközeit, amelyek segítségével nagyléptékű adatmozgatási és adattranszformációs folyamatok építhetők ki.
Kiemelt figyelmet fordítunk az adatbiztonságra is. A képzés bemutatja, hogyan biztosítható az adatok védelme tárolás közben (at rest) és továbbítás során (in transit), valamint hogyan valósíthatók meg megfelelőségi és jogosultságkezelési megoldások.
A tanfolyam végén a résztvevők képesek lesznek egy teljes, valós idejű analitikai rendszer megtervezésére és implementálására, amely képes nagy mennyiségű adat folyamatos feldolgozására és üzleti értékké alakítására.
Mit nyújt a képzés?
A képzés gyakorlatorientált megközelítéssel mutatja be az Azure adatplatform eszköztárát. A résztvevők megtanulják:
- adatbetöltési és adatfeldolgozási folyamatok tervezését
- batch és streaming adatfeldolgozási megoldások implementálását
- adattranszformációk végrehajtását Apache Spark és Data Factory segítségével
- adatbiztonsági és megfelelőségi mechanizmusok kialakítását
- valós idejű analitikai rendszerek létrehozását