A modern vállalatok működésének egyik legfontosabb alapja az adatok hatékony gyűjtése, feldolgozása és elemzése. A szervezetek egyre nagyobb mennyiségű strukturált és strukturálatlan adatot kezelnek, amelyek különböző rendszerekből, alkalmazásokból és adatforrásokból érkeznek. Ezek megfelelő feldolgozása ma már nem csupán technológiai feladat: közvetlenül befolyásolhatja a döntéshozatal gyorsaságát és az üzleti működés hatékonyságát.

Az Azure Data Engineering képzés azoknak a szakembereknek szól, akik szeretnének modern, skálázható adatfeldolgozási és analitikai megoldásokat kialakítani a Microsoft Azure adatplatform-technológiáival. A tanfolyam bemutatja a batch és valós idejű (real-time) adatfeldolgozás legfontosabb megoldásait az adatok betöltésétől és tárolásától egészen a transzformációig és az analitikai felhasználásig.

A képzés során a résztvevők megismerik azokat a compute és storage technológiákat, amelyek egy modern vállalati adatinfrastruktúra alapját képezik. A cél olyan átfogó szemlélet kialakítása, amelynek segítségével a résztvevők nemcsak az egyes Azure szolgáltatásokat tudják használni, hanem azok szerepét és egymáshoz való kapcsolódását is megértik.

Az Azure adatplatform legfontosabb technológiái

A képzés részletesen foglalkozik az Azure adatmérnöki megoldások több kulcsfontosságú technológiájával:

• Azure Synapse Analytics – nagy léptékű adatfeldolgozási és analitikai megoldások kialakításához;
• Azure Databricks – elosztott adatfeldolgozási és Apache Spark-alapú munkafolyamatokhoz;
• Azure Data Lake Storage – nagy mennyiségű strukturált és strukturálatlan adat skálázható tárolásához;
• Azure Data Factory – adatbetöltési, adatmozgatási és transzformációs folyamatok kialakításához;
• Azure Synapse Pipelines – összetett adatfeldolgozási munkafolyamatok automatizálásához.

A résztvevők megértik, hogyan kapcsolhatók össze ezek a szolgáltatások egy teljes adatfeldolgozási architektúrában.

Adatbetöltés és adatfeldolgozás

A vállalati adatok jellemzően több különböző forrásból érkeznek. Egy modern adatmérnöki megoldásnak ezért képesnek kell lennie az eltérő formátumú és eltérő sebességgel keletkező adatok megbízható kezelésére.

A képzés bemutatja a különböző adatbetöltési (ingestion) technikákat, valamint azt, hogyan lehet a data lake-ben tárolt adatokat interaktívan feltárni és további feldolgozásra előkészíteni.

A résztvevők megtanulják, hogyan tervezhetők olyan adatfolyamatok, amelyek nagy mennyiségű adat esetén is skálázhatóan és megbízhatóan működnek.

Apache Spark az Azure környezetben

Az Apache Spark központi szerepet tölt be a nagyléptékű adatfeldolgozásban. A képzés bemutatja, hogyan használható az Azure Synapse Analytics és az Azure Databricks környezetében az adatok feldolgozására és átalakítására.

A résztvevők megismerik, hogyan lehet Spark-alapú megoldásokkal:

• nagy adatmennyiségeket feldolgozni;
• adatokat tisztítani és transzformálni;
• különböző adatforrásokat összekapcsolni;
• az adatokat további analitikai felhasználásra előkészíteni.

A cél annak megértése, hogyan illeszthető az Apache Spark egy nagyvállalati adatfeldolgozási architektúrába.

Adatpipeline-ok kialakítása

A modern adatplatformok egyik legfontosabb feladata az adatfeldolgozási folyamatok automatizálása. Az Azure Data Factory és az Azure Synapse Pipelines segítségével összetett adatmozgatási és transzformációs folyamatok alakíthatók ki.

A képzés során a résztvevők megtanulják, hogyan lehet különböző adatforrásokból adatokat betölteni, feldolgozási lépéseket összekapcsolni és ismételhető adatpipeline-okat létrehozni.

A jól megtervezett pipeline-ok segítségével az adatok folyamatosan és automatizált módon juthatnak el a forrásrendszerektől az analitikai környezetekig.

Batch és valós idejű adatfeldolgozás

Nem minden üzleti probléma oldható meg azonos adatfeldolgozási módszerrel. Egyes esetekben elegendő az adatok időszakos, kötegelt feldolgozása, míg más helyzetekben az információkra szinte azonnal szükség van.

A képzés ezért egyaránt foglalkozik a batch és streaming adatfeldolgozási megoldásokkal. A résztvevők megértik a két megközelítés közötti különbségeket, és megtanulják kiválasztani az adott üzleti igényhez megfelelő feldolgozási modellt.

A cél olyan valós idejű analitikai megoldások kialakítása, amelyek képesek a folyamatosan érkező adatok feldolgozására és gyors üzleti felhasználására.

Adatbiztonság és megfelelőség

A nagy mennyiségű vállalati adat kezelése során az adatbiztonság alapvető követelmény. A képzés bemutatja, hogyan biztosítható az adatok védelme tárolás közben (at rest) és továbbítás során (in transit).

A résztvevők megismerik az adatplatformokhoz kapcsolódó jogosultságkezelési és biztonsági lehetőségeket, valamint azt, hogyan illeszthetők a megfelelő védelmi mechanizmusok a teljes adatfeldolgozási architektúrába.

A cél olyan megoldások kialakítása, amelyek nemcsak nagy teljesítményűek és skálázhatók, hanem megfelelnek a vállalati biztonsági és megfelelőségi követelményeknek is.

Mit fogsz megtanulni?

A képzés végére képes leszel:

• adatbetöltési és adatfeldolgozási folyamatokat tervezni;
• Azure Data Lake Storage alapú adattárolási megoldásokat használni;
• Azure Synapse Analytics és Azure Databricks környezetben dolgozni;
• Apache Spark segítségével nagy mennyiségű adatot feldolgozni és transzformálni;
• Azure Data Factory és Synapse Pipelines segítségével adatpipeline-okat kialakítani;
• batch és streaming adatfeldolgozási megoldásokat implementálni;
• különböző adatforrásokból érkező adatokat integrálni;
• adatbiztonsági és jogosultságkezelési mechanizmusokat alkalmazni;
• skálázható adatfeldolgozási architektúrákat kialakítani;
• valós idejű analitikai megoldásokat tervezni és megvalósítani.

Kinek ajánljuk?

Az Azure Data Engineering képzés elsősorban azoknak a szakembereknek ajánlott, akik vállalati adatplatformok kialakításával, adatfeldolgozással vagy analitikai rendszerek fejlesztésével foglalkoznak.

Kifejezetten ajánljuk:

• data engineer szakembereknek;
• adatplatformokkal foglalkozó fejlesztőknek;
• BI és analitikai szakembereknek;
• cloud data megoldásokkal foglalkozó IT szakembereknek;
• Apache Spark-alapú adatfeldolgozás iránt érdeklődőknek;
• azoknak, akik batch vagy streaming adatfeldolgozási megoldásokat szeretnének Azure környezetben kialakítani.

A képzés átfogó szemléletet ad a modern Azure-alapú adatmérnöki folyamatokról, így a résztvevők az egyes technológiák használata mellett azt is megértik, hogyan építhetők ezekből egységes, skálázható és biztonságos vállalati adatplatformok.

Nézd meg további Microsoft Data Platform képzéseinket is.

Csoportos képzési igény esetén kérj egyedi ajánlatot.