Seminare
Seminare

Azure Data Factory: Einführung und grundlegende Konzepte

Seminar - GFU Cyrus AG

Am Ende des Seminars sind die Teilnehmenden in der Lage, Azure Data Factory effektiv zu nutzen, um leistungsstarke, skalierbare und benutzerfreundliche Datenintegrations- und Transformationslösungen zu entwickeln und bereitzustellen. Sie lernen, wie sie Projekte planen, Pipelines erstellen, Daten integrieren und transformieren sowie Pipelines in CI/CD-Pipelines integrieren.
Termin Ort Preis*
firmenintern auf Anfrage auf Anfrage
*Alle Preise verstehen sich inkl. MwSt.

Detaillierte Informationen zum Seminar

Inhalte:

Einführung in Azure Data Factory


  • Überblick über Azure Data Factory: Was ist Azure Data Factory und warum ist es wichtig?
  • Hauptmerkmale und Vorteile von Azure Data Factory im Vergleich zu anderen ETL-Tools.
  • Anwendungsfälle und typische Szenarien für die Nutzung von Azure Data Factory.


Installation und Einrichtung


  • Systemanforderungen und notwendige Software.
  • Erstellung und Konfiguration einer Azure Data Factory-Umgebung.
  • Erste Schritte: Navigation in der Benutzeroberfläche und Grundkonfiguration.


Erstellen von Pipelines und Datenflüssen


  • Einführung in Pipelines und Datenflüsse.
  • Erstellen und Konfigurieren von Pipelines zur Datenintegration.
  • Überblick über Datenquellen und Sinks: Azure Blob Storage, SQL-Datenbanken, Data Lakes.


Datenbewegung und -transformation


  • Nutzung von Copy Activity zur Datenbewegung zwischen verschiedenen Speicherorten.
  • Einführung in Data Flow und Mapping Data Flow zur Datentransformation.
  • Datenbereinigung und -transformation: Umgang mit fehlenden Werten, Datenaggregation, Joins und Filter.


Praktische Übung 1: Erstellung einer einfachen Pipeline


  • Problemstellung: Erstellung einer Azure Data Factory-Pipeline zur Datenintegration aus mehreren Quellen.
  • Lösung:
  • Erstellung und Konfiguration einer Pipeline in Azure Data Factory.
  • Nutzung von Copy Activity zur Datenbewegung und einfachen Transformationen.
  • Tool: Azure Data Factory-Portal zur Erstellung und Verwaltung der Pipeline.
  • Ergebnis: Eine funktionsfähige Pipeline zur Integration und Transformation von Daten aus verschiedenen Quellen.


Erweiterte Datenflüsse und Transformationen


  • Nutzung von Mapping Data Flows für komplexe Transformationen.
  • Erstellung von benutzerdefinierten Transformationen mit Data Flow Script.
  • Umgang mit verschiedenen Dateiformaten: CSV, Parquet, JSON.


Parameterisierung und Trigger


  • Einführung in Parameter und Variablen zur dynamischen Steuerung von Pipelines.
  • Erstellung und Nutzung von Triggern zur Planung und Automatisierung von Pipelines.
  • Event-basierte Trigger und zeitgesteuerte Ausführungen.


Sicherheit und Verwaltung


  • Implementierung von Sicherheitsrichtlinien und Zugriffskontrollen in Azure Data Factory.
  • Nutzung von Managed Identities und Azure Key Vault zur sicheren Verwaltung von Verbindungen und Anmeldeinformationen.
  • Monitoring und Logging: Nutzung von Azure Monitor und Log Analytics zur Überwachung von Pipelines.


Integration und Automatisierung


  • Integration von Azure Data Factory in Continuous Integration und Continuous Deployment (CI/CD)-Pipelines.
  • Nutzung von Azure DevOps zur Versionskontrolle und Bereitstellung von Data Factory-Artefakten.
  • Automatisierung von Deployment-Prozessen mit ARM Templates und Azure CLI.


Praktische Übung 2: Erstellung einer komplexen Pipeline und CI/CD-Integration


  • Problemstellung: Erstellung einer komplexen Azure Data Factory-Pipeline mit erweiterten Transformationen und Integration in eine CI/CD-Pipeline.
  • Lösung:
  • Erstellung und Konfiguration einer komplexen Pipeline mit Mapping Data Flows.
  • Nutzung von Parametern und Triggern zur dynamischen Steuerung der Pipeline.
  • Integration der Pipeline in eine Azure DevOps CI/CD-Pipeline zur automatisierten Bereitstellung.
  • Tool: Azure DevOps und Azure Data Factory-Portal zur Erstellung und Verwaltung der Pipeline.
  • Ergebnis: Eine komplexe Pipeline zur Datenintegration und Transformation mit CI/CD-Integration.
Zielgruppe:
Dieses Seminar richtet sich an Dateningenieure, Datenanalysten, IT-Administratoren und Entwickler, die ihre Kenntnisse in der Nutzung von Azure Data Factory erweitern möchten. Grundlegende Kenntnisse in Datenintegration, Datenbanken und Cloud-Computing sind hilfreich
Seminarkennung:
S4192
Nach unten
Nach oben
Wir setzen Analyse-Cookies ein, um Ihre Zufriedenheit bei der Nutzung unserer Webseite zu verbessern. Diese Cookies werden nicht automatisiert gesetzt. Wenn Sie mit dem Einsatz dieser Cookies einverstanden sind, klicken Sie bitte auf Akzeptieren. Weitere Informationen finden Sie hier.
Akzeptieren Nicht akzeptieren









Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha



Bei der Verarbeitung Ihrer personenbezogenen Daten im Zusammenhang mit der Kontaktfunktion beachten wir die gesetzlichen Bestimmungen. Unsere ausführlichen Datenschutzinformationen finden Sie hier. Bei der Kontakt-Funktion erhobene Daten werden nur an den jeweiligen Anbieter weitergeleitet und sind nötig, damit der Anbieter auf Ihr Anliegen reagieren kann.







Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha