Seminare
Seminare
  • Seminare
  • Anbieter
  • 5 km
  • 10 km
  • 25 km
  • 50 km
  • 100 km
  • 150 km
  • 200 km
  • 300 km

Apache Airflow Einführung und Grundlagen

Seminar - GFU Cyrus AG

Das Seminar vermittelt umfassende Kenntnisse in der Erstellung, Verwaltung und Optimierung von Directed Acyclic Graphs (DAGs) in Apache Airflow. Teilnehmende lernen, wie man effiziente und sichere Workflows entwickelt, DAGs testet und modularisiert, sowie fortgeschrittene Funktionen wie TaskFlow API und XComs nutzt. Es wird auch auf Airflow-Sicherheit, CI/CD-Integrationen und die Anwendung von Airflow in Kubernetes-Umgebungen eingegangen. Ziel ist es, die Teilnehmer zu befähigen, komplexe Datenverarbeitungs-Workflows effektiv zu managen und zu skalieren.
Termin Ort Preis*
firmenintern auf Anfrage auf Anfrage
*Alle Preise verstehen sich inkl. MwSt.

Detaillierte Informationen zum Seminar

Inhalte:
  • DAGs erstellen - Directed Acyclic Graph
    •  Geheimnisse, Verbindungen und Variablen
    •  Erstellen von Verbindungen beim Starten
    •  Verwendung von Pools für langlaufende und anspruchsvolle Aufgaben
    •  Simulation lang laufender Tasks
    •  DAG-Serialisierung
    •  DAG-Versionierung
    •  Testen von DAGs
    •  CI/CD in Airflow

  • DAGs modularisieren
    •  TaskGroups gegenüber subDAGs
    •  TaskFlowAPI und XComs
    •  Modularisierung
    •  Dynamische und funktionale DAGs
    •  SmartSensors und Zeitüberschreitungen

  • Airflow-Sicherheit
    •  RBAC in Airflow
    •  Einrichten der OAuth-Authentifizierung
    •  Google OAuth hinzufügen
    •  Hinzufügen von SSL-Zertifikaten
    •  Standard-Rollen und benutzerdefinierte Rollen
    •  Erstellen einer benutzerdefinierten Rolle

  • Airflow in Kubernetes
    •  Das Helm-Diagramm
    •  Bereitstellung von Airflow mit Helm
    •  Bereitstellen einzelner Aufgaben in Kubernetes: KubernetesPodOperator
    •  Hinzufügen einer Aufgabe in Kubernetes
    •  Skalierung von Airflow mit Kubernetes-Executor
    •  Ändern der Helm-Diagrammwerte
    •  KEDA-Autoscaler
    •  Vorbereiten von DAGs für Kubernetes
    •  Vollständige Erstellung einer DAG in Kubernetes





Anmerkung: Kubeflow ist sicherlich das modernere Workflow System mit besserer Integration in Kubernetes und Google Cloud. Anwender von Kubeflow berichten allerdings von Differenzen zwischen Beschreibung und Wirklichkeit, siehe:

datarevenue.com/de-blog/kubeflow-noch-nicht-bereit-fur-produktion

Zielgruppe:
Der Kurs Apache Airflow richtet sich an Data Scientists und Data Engineers, die ihre Workflows in die Produktion bringen wollen. Wenn Sie die besten Praktiken für die Überwachung, Steuerung und Ausführung Ihrer Datenpipelines mit Airflow erlernen möchten, 

dann sollten Sie teilnehmen. Grundkenntnisse in Python sind erforderlich.
Seminarkennung:
S2751
Nach unten
Nach oben
Wir setzen Analyse-Cookies ein, um Ihre Zufriedenheit bei der Nutzung unserer Webseite zu verbessern. Diese Cookies werden nicht automatisiert gesetzt. Wenn Sie mit dem Einsatz dieser Cookies einverstanden sind, klicken Sie bitte auf Akzeptieren. Weitere Informationen finden Sie hier.
Akzeptieren Nicht akzeptieren









Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha



Bei der Verarbeitung Ihrer personenbezogenen Daten im Zusammenhang mit der Kontaktfunktion beachten wir die gesetzlichen Bestimmungen. Unsere ausführlichen Datenschutzinformationen finden Sie hier. Bei der Kontakt-Funktion erhobene Daten werden nur an den jeweiligen Anbieter weitergeleitet und sind nötig, damit der Anbieter auf Ihr Anliegen reagieren kann.







Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha