Detaillierte Informationen zum Seminar
Inhalte:
TAG 1 (Modul 1)
Im Rahmen des ersten Moduls lernen Sie, wie Schnittstellen (APIs) aufgebaut sind und wie Sie mit entsprechenden Tools Ihre Daten sichten und abfragen können. Dies ist essenziell, um einen Überblick über Ihre Daten zu bekommen. Diese Vorbereitung hilft Ihnen, um im nächsten Schritt gezielter Abfragen schreiben zu können.
- Einführung in REST-API-Befehle:
Beherrschen Sie das Rückgrat des RESTful-API-Designs, einer der beliebtesten Schnittstellen zum sicheren Austausch von Informationen über das Internet. Erfahren Sie, wie Sie RESTful-Dienste nutzen und mit ihnen arbeiten, um effiziente Daten-Pipelines aufzubauen. - Einführung in JSON-Dateien:
Sie lernen mehr über JSON-Dateien: ein beliebtes, leicht lesbares und weithin unterstütztes textbasiertes Datenformat, das zum Speichern und Austauschen strukturierter Informationen verwendet wird. JSON-Dateien bestehen aus Schlüssel-Wert-Paaren und ermöglichen eine effiziente Datendarstellung in einem für Menschen lesbaren Format. - Schreiben eines Python-Skripts für den Zugriff auf Daten von einer API:
Am Ende dieses Moduls erwerben Sie Kenntnisse im Extrahieren von Daten über API-Abfragen und im effizienten Umgang mit Daten, die aus mehreren Anfragen abgerufen werden. Darüber hinaus erlernen Sie Fähigkeiten, diese Extraktionen nahtlos in Pandas-Datenrahmen zu konvertieren und Datentransformationen problemlos durchzuführen.
TAG 2 (Modul 2)
Sie lernen, einen effizienten und robusten ETL-Prozess aufzubauen, für den wir API-Daten als Datenquelle nutzen. Wir gehen darauf ein, wie Sie die Daten in einem S3 Bucket ablegen und anschließend in ein Snowflake Data Warehouse schreiben. Außerdem erfahren Sie, wie Sie mit dem Python-basierten Tool Apache Airflow Ihren Workflow automatisieren. Dabei wird auf Benutzeroberfläche sowie auf Architektur und Konfiguration eingegangen.
- Einführung in die Datenorchestrierung und Apache Airflow:
Zur Automatisierung des Workflows ist Apache Airflow das Tool der Wahl. Sie erhalten eine grundsätzliche Einführung in das Thema Datenorchestrierung und in den Aufbau von Apache Airflow. Anschließend lernen Sie die Navigation der Benutzeroberfläche und die grundlegenden Konzepte von Airflow kennen. - Set-Up der Produktivumgebung in der Cloud:
Für das erfolgreiche Deployment des Set-Ups ist die Einrichtung der notwendigen Zugriffsrechte nötig, damit wir in Snowflake auf die Daten zugreifen können. Dies passiert über eine Snowflake Storage Integration für den Zugriff auf das externe Storage Bucket. - Implementierung des Python Codes in Directed Acyclic Graphs (DAGs):
Nachdem wir uns einen theoretischen Überblick über die Datenorchestrierung mit Airflow verschafft haben, geht es nun darum, den Code mit Airflow zu automatisieren. Dafür werden die notwendigen Bausteine in den Python Code integriert und getestet.
- Hinzufügen von Scheduling und Alerting:
Für eine vollständige Automatisierung sind Scheduling und Alerting wichtige Bestandteile in Airflow. Wir zeigen Ihnen, wie Sie ein sogenanntes Schedule zur Ausführung Ihres DAGs schreiben und mit Hilfe von Alerting die Ausführung überwachen können. - Integration von Code in der Produktivumgebung:
Im letzten Teil werden alle Bausteine zusammengesetzt und die vollständige Implementierung in der Cloud-Umgebung findet statt.
TAG 3 (Modul 3)
dbt ist ein äußerst nützliches Tool und mittlerweile fester Bestandteil des Modern Data Stack! In diesem Seminar gehen wir auf die Grundlagen von dbt ein, die jede:r im Bereich Data Engineering kennen sollte. Dabei werden sowohl theoretische Hintergründe zur Datenmodellierung behandelt, als auch ein eigenes Hands-On dbt-Projekt erstellt.
- Einführung in dbt und Erläuterung der Funktion im Data Stack:
- Einrichten eines dbt-Projektes:
- Grundlegende Datentransformation und Ladevorgänge:
- Die Ref-Funktion und Data Dependencies:
- Einrichten einer Entwicklungsumgebung
- Hinzufügen von Tasks in Airflow DAGs
- Testen von Modellen
Details zum gesonderten dbt-Training: https://www.marketinganalytics.de/de/academy/dbt-datenmodellierung/
Dauer/zeitlicher Ablauf:
3 Tage
Ziele/Bildungsabschluss:
Das Ziel der Trainings ist ein tiefes Verständnis der Datenmodellierungstechniken, der Teststrategien und der Dokumentationspraktiken, die für die effiziente Nutzung von dbt erforderlich sind. Sie lernen, komplexe Datenmodelle zu konstruieren, die Verarbeitungsqualität durch Tests zu sichern und die Zusammenarbeit im Team durch klare Dokumentation zu verbessern. Am Ende des Trainings können Sie, dbt eigenständig in Ihren Projekten einsetzen, um die Datenverarbeitung und Analyse zu optimieren und zu automatisieren. Dies führt zu besseren, datengetrieben Entscheidungen in Ihrem Unternehmen.
Teilnahmevoraussetzungen:
Einsteiger:innenseminar für Data Analysts, Data Engineers und Quereinsteiger:innen mit Interesse am Modern Data Stack
Technische Voraussetzungen:
Laptop muss zum Training mitgebracht werden. Auf Anfrage kann während des Seminars ein Trainings-Laptop zur Verfügung gestellt werden.
Lehrgangsverlauf/Methoden:
3-tägiger Praxis-Workshop, in dem Theorie, Übungen und Best Practices optimal kombiniert werden. Das Training ist abwechslungsreich gestaltet.
Material:
Passend zum Workshop gibt es ein Handout, mit dem Sie nach dem Seminar Ihre Marketing Data Stack-Kenntnisse wiederholen und vertiefen können.
Darüber hinaus stehen wir Ihnen auch nach der Marketing Data Stack-Schulung bei Bedarf gerne beratend zur Seite, z. B. wenn Sie spezifische Fragen zum Einsatz oder der Einführung eines Marketing Data Stack und/oder der im Training beschriebenen Technologien in Ihrem Unternehmen haben.
Förderung:
Sie wünschen ein Training zu API-Abfragen, Datenorchestrierung und/oder Datenmodellierung Inhouse für Ihr eigenes Team? Wir machen es für Sie möglich. Für namhafte Kunden haben wir bereits individuelle Data Engineering Trainings gegeben und erstellen auch Ihnen gerne ein spezifisches Angebot, das auf Ihre Wünsche abgestimmt ist.
Zielgruppe:
CMOs, Vice President Marketing, Head of Marketing, (Online / Digital) Marketing Manager, Marketingleiter:innen, Digitalisieurngsbeauftragte, Head of Digital, Data Analysts, Datenanalyst:innen, Business Intelligence, Data Engineers, Digital Analytics Manager, Data Visualization, Product Owner, Quereinsteiger:innen mit Interesse am Modern Data Stack
Seminarkennung:
Marketing Data Stack
