Mastering dbt: Intensivkurs zur Datenmodellierung

TAG 1

Dieser intensive Trainingstag gibt Ihnen eine allgemeine Einführung in den Marketing Data Stack (MDS), verbunden mit einer tiefen Einführung in dbt (Data Build Tool). Sie lernen, ein dbt-Projekt von Grund auf zu initialisieren, effektive Kontrollpraktiken für Versionierungen anzuwenden und grundlegende dbt-Konzepte wie Modelle, Quellen und Tests meisterhaft zu nutzen.

• Marketing Data Stack:
  In dieser Session werden wir eine Einführung in den modernen Data Stack geben, dabei die Rollen des Data Engineers und des Analytics Engineers beleuchten und aufzeigen, wie diese Disziplinen die Datenanalyse und -verarbeitung in Unternehmen revolutionieren.
• dbt Projektinitialisierung:
  Sie lernen, wie ein dbt-Projekt initialisiert wird, inklusive der Erstellung und Organisation von .yml und .sql Dateien, der Integration in ein Data Warehouse und der Implementierung von Versionskontrolle zur Sicherung und Koordination der Projektentwicklung.
• Version control: 
  Diese Session deckt die Grundlagen von Git ab, einschließlich der Einrichtung und Verwaltung verschiedener Umgebungen, der Arbeit mit Feature Branches und der Durchführung von Code Reviews, um eine hohe Codequalität und effektive Teamzusammenarbeit zu gewährleisten.
• dbt Fundamentals: 
  Wir tauchen tief in die Grundlagen von dbt ein, erkunden Modelle, Quellen und Modularität und diskutieren, wie Tests und Materialisierungen effektiv genutzt werden können, um leistungsstarke, wiederverwendbare und wartbare Datenpipelines zu bauen.

TAG 2

An diesem fortgeschrittenen Trainingstag fokussieren wir uns auf erweiterte Techniken und Funktionen in dbt, die essentiell sind, um die Effizienz, Überwachung und Automatisierung von Datenpipelines zu maximieren. Sie gewinnen tiefe Einblicke in die Anwendung von Jinja in dbt, fortgeschrittene Materialisierungsstrategien, erweiterte Testverfahren und das Einrichten von Benachrichtigungen sowie Monitoring.

• Jinja, Macros und Packages:
  In dieser Session erlernen Sie den Einsatz von Jinja-Templates und Macros innerhalb von dbt, um dynamische Logik in Ihren Code einzuführen. Zudem wird die Verwendung und Entwicklung eigener Packages behandelt, um Wiederverwendbarkeit und Modularität zu erhöhen.
• Advanced Materializations:
  Diese Session vertieft das Verständnis für fortgeschrittene Materialisierungsoptionen in dbt, insbesondere die Implementierung und Optimierung von inkrementellen Materialisierungen. Sie lernen, wie Sie große Datenmengen effizient verarbeiten und dabei die Laufzeit und Ressourcennutzung Ihrer Projekte optimieren können.
• Advanced Testing:
  Sie werden in die erweiterten Testing-Techniken eingeführt, die in dbt verfügbar sind, einschließlich benutzerdefinierter Tests und der Nutzung von Macros zur Erstellung komplexer Testlogiken. Diese Kenntnisse helfen Ihnen, die Datenintegrität und -qualität in dynamischen und komplexen Datenumgebungen sicherzustellen.
• Alerting und Monitoring:
  In der letzten Session des Tages konzentrieren wir uns auf das Einrichten von Notifications und das Monitoring von dbt-Projekten. Durch die Verwendung von APIs, Webhooks und automatisierten Benachrichtigungssystemen erlernen Sie, wie Sie den Zustand Ihrer Datenpipelines effektiv überwachen und bei Bedarf reagieren können.

TAG 3 (optional)

Am letzten Tag unseres dbt-Trainings widmen wir uns der praktischen Anwendung und Umsetzung von dbt-Projekten in der Produktion. Sie lernen die effektiven Methoden für das Deployment, die Datenmodellierung, die Integration von Python in dbt, sowie den Einsatz von dbt Mesh und die Implementierung einer semantischen Schicht kennen. Dieser Tag schließt das Training mit einer vertieften Betrachtung ab, wie dbt in einer vollständig operationalisierten Umgebung effektiv genutzt wird.

• Deployment:
  Best Practices und Strategien für das erfolgreiche Deployment von dbt-Projekten. Sie lernen, wie man dbt-Projekte sicher in Produktionsumgebungen überführt.
• Datenmodellierung und Modularisierung:
  Datenmodellierungstechniken und die Modularisierung innerhalb von dbt. Wir erkunden, wie man effektive, wiederverwendbare und skalierbare Datenmodelle erstellt.
• Python Modelle:
  Python-Modelle in dbt integrieren, um komplexe Datenverarbeitungslogik zu implementieren, die über traditionelle SQL-Operationen hinausgeht.
• dbt Mesh:
  Sie erfahren, wie dbt Mesh zur Optimierung der Projektstruktur und Verbesserung der Zusammenarbeit zwischen Teams eingesetzt wird.
• Semantic Layer:
  Semantische Schicht in dbt als Brücke zwischen rohen Datenmodellen und Endbenutzeranwendungen