Einführung in Apache Spark und SparkSQL

Warum Apache Spark? Eine Übersicht über Spark anhand kleinerer Anwendungen mit Scala

• Big Data und Cluster: Klassische Fragestellungen im Bereich Big-Data erläutern: Welche Herausforderungen entstehen durch Big-Data?
• Apache Spark im Kontext des Hadoop Ecosystems
• Welche Unzulänglichkeiten löst Spark?
• MapReduce vs. Spark: Ein kleines Beispiel
• Was genau ist Apache Spark?: 4 Komponenten, 4 APIs (Kompatibilität zu 4 Sprachen) und vieles mehr

Daten: Quellen, Typen, Schnittstellen und Operationen

• Arbeiten mit unterschiedlichen Datenquellen, Datentypen, Datenschnittstellen und den wichtigsten Datenoperationen
• Datenquellen: Storage Layers for Spark (CSV, JSON, SQL, TXT)
• Unterschiedliche Datentypen (z.B. Boolean, Zahlenrepräsentation, Strings, Timestamps, Nulls, Orderings, …)
• Datenschnittstelle für strukturierte Daten: DataFrame
  
  • Merkmale strukturierter Daten
  • Datenoperationen: Manipulation und Transformation
  • Fortgeschrittene Themen: Aggregationen und Joins
  
  

SparkSQL: Arbeiten mit strukturierten Daten

• (Kurze) Einführung in SQL
• Hands-on SparkSQL
  
  • Spark Data Frames
  • Durchführen einer Spark SQL Query
  • Tables, Views, Databases, Selects und Joins
  
  

Ausblick: Der Weg zu Ihrem Spark Data-Warehouse

Im modernen Spark Data-Warehouse werden Cloudtechnologien, Machine Learning Algorithmen und strukturierte sowie unstrukturierte Datenstrukturen verbunden

• Easy scalable – Verarbeiten Sie große Mengen an Daten durch einfache Skalierbarkeit
• Lightning fast – Selbst viele parallele Anfragen zwingen Ihr Spark DWH nicht in die Knie
• It’s in the cloud – Profitieren Sie von reinen Cloud-oder Hypridsystemen (z.B. MS Azure, Databricks, und AWS)
• Data beats emotions – Treffen Sie datengetriebene Entscheidugen und verlassen Sie sich nicht mehr länger nur auf Ihr Bauchgefühl
• It’s time to ask different questions – Stellen sie neure Anforderungen an Ihr Data Warehouse
  
  • Fragen sie was passieren wird und nicht was passiert ist
  • Fragen Sie nicht warum etwas passiert ist, sondern welche Maßnahmen sie ergreifen müssen das etwas passiert
  
  

In dieser 3-tägigen Schulung "Einführung in Apache Spark und SparkSQL" lernen Sie, wie Sie die Basis für Ihr eigenes Spark Data-Warehouse legen. Sie erhalten eine praxisnahe Übersicht über die vielfältigen Einsatzmöglichkeiten von Apache Spark und die Arbeit mit verschiedenen Datenquellen und -formaten. Anhand von Anwendungen erfahren Sie, wie Sie in Spark effektiv mit strukturierten Daten arbeiten können. Das Seminar bietet Ihnen zum Abschluss einen Ausblick auf weitere professionelle Anwendungen von Apache Spark.

• Grundkenntnisse SQL
• Grundkenntnisse Java, Python und Scala
• Grundkenntnisse in Hadoop sind von Vorteil

Die Schulung bietet Ihnen eine ausgewogene Mischung aus Theorie und Praxis in einer erstklassigen Lernumgebung. Profitieren Sie vom direkten Austausch mit unseren projekterfahrenen Trainern und anderen Teilnehmern, um Ihren Lernerfolg zu maximieren.

• Software/Data Architects
• Software Developers
• Data Scientists
• (Business) Analysts