Seminare
Seminare
  • Seminare
  • Anbieter
  • 5 km
  • 10 km
  • 25 km
  • 50 km
  • 100 km
  • 150 km
  • 200 km
  • 300 km

Apache Spark Application Performance Tuning (SPAT)

Webinar - PROKODA GmbH

Apache Spark Application Performance Tuning (SPAT)
Termin Ort Preis*
10.12.2024- 12.12.2024 online 2.802,45 €
*Alle Preise verstehen sich inkl. MwSt.

Detaillierte Informationen zum Seminar

Inhalte:
Spark Architecture\n\n\n- RDDs\n- DataFrames and Datasets\n- Lazy Evaluation\n- Pipelining\nData Sources and Formats\n\n\n- Available Formats Overview\n- Impact on Performance\n- The Small Files Problem\nInferring Schemas\n\n\n- The Cost of Inference\n- Mitigating Tactics\nDealing With Skewed Data\n\n\n- Recognizing Skew\n- Mitigating Tactics\nCatalyst and Tungsten Overview\n\n\n- Catalyst Overview\n- Tungsten Overview\n- Mitigating Spark Shuffles\n- Denormalization\n- Broadcast Joins\n- Map-Side Operations\n- Sort Merge Joins\nPartitioned and Bucketed Tables\n\n\n- Partitioned Tables\n- Bucketed Tables\n- Impact on Performance\nImproving Join Performance\n\n\n- Skewed Joins\n- Bucketed Joins\n- Incremental Joins\nPyspark Overhead and UDFs\n\n\n- Pyspark Overhead\n- Scalar UDFs\n- Vector UDFs using Apache Arrow\n- Scala UDFs\n- Caching Data for Reuse\n- Caching Options\n- Impact on Performance\n- Caching Pitfalls\nWorkload XM (WXM) Introduction\n\n\n- WXM Overview\n- WXM for Spark Developers\nWhat’s New in Spark 3.0?\n\n\n- Adaptive Number of Shuffle Partitions\n- Skew Joins\n- Convert Sort Merge Joins to Broadcast Joins\n- Dynamic Partition Pruning\n- Dynamic Coalesce Shuffle Partitions\nAppendix A: Partition Processing\n\nAppendix B: Broadcasting\n\nAppendix C: Scheduling
Teilnahmevoraussetzungen:
Spark examples and hands-on exercises are presented in Python and the ability to program in this language is required. Basic familiarity with the Linux command line is assumed. Basic knowledge of SQL is helpful.
Zielgruppe:
This course is designed for software developers, engineers, and data scientists who have experience developing Spark applications and want to learn how to improve the performance of their code. This is not an introduction to Spark.
Nach unten
Nach oben
Wir setzen Analyse-Cookies ein, um Ihre Zufriedenheit bei der Nutzung unserer Webseite zu verbessern. Diese Cookies werden nicht automatisiert gesetzt. Wenn Sie mit dem Einsatz dieser Cookies einverstanden sind, klicken Sie bitte auf Akzeptieren. Weitere Informationen finden Sie hier.
Akzeptieren Nicht akzeptieren









Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha



Bei der Verarbeitung Ihrer personenbezogenen Daten im Zusammenhang mit der Kontaktfunktion beachten wir die gesetzlichen Bestimmungen. Unsere ausführlichen Datenschutzinformationen finden Sie hier. Bei der Kontakt-Funktion erhobene Daten werden nur an den jeweiligen Anbieter weitergeleitet und sind nötig, damit der Anbieter auf Ihr Anliegen reagieren kann.







Um Spam abzuwehren, geben Sie bitte die Buchstaben auf dem Bild in das Textfeld ein:

captcha