Deep Learning mit Pytorch: GAN, RNN und Transformer

Generative adversarial networks

• Einsatzgebiete
• Spezielle Loss-Funktionen
• Einfacher Fall: MLPs ausreichend
• Komplexer mit Deep Convolutional GANS: Face generation
• Moderne Varianten (Wasserstein GAN, CycleGAN)
• Überblick generative Modelle

Recurrent neural networks

• Sequentielle Daten als Input und/oder Output
• Char level oder word level
• Embeddings
• Backpropagation through time
• Problem vanishing / exploding gradient
• LSTM Intuition
• Variante GRU
• Seq2seq Modelle: Encoder/Decoder
• Attentionmechanimus in RNNs
• Einsatz für Chatbots, Übersetzungen u.a.

Transformer

• Attention ohne RNN, Intuition
• Self Attention, Multi head attention
• Queries, Keys, Values
• Originale Transformer Architektur
• Nur Encoding: BERT
• Nur Decoding: GPT
• Large Language Models
• Finetuning (ähnlich Transfer Learning bei CNN)
• Einsatzmöglichkeiten: Sentimentanalyse, Übersetzung u.a.
• Qualitätsmaß BLEU score

Ausblicke

• Transformer für Bilder
• Weiterentwicklung bei CNNs
• Umfeld: Unternehmen und Dienste (Kaggle, HuggingFace, ...)
• Vereinfachung/Wrapper für Pytorch: Lighting
• Ausführung in der Cloud, Services bei AWS u.a.
• Grundidee Diffusion Modelle zur Generierung von Audio und Bildern
• Kurzvorstellung Reinforcement Learning

In dieser 5-tägigen Schulung "Deep Learning mit Pytorch: GAN, RNN und Transformer" bekommen Sie einen umfassenden Einblick in diverse anspruchsvolle Bereiche des Deep Learning, die in den letzten Jahren viel Aufmerksamkeit erhalten haben und nun zahlreiche neue Anwendungen ermöglichen.

Für jeden der Haupttypen (GAN, RNN, Transformer) werden ausführliche Beispiele präsentiert, teilweise in Form von Jupyter-Notebooks sowie in mehreren Dateien innerhalb der Entwicklungsumgebung. Zudem werden mehrere Fallstudien mit bereitgestelltem Code durchgeführt und analysiert. Außerdem werden zeitgemäße Netzwerkarchitekturen wie BERT, verschiedene GPT-Varianten und VisionTransformer in ihren Grundkonzepten vorgestellt.

Zusätzlich liefert der Kurs mathematische Hintergrundinformationen und wertvolle Hinweise zur praktischen Umsetzung in Form eines Softwareprojekts.

• Python: Routinierte Erfahrungen mit IDE und Jupyter Notebooks
• Deep Learning: Multi Layer Perceptrons und Convolutional Neural Networks mit Pytorch

Die Schulung bietet Ihnen eine ausgewogene Mischung aus Theorie und Praxis in einer erstklassigen Lernumgebung. Profitieren Sie vom direkten Austausch mit unseren projekterfahrenen Trainern und anderen Teilnehmern, um Ihren Lernerfolg zu maximieren.

• Pythonentwickler