Machine Learning - Sprachverarbeitung mit Transformern und Hugging Face

NLP (Natural Language Processing) ist ein Forschungsfeld der künstlichen Intelligenz, das sich mit der Verarbeitung und Analyse natürlicher Sprache befasst. Seit den 1950er Jahren wurden Computerprogramme zur automatischen Übersetzung entwickelt, aber erst in den letzten Jahrzehnten hat das NLP erhebliche Fortschritte gemacht. Anfangs wurden regelbasierte Systeme verwendet, um grammatische und semantische Strukturen zu analysieren. In den 1980er und 1990er Jahren kamen statistische Modelle zum Einsatz, die auf maschinellem Lernen basierten. Seit den späten 1990er Jahren haben tiefe neuronale Netze wie RNNs (Recurrent Neural Networks) Fortschritte in der Verarbeitung von Sprache ermöglicht. In jüngerer Zeit haben Transformer-Modelle, die auf dem Attention-Mechanismus basieren, große Aufmerksamkeit erregt, insbesondere das BERT-Modell. Diese Modelle haben zu bahnbrechenden Fortschritten in der Sprachverarbeitung, wie Textklassifikation und Sprachverständnis, geführt.

Sprachverarbeitung mittels maschinellem Lernen ist ein schnell wachsender Bereich der Künstlichen Intelligenz. Neue Methoden werden entwickelt, um die Entscheidungsfindung zu verbessern und den Umgang mit Textdaten zu vereinfachen.
Die neuesten Durchbrüche im Bereich von ChatGPT und datenzentrierten Algorithmen haben traditionelle regelbasierte Algorithmen überholt. Anstelle strenger Regeln basieren diese Modelle auf großen Mengen an Daten und nutzen maschinelles Lernen, um die menschliche Sprache besser zu verstehen und zu generieren. Dadurch können sie nuanciertere Antworten liefern und sich an verschiedene Situationen anpassen.

In unserer Schulung  erhalten Sie einen umfassenden Überblick über Natural Language Processing (NLP). Wir werden die Geschichte dieses Forschungsfeldes beleuchten und uns mit statistischem NLP beschäftigen, welches mithilfe von maschinellem Lernen Muster in großen Mengen an Textdaten erkennt. Sie werden verstehen, wie diese verschiedenen Ansätze im Laufe der Zeit entwickelt wurden und welchen Einfluss sie auf die NLP-Technologien von heute haben. Durch praxisorientierte Übungen werden Sie zudem lernen, wie Sie NLP-Modelle auf Ihre eigenen Projekte anwenden können.

Diese Schulung behandelt die grundlegenden Konzepte der Transformationsarchitektur und der Hugging Face-Sprachverarbeitung. Wir werden uns zunächst mit dem Aufbau dieses Frameworks vertraut machen, bevor wir uns den Tokenizern, Attention Mechanismen, Encoder Modellen (BERT), Decoder Modellen (GPT-2) sowie den Sequence-to-Sequence Modellen (BART, T5) widmen.

Transformers sind eine Art von Deep-Learning-Modell, das für Aufgaben der Verarbeitung natürlicher Sprache (NLP) wie Textklassifizierung, Beantwortung von Fragen und maschinelle Übersetzung immer beliebter geworden ist. Der Tokenizer ist eine der Schlüsselkomponenten in der Transformer-Architektur und für die Zerlegung eines Satzes in kleinere Einheiten, sogenannte Token, verantwortlich. Ein Token kann ein einzelnes Wort, ein Part-of-Speech-Tag, ein Interpunktionszeichen oder eine andere syntaktische Einheit darstellen.

In dieser Schulung lernen Sie die Verwendung von Transformern mit HuggingFace kennen. Sie werden entdecken, wie Sie auf das Model Hub zugreifen können, um vortrainierte Modelle für verschiedene NLP-Aufgaben zu nutzen. Des Weiteren werden Sie das Fine-Tuning existierender Modelle erlernen, um sie an Ihre spezifischen Anforderungen anzupassen.

Durch praktische Übungen werden Sie in der Lage sein, diese leistungsstarken Modelle effektiv einzusetzen und maßgeschneiderte Lösungen für Ihre NLP-Projekte zu entwickeln.
Als Beispiel werden wir aus dem Bereich der Musikverarbeitung Bach-Choräle generieren.



Übersicht Natural Language Processing (NLP):

• Geschichte von Natural Language Processing (NLP)
• Symbolische Natural Language Processing (NLP)
• Statistische Natural Language Processing (NLP)

Transformer Architektur:

• Aufbau
• Tokenizer
• Attention Mechanism
• Encoder Model (BERT)
• Decoder Model (GPT-2)
• Sequence-to-Sequence (BART, T5)

Transformer mit HuggingFace:

• model hub
• fine tuning existierender Modelle
• Beispielanwendung für Musikverarbeitung
  Praktisches Beispiel: Generierung von Bach-Chorälen
  
  • Ein Transformer (GPT-2) from scratch trainieren
  • Eigenen Tokenizer Aufsetzen
  • Datensatz von Chorälen aus Midi in Tokens umwandeln
  • Training starten und evaluieren (Google Colab)