Deep Learning und Text Mining - Automatisierte Textanalyse und Textgenerierung im Unternehmen

Das Spektrum der Themen deckt nahezu alle Anwendungen der natürlichen Sprachverarbeitung (NLP) ab, kombiniert mit realistischen Anwendungsfällen und Datensätzen. U. a. werden folgende Konzepte behandelt:

• Textaufbereitung
• Worteinbettungen (Word2vec, BERT, GP2, GPTJ, ELMO)
• Neuronale Netze: MLP, CNN, RNN, LSTM, GRU, Transformer 
• Modellierung von Sprachen
• Modellierung von Sequenz zu Sequenz (seq2seq)
• Aufmerksamkeits-Mechanismus (Attention mechanism)
• Transformer-Architektur
• Fine Tuning
• Transfer Learning 
• Sprachübergreifende und mehrsprachige Sprachmodellierung

 

Der Schwerpunkt des Seminars liegt auf der Umsetzung von Projekten. In den folgenden Modulen werden alle Programme (Python) auf Basis Tensorflow bzw. Pytorch entwickelt:

 

• Named Entity Recognition
  : Erkennung von Eigennamen von Personen, Institutionen, medizinischen Fachausdrücken (BiLSTM, ELMO)
• Entwicklung eines Fragebeantwortungssystems
  mit Haystack und Elasticsearch
• Textklassifizierung mit BERT z. B. Auswertung von Stimmungsanalysen von Produkten oder Marken in sozialen Netzwerken; Auswertung von Kundenbewertungen
• Sentiment Analyse:
  Identifizierung von Beurteilungen und Bewertungen in einem Text z.B. Bewertungen von Produkten und Services mit BERT und Huggingface
• Sentence Categorization
  : Maschinelle Einteilung von Texten in vordefinierte Gruppen z.B. Spam-Filter, Sentiment Analysis, Dringlichkeit, Stil, Sprache, Komplexität
• Relation Extraction:
  Extraktion von semantischen Beziehungen aus einem Text
• Automatische Textzusammenfassung (extraktive und generative
  ) mit BERT, T5 und Pegasus
• Informationsextraktion ermöglicht einen direkten Zugriff auf wesentliche Details von Verträgen, Bestellungen, Rechnungen und Spezifikationen
• Maschinelle Übersetzung z.B. von Deutsch in Englisch oder Spanisch
• Multimodale Netzwerke und Erstellung von Bilduntertiteln mit ResNets und Transformer-Netzwerke
• KI-Chatbots mit vortrainierten Transformern