GPT im Unternehmen: Entwickle dein maßgeschneidertes Large Language Model: Strategien, Herausforderungen und Lösungsansätze für den Einsatz von LLM in Unternehmen

Grundlagen

• Einführung in KI und Large Language Models (LLM)
• Relevanz von LLMs für Unternehmen
• Potenzielle Anwendungsfälle und deren Mehrwert
• Produktentwicklung: Technologie, Best Practices, Architektur

Anwendungsbeispiele aus der Praxis

• Bosch und Aleph Alpha
• DM und dmGPT
• Weitere Beispiele: Moody's Copilot, OTTO ogGPT, McKinsey Lilly
• Diskussion und Analyse der vorgestellten Anwendungen
• Arten von InhouseGPT:
  • Enterprise Search
  • Prozessautomatisierung mit Prompt Engineering
  • Produkte mit KI

Ansätze und Möglichkeiten

• Training from scratch: Vorteile, Nachteile und Kosten
• Fine-tuning: Anpassung an firmeninterne Daten, Menge der Trainingsdaten, Qualität
• In-context Learning: Fähigkeit der KI, Context Recall
• Retrieval Augmented Generation (RAG): Integration von Datenbanken, Vector Store, Customizing

InhouseGPT Pilot

• Prozess: Prototyp mit ChatGPT, Pilot mit Streamlit & Chainlit, InhouseGPT als skalierbares Produkt
• Extraktion von Unternehmensdaten aus unternehmensinternen Daten
• Wissensdatenbank mit Obsidian und Markdown
• Hinzufügen von Daten zu qdrant als Vector-Embeddings
• LLM: Nutzung von OpenAI Schnittstellen bzw. Aufsetzen von Llama 3.1.405B
• Prompt-Entwicklung und -Evaluierung mit Python
• Verbesserung der RAG-Pipeline mit Hybrider Suche und Reranking
• Deployment mit Github und Streamlit Share

Technologien und Tools

• Auswahl der geeigneten Infrastruktur (z.B. Cloud vs. On-Premise)
• Modelle: OpenAI API und GPT-4o, Claude Sonnet 3.5, Llama 3.1 405B
• Daten: qdrant, Weaviate
• Orchestrierung: LangChain, LlamaIndex
• Interfaces: Streamlit & Chainlit, Business Apps, Web Apps
• Deployment: lokal, Schnittstelle, Cloud VM

Staffing und Umsetzung

• Anforderungen und Erwartungen der Stakeholder:innen
• Teamstrukturen und Rollen
• Anforderungen an Qualifikationen, Fähigkeiten und Weiterbildung
• Entwicklung einer Lösungsarchitektur; Kosten und Budget
• Training und Befähigung der Endnutzer

• Du erwirbst umfassendes Wissen über die Entwicklung und Anwendung von Large Language Models im Unternehmenskontext
• Du lernst, wie du LLMs an deine spezifischen Unternehmensanforderungen anpasst
• Du erfährst, wie du durch den Einsatz von LLMs eine intelligente Suche aufsetzen kannst
• Du weißt, was dir für Implementierung des eigenen GPT noch fehlt und welche Schritte vor dir legen

Die Inhalte dieser Weiterbildung unterstützen die Nachweispflicht zur Förderung von KI-Kompetenz im Sinne des Art. 4 EU KI-VO.

Entwickler:innen aus dem Bereich der künstlichen Intelligenz und des maschinellen Lernens sowie Fachkräfte, die sich mit der Implementierung von KI-Lösungen im Unternehmen beschäftigen.