GPT im Unternehmen: Entwickle dein maßgeschneidertes Large Language Model: Strategien, Herausforderungen und Lösungsansätze für den Einsatz von LLM in Unternehmen

Grundlagen

• Einführung in KI und Large Language Models (LLM)
• Relevanz von LLMs für Unternehmen
• Potenzielle Anwendungsfälle und deren Mehrwert
• Produktentwicklung: Technologie, Best Practices, Architektur

Anwendungsbeispiele aus der Praxis

• Bosch und Aleph Alpha
• DM und dmGPT
• Weitere Beispiele: Moody's Copilot, OTTO ogGPT, McKinsey Lilly
• Diskussion und Analyse der vorgestellten Anwendungen
• Arten von InhouseGPT: Enterprise Search, Prozessautomatisierung mit Prompt Engineering, Produkte mit KI

Ansätze und Möglichkeiten

• Training from scratch: Vorteile, Nachteile und Kosten
• Fine-tuning: Anpassung an firmeninterne Daten, Menge der Trainingsdaten, Qualität
• In-context Learning: Fähigkeit der KI, Context Recall
• Retrieval Augmented Generation (RAG): Integration von Datenbanken, Vector Store, Customizing

InhouseGPT Pilot

• Prozess: Prototyp mit ChatGPT, Pilot mit Streamlit & Chainlit, InhouseGPT als skalierbares Produkt
• Extraktion von Unternehmensdaten aus unternehmensinternen Daten
• Wissensdatenbank mit Obsidian und Markdown
• Hinzufügen von Daten zu qdrant als Vector-Embeddings
• LLM: Nutzung von OpenAI Schnittstellen bzw. Aufsetzen von Llama 3.1.405B
• Prompt-Entwicklung und -Evaluierung mit Python
• Verbesserung der RAG-Pipeline mit Hybrider Suche und Reranking
• Deployment mit Github und Streamlit Share

Technologien und Tools

• Auswahl der geeigneten Infrastruktur (z.B. Cloud vs. On-Premise)
• Modelle: OpenAI API und GPT-4o, Claude Sonnet 3.5, Llama 3.1 405B
• Daten: qdrant, Weaviate
• Orchestrierung: LangChain, LlamaIndex
• Interfaces: Streamlit & Chainlit, Business Apps, Web Apps
• Deployment: lokal, Schnittstelle, Cloud VM

Staffing und Umsetzung

• Anforderungen und Erwartungen der Stakeholder:innen
• Teamstrukturen und Rollen
• Anforderungen an Qualifikationen, Fähigkeiten und Weiterbildung
• Entwicklung einer Lösungsarchitektur; Kosten und Budget
• Training und Befähigung der Endnutzer

Wichtiger Hinweis zur Vorinstallation von Software

In dem Seminar gibt es viele Praxisübungen, mit denen die beschriebenen Techniken erprobt werden. Diese führst du auf deinem eigenen Rechner durch. Bitte sorge im Vorfeld des Seminars dafür, dass Python 3.12 und Git Access Token auf deinem Rechner installiert sind. Des Weiteren werden in dem Seminar Python-Pakete mit dem Paketmanager pip packages nachinstalliert. Bitte probiere dies vor dem Seminartermin aus und kontaktiere bei Problemen ggf. deine IT-Administration.

• Du erwirbst umfassendes Wissen über die Entwicklung und Anwendung von Large Language Models im Unternehmenskontext
• Du lernst, wie du LLMs an deine spezifischen Unternehmensanforderungen anpasst
• Du erfährst, wie du durch den Einsatz von LLMs eine intelligente Suche aufsetzen kannst
• Du weißt, was dir für Implementierung des eigenen GPT noch fehlt und welche Schritte vor dir legen

Die Inhalte dieser Weiterbildung unterstützen die Nachweispflicht zur Förderung von KI-Kompetenz im Sinne des Art. 4 EU KI-VO.

Dieses Seminar eignet sich für Entwickler:innen aus dem Bereich der künstlichen Intelligenz und des maschinellen Lernens sowie Fachkräfte, die sich mit der Implementierung von KI-Lösungen im Unternehmen beschäftigen.