So trainieren Sie ein KI-Modell mit Ihren Unternehmensdokumenten

Die meisten KI-Modelle verfügen über ein umfassendes Allgemeinwissen. Über Ihr Unternehmen wissen sie jedoch so gut wie nichts. Sie kennen weder Ihre interne Terminologie noch Ihre Produktbezeichnungen, Freigabeprozesse oder die Struktur Ihrer Verträge. Fragt man ein allgemeines Sprachmodell nach Ihren Lieferantenvereinbarungen, erhält man oft eine Antwort, die plausibel klingt – mit den tatsächlichen Dokumenten Ihres Unternehmens jedoch wenig zu tun hat.

Ein KI-Modell auf Basis Ihrer Unternehmensdokumente zu trainieren, schließt genau diese Wissenslücke. Gleichzeitig ist dieser Prozess deutlich komplexer, als es viele Anbieter in ihrem Marketing darstellen. Dieser Leitfaden zeigt deshalb realistisch, welche Möglichkeiten es gibt und was sie tatsächlich leisten.

Warum sollte man ein KI-Modell mit Unternehmensdokumenten trainieren?

Die kurze Antwort lautet: Ein Modell, das ausschließlich auf allgemeinen Daten trainiert wurde, beginnt zu halluzinieren, sobald es Fragen zu Ihrem Unternehmen beantworten soll.

Unter Halluzinationen versteht man Antworten einer KI, die überzeugend wirken, inhaltlich jedoch falsch sind. Statt Wissenslücken einzugestehen, ergänzt das Modell diese mit logisch klingenden Vermutungen.

Nehmen wir als Beispiel einen Kundenservice-Mitarbeiter, der eine allgemeine KI nach den Rückgabebedingungen Ihres Unternehmens fragt. Enthält Ihre Richtlinie besondere Ausnahmen, die dem Modell nicht bekannt sind, wird es mit hoher Wahrscheinlichkeit eine Antwort erfinden, die glaubwürdig klingt, aber falsch ist.

Dasselbe gilt für Rechtsabteilungen. Soll eine KI Verträge mit Ihren Standardvertragsklauseln vergleichen, diese Klauseln befinden sich jedoch nicht in den Trainingsdaten, basiert die Analyse letztlich auf Annahmen statt auf Ihren tatsächlichen Vorgaben.

Unternehmensdokumente – Verträge, Richtlinien, Produktspezifikationen, Compliance-Unterlagen oder interne Prozesse – bilden das institutionelle Wissen eines Unternehmens. Erst sie machen KI im geschäftlichen Umfeld wirklich nützlich.

Die Voraussetzung dafür ist jedoch ein gut organisiertes Dokumentenmanagement. Sind Dokumente über verschiedene Systeme verteilt, uneinheitlich strukturiert oder schlecht gepflegt, leidet auch die Qualität der KI. Eine KI kann nur so gut sein wie die Daten, auf denen sie basiert.

Die verschiedenen Möglichkeiten: Fine-Tuning, RAG oder Prompt Engineering

Es gibt drei grundlegende Ansätze, um ein KI-Modell an die Dokumente eines Unternehmens anzupassen. Sie unterscheiden sich erheblich hinsichtlich Aufwand, Kosten und Funktionsweise.

Prompt Engineering

Prompt Engineering ist die einfachste Methode. Dabei werden relevante Dokumentenausschnitte direkt gemeinsam mit der Frage an das Sprachmodell übergeben.

Es findet kein eigentliches Training statt. Das Modell verarbeitet lediglich die Informationen, die ihm im jeweiligen Prompt zur Verfügung gestellt werden.

Dieser Ansatz eignet sich für einzelne Anfragen oder kleinere Dokumentenmengen. Er skaliert jedoch nur begrenzt. Die Länge eines Prompts ist begrenzt, und die Auswahl der passenden Dokumente erfolgt manuell.

Retrieval-Augmented Generation (RAG)

Retrieval-Augmented Generation (RAG) ist heute für viele Unternehmen der bevorzugte Ansatz.

Bei RAG wird das Sprachmodell selbst nicht verändert. Stattdessen werden Unternehmensdokumente in einem durchsuchbaren Index gespeichert.

Stellt ein Benutzer eine Frage, durchsucht das System automatisch die Dokumentensammlung, findet die relevantesten Textstellen und stellt sie dem Modell als Kontext zur Verfügung. Anschließend formuliert das Modell seine Antwort auf Basis dieser Informationen.

Das Modell erhält also Zugriff auf das Unternehmenswissen erst zum Zeitpunkt der Anfrage, ohne dass seine eigentlichen Trainingsdaten verändert werden.

Fine-Tuning

Fine-Tuning funktioniert grundlegend anders.

Hier werden die Parameter eines bereits trainierten Sprachmodells mit unternehmensspezifischen Daten angepasst. Die sogenannten Model Weights – also die internen Gewichtungen, anhand derer das Modell Sprache verarbeitet – werden tatsächlich verändert.

Ein feinabgestimmtes Modell ruft Informationen daher nicht nur aus Dokumenten ab, sondern übernimmt bestimmte Muster, Formulierungen und Denkweisen dauerhaft in sein Verhalten.

Fine-Tuning ist deutlich aufwendiger und ressourcenintensiver als RAG.

Für die meisten geschäftlichen Anwendungsfälle bringt RAG bereits rund 80 % des Nutzens. Es lässt sich schneller implementieren, einfacher aktualisieren und benötigt keine erneute Modellanpassung, wenn sich Dokumente ändern.

Fine-Tuning lohnt sich insbesondere dann, wenn sich nicht nur das Wissen, sondern auch das Verhalten des Modells ändern soll. Dazu gehören beispielsweise:

• feste Antwortformate
• unternehmensspezifische Terminologie
• komplexe fachliche Entscheidungslogiken
• spezialisierte Arbeitsabläufe, bei denen Dokumente allein nicht ausreichen

Unternehmensdokumente für das KI-Training vorbereiten

Rohdaten eignen sich nur selten direkt als Trainingsmaterial. In den meisten Fällen müssen Dokumente zunächst aufbereitet werden.

Die erste Herausforderung ist das Dateiformat.

Gesannte PDFs, bildbasierte Dokumente oder ältere Dateiformate müssen zunächst per OCR (Optical Character Recognition) in maschinenlesbaren Text umgewandelt werden. Ohne diesen Schritt kann die KI den Inhalt nicht verarbeiten.

Anschließend folgt die Qualitätsprüfung.

Nicht jedes Dokument sollte in das Training einfließen. Veraltete Richtlinien, ersetzte Vertragsversionen, Entwürfe oder doppelte Dateien erzeugen unnötiges Rauschen. Das Modell lernt aus sämtlichen bereitgestellten Daten – auch aus denjenigen, die eigentlich nicht berücksichtigt werden sollten.

Ein weiterer wichtiger Schritt ist das sogenannte Chunking.

Dabei werden umfangreiche Dokumente in kleinere Textabschnitte zerlegt. Ein Vertrag mit 200 Seiten kann einem Sprachmodell nicht als einzelnes Dokument übergeben werden.

Die Art, wie Dokumente segmentiert werden, beeinflusst unmittelbar die Qualität der späteren Suchergebnisse und damit auch die Qualität der Antworten.

Aus diesem Grund spielen Dokumentenklassifizierung, konsistente Metadaten und eine saubere Dokumentenstruktur bereits lange vor dem eigentlichen KI-Projekt eine entscheidende Rolle.

Ein sauber gepflegtes Dokumentenarchiv lässt sich wesentlich einfacher und effizienter für KI-Anwendungen vorbereiten.

Wie funktioniert RAG? KI mit Ihrer Dokumentenbibliothek verbinden

Retrieval-Augmented Generation (RAG) hat sich zum führenden Ansatz für den Einsatz von KI mit Unternehmensdokumenten entwickelt. Ein Blick auf die zugrunde liegende Architektur erklärt, warum.

Werden Dokumente in ein RAG-System aufgenommen, werden sie zunächst in sogenannte Vektor-Embeddings umgewandelt. Dabei handelt es sich um numerische Repräsentationen von Texten, die deren Bedeutung und nicht nur einzelne Wörter abbilden.

Dokumente mit ähnlichem Inhalt erhalten ähnliche numerische Darstellungen. Diese Embeddings werden anschließend in einer Vektordatenbank gespeichert – einer speziell für die Speicherung und semantische Suche entwickelten Datenbank.

Stellt ein Benutzer eine Frage, wird auch diese in einen Vektor umgewandelt. Das System sucht anschließend nach den Dokumentabschnitten, deren Bedeutung der Anfrage am ähnlichsten ist – unabhängig davon, welche Formulierungen oder Begriffe verwendet wurden.

Die gefundenen Textabschnitte werden dem Sprachmodell als zusätzlicher Kontext bereitgestellt. Die Antwort basiert somit auf den tatsächlich gefundenen Informationen und nicht ausschließlich auf dem allgemeinen Wissen des Modells.

Der größte Vorteil von RAG gegenüber Fine-Tuning besteht darin, dass die Dokumente vom Modell getrennt bleiben. Änderungen an Ihrer Dokumentenbibliothek stehen der KI unmittelbar zur Verfügung. Es ist kein erneutes Training erforderlich. Beim Fine-Tuning dagegen muss das Modell erneut trainiert werden, sobald neues Wissen integriert werden soll.

Wie funktioniert Fine-Tuning? Ein LLM an Ihre Unternehmensdaten anpassen

Fine-Tuning eignet sich dann, wenn sich nicht nur das Wissen, sondern auch das Verhalten eines Sprachmodells verändern soll.

Ein typisches Beispiel ist ein Customer-Support-Team, das von der KI erwartet, Antworten in einem festen Format zu erstellen, unternehmensspezifische Begriffe zu verwenden oder Probleme nach definierten fachlichen Regeln zu lösen.

Während RAG dem Modell lediglich Zugriff auf Informationen verschafft, verändert Fine-Tuning die Art und Weise, wie das Modell Informationen verarbeitet und Antworten formuliert.

Ein vollständiges Fine-Tuning großer Sprachmodelle (Large Language Models – LLMs) ist allerdings mit hohen Kosten für Rechenleistung und Zeit verbunden.

Aus diesem Grund setzen Unternehmen heute überwiegend auf LoRA (Low-Rank Adaptation) oder vergleichbare parameter-effiziente Fine-Tuning-Verfahren (PEFT).

Dabei wird nicht das gesamte Modell angepasst, sondern lediglich ein kleiner Teil seiner Parameter. Dadurch sinken sowohl der Rechenaufwand als auch die Kosten erheblich.

Die meisten Fine-Tuning-Projekte im Unternehmensumfeld basieren inzwischen auf solchen effizienten Verfahren.

Ein weiterer wichtiger Unterschied besteht darin, dass Fine-Tuning gelabelte Trainingsdaten benötigt.

Für dokumentenbasierte Anwendungen bedeutet das beispielsweise:

• Fragen und dazugehörige korrekte Antworten aus Unternehmensdokumenten
• korrekt klassifizierte Dokumente
• Beispiele hochwertiger Zusammenfassungen
• gewünschte Antwortformate

In der Praxis nimmt die Erstellung dieses Trainingsdatensatzes häufig mehr Zeit in Anspruch als das eigentliche Fine-Tuning des Modells.

Datenschutz und Sicherheitsaspekte

Gerade dieser Bereich wird im Zusammenhang mit KI häufig unterschätzt.

Unternehmensdokumente enthalten oftmals personenbezogene Daten – beispielsweise Mitarbeiterinformationen, Kundendaten oder Finanzinformationen.

Vorschriften wie die DSGVO (GDPR), der California Consumer Privacy Act (CCPA) und vergleichbare Datenschutzgesetze verpflichten Unternehmen dazu, genau festzulegen, wie diese Daten gespeichert, verarbeitet und aufbewahrt werden.

Auch das Training eines KI-Modells stellt eine Form der Datenverarbeitung dar und benötigt daher eine entsprechende Rechtsgrundlage.

In der Praxis bedeutet das vor allem Folgendes:

Zunächst sollte sorgfältig geprüft werden, welche Dokumente überhaupt in das Training aufgenommen werden.

Dokumente mit personenbezogenen Daten sollten entweder:

• ausgeschlossen,
• anonymisiert oder
• nur auf Grundlage einer entsprechenden Einwilligung bzw. Rechtsgrundlage verwendet werden.

Ebenso wichtig ist die Frage, wohin Ihre Daten übertragen werden.

Nutzen Sie einen externen Anbieter für Fine-Tuning oder KI-Services, sollten Sie genau wissen, wie dieser Ihre Daten verarbeitet, speichert und schützt.

Ein weiterer entscheidender Aspekt sind Zugriffsrechte.

Ein KI-System, das Zugriff auf Ihre gesamte Dokumentenbibliothek besitzt, kann grundsätzlich auch Informationen daraus bereitstellen.

Das ist nur dann unproblematisch, wenn alle Benutzer sämtliche Dokumente sehen dürfen.

In den meisten Unternehmen ist genau das jedoch nicht der Fall.

Deshalb müssen dieselben Rollen- und Berechtigungskonzepte, die für Ihr Dokumentenmanagement gelten, konsequent auch für Ihre KI-Lösung übernommen werden.

Ihre Dokumente sind nur so wertvoll wie das System, das sie verwaltet

Die Qualität eines KI-Modells, das auf Unternehmensdokumenten basiert, hängt fast vollständig von der Qualität dieser Dokumente ab.

Die eigentliche Grundlage erfolgreicher KI-Projekte ist deshalb nicht das Sprachmodell, sondern ein gut organisiertes Dokumentenmanagement.

Unternehmen, die bereits in strukturiertes Dokumentenmanagement investiert haben, verfügen über einen klaren Vorsprung.

Ihre Dokumente sind sauber strukturiert, versioniert, konsistent verschlagwortet und schnell auffindbar.

Genau diese Eigenschaften bilden die Grundlage dafür, dass RAG, Fine-Tuning und andere KI-Verfahren zuverlässige und präzise Ergebnisse liefern können.

Sprechen Sie mit dem KORTO Team darüber, wie Sie eine Dokumentenbasis schaffen, die den erfolgreichen Einsatz von KI in Ihrem Unternehmen ermöglicht.