EU AI Act: Was sich für das Enterprise Content Management ändert

Enterprise Content Management (ECM) umfasst die Strategien, Werkzeuge und Prozesse, mit denen Unternehmen ihre Inhalte über den gesamten Lebenszyklus hinweg erfassen, verwalten, speichern und bereitstellen. Ein immer größerer Teil dieses Lebenszyklus wird inzwischen in irgendeiner Form durch künstliche Intelligenz (KI) unterstützt.

Automatische Klassifizierung, KI-gestützte Suche und die Generierung von Inhalten, etwa Zusammenfassungen oder vollständigen Geschäftsschreiben, gehören genau zu den Funktionen, für deren Regulierung der EU AI Act geschaffen wurde.

Der EU AI Act, offiziell die Verordnung (EU) 2024/1689, ist der erste umfassende Rechtsrahmen für künstliche Intelligenz weltweit. Er basiert auf einem risikobasierten Ansatz, statt sämtliche KI-Anwendungen denselben pauschalen Regeln zu unterwerfen. Die Verordnung erfasst auch KI-Funktionen, die in ECM-Plattformen integriert sind. Dabei spielt es keine Rolle, ob ein Anbieter seine KI-Funktionen prominent bewirbt oder sie unauffällig im Rahmen eines regulären Softwareupdates bereitstellt.

Viele ECM-Teams werden feststellen, dass sie bereits seit einiger Zeit regulierte KI-Systeme einsetzen, ohne diese bisher als solche betrachtet zu haben.

Was der EU AI Act für KI-gestützte ECM-Funktionen bedeutet

Eine Dokumentensuche, die Suchergebnisse nach Relevanz sortiert, und ein automatisiertes HR-Screening-Tool, das Bewerberinnen und Bewerber aussortiert, können auf demselben zugrunde liegenden KI-Modell basieren und dennoch völlig unterschiedlich unter den EU AI Act fallen.

Rechtlich entscheidend ist nämlich, wie die jeweilige Funktion personenbezogene Daten verarbeitet oder wichtige Entscheidungen beeinflusst, nicht allein die verwendete Technologie.

Viele ECM-Teams wissen tatsächlich nicht genau, welche KI-Funktionen in ihren Systemen aktiv sind, bis jemand eine vollständige Bestandsaufnahme durchführt. Das ist eine häufige Schwachstelle, denn solche Funktionen werden oft unbemerkt durch reguläre Plattformupdates eingeführt, statt im Rahmen einer bewussten Kaufentscheidung ausgewählt zu werden.

Intern wurden sie deshalb häufig nie ausdrücklich als „KI-Systeme“ eingestuft, weil bei ihrer Aktivierung niemand in diesen Kategorien dachte. Ein guter Ausgangspunkt ist die Überprüfung der Funktionen der bereits eingesetzten Enterprise-Content-Management-Software.

Diese Bestandsaufnahme muss beim ersten Versuch nicht vollständig sein. Bereits eine grobe Übersicht aller Funktionen, die maschinelles Lernen einsetzen oder selbstständig Inhalte generieren, gibt dem Compliance-Team eine konkrete Arbeitsgrundlage. Das ist wesentlich hilfreicher, als die regulatorischen Auswirkungen einer gesamten Plattform auf einmal bewerten zu müssen.

Risikoklassifizierung: Ist die KI in Ihrem ECM-System hochriskant?

Der EU AI Act unterscheidet vier Risikostufen für KI-Systeme: unannehmbares Risiko, hohes Risiko, begrenztes Risiko und minimales Risiko. Die Einstufung bestimmt maßgeblich, welche Anforderungen anschließend erfüllt werden müssen.

Eine falsche Klassifizierung kann in beide Richtungen kostspielig sein. Wird eine Funktion mit geringem Risiko zu hoch eingestuft, entsteht unnötiger Compliance-Aufwand. Wird dagegen ein Hochrisiko-KI-System unterschätzt, kann dies schwerwiegende Folgen haben, die möglicherweise erst bei einer behördlichen Prüfung sichtbar werden.

KI-Anwendungen im Personalwesen fallen häufig in die Hochrisikokategorie. Das gilt auch für bestimmte Systeme, die Beschäftigungsverhältnisse, Kreditentscheidungen oder den Zugang zu Dienstleistungen beeinflussen. Damit gehen Anforderungen an die menschliche Aufsicht und Dokumentation einher, die bei einer einfachen automatischen Verschlagwortung normalerweise nicht entstehen.

Einen Lebenslauf automatisch im richtigen Ordner abzulegen, ist etwas anderes, als Bewerberinnen und Bewerber zu bewerten und weniger geeignete Personen auszusortieren. Das gilt auch dann, wenn der Anbieter beide Funktionen unter derselben Bezeichnung „KI-gestützt“ vermarktet. Ähnliche Fragen stellen sich beim Enterprise Content Management für Finanzdienstleister, wenn automatisierte Entscheidungen den Zugang von Kundinnen und Kunden zu Finanzprodukten beeinflussen können.

Entscheidend ist letztlich, ob das Ergebnis der KI tatsächlich beeinflusst, was mit einer bestimmten Person geschieht. Dokumentieren Sie diese Bewertung ausdrücklich, statt einfach davon auszugehen, dass die Anwendung unproblematisch ist.

Transparenz und Kennzeichnung: Wie Artikel 50 die Veröffentlichung von ECM-Inhalten verändert

Artikel 50 sieht vor, dass KI-generierte oder KI-manipulierte Inhalte maschinenlesbar gekennzeichnet und gegenüber den jeweiligen Empfängerinnen und Empfängern offengelegt werden.

Für ein ECM-System, das automatisch Dokumentenzusammenfassungen oder Geschäftskorrespondenz erstellt, bedeutet dies, dass entsprechende Ausgaben eine Kennzeichnung und zunehmend auch ein digitales Wasserzeichen erhalten müssen. Ein versteckter Hinweis in einem Einstellungsmenü, das praktisch niemand öffnet, reicht dafür nicht aus. Dadurch entstehen neue Anforderungen an das Enterprise Content Management, insbesondere wenn KI-generierte Dokumente zwischen Abteilungen ausgetauscht oder extern veröffentlicht werden.

Die Kennzeichnung muss außerdem über den gesamten Lebenszyklus eines Dokuments erhalten bleiben. Eine heute KI-generierte Zusammenfassung sollte auch dann noch als solche erkennbar sein, wenn dieselbe Datei drei Jahre später aus dem Archiv abgerufen wird. Genau dieser Aspekt ist in vielen bestehenden ECM-Implementierungen bislang noch nicht vollständig berücksichtigt.

Die doppelte Herausforderung durch DSGVO und EU AI Act im ECM

Ein ECM-System, das personenbezogene Daten verarbeitet, muss inzwischen zwei regulatorische Rahmenwerke berücksichtigen, deren Anforderungen und Begrifflichkeiten nicht vollständig aufeinander abgestimmt sind. Ein Klassifizierungsmodell, das mit historischen Personalakten trainiert wurde, muss gleichzeitig die Vorgaben der Datenschutz-Grundverordnung (DSGVO) zur rechtmäßigen Datenverarbeitung und die Anforderungen des EU AI Act an das Risikomanagement erfüllen. Gerade dort, wo beide Regelwerke unterschiedliche Begriffe für eng verwandte Sachverhalte verwenden, entsteht für Rechts- und Compliance-Teams häufig erheblicher Abstimmungsaufwand.

Diese Überschneidungen machen die Automatisierung von Compliance-Prozessen besonders hilfreich, um regulatorische Verpflichtungen nachzuverfolgen und die unterstützende Dokumentation über beide Regelwerke hinweg konsistent zu halten.

Eine Datenschutz-Folgenabschätzung und eine Konformitätsbewertung nach dem EU AI Act weisen erhebliche Überschneidungen auf, sind jedoch nicht identisch.

Werden beide Bewertungen als koordinierter Prozess durchgeführt, statt sie unabhängig voneinander zu bearbeiten, lassen sich die Anforderungen häufig schneller erfüllen und doppelte Dokumentationsarbeiten deutlich reduzieren.

Zeitplan für die Compliance: Wichtige Fristen für ECM-Teams

Die Verbote bestimmter KI-Praktiken traten im Rahmen des EU AI Act zuerst in Kraft.

Die Anforderungen an Hochrisiko-KI-Systeme werden dagegen schrittweise über einen längeren Zeitraum eingeführt, der sich über mehrere Jahre erstreckt. Teams, die KI-Funktionen im Personalwesen, im Finanzbereich oder in kundenbezogenen Prozessen einsetzen, sollten nicht bis zur letzten Frist warten, um ihre Risikoklassifizierung zu dokumentieren.

Die nachträgliche Integration von Compliance-Anforderungen in bereits produktiv eingesetzte Systeme ist in der Regel deutlich aufwendiger, als diese Anforderungen von Anfang an bei der Entwicklung und Einführung zu berücksichtigen.

Auch Softwareanbieter müssen ihre Produkte und Prozesse an diesen Zeitplan anpassen. Deshalb sollten Einkaufsteams bei der Auswahl einer neuen ECM-Plattform direkt nachfragen, wie der jeweilige Anbieter seine KI-Funktionen gemäß dem EU AI Act klassifiziert. Diese Frage sollte geklärt werden, bevor ein Vertrag unterzeichnet wird, und nicht erst danach.

Den Dokumentenlebenszyklus an die Anforderungen des EU AI Act anpassen

Jede Phase des Dokumentenlebenszyklus, von der erstmaligen Erfassung bis zur Archivierung, benötigt geeignete Kontrollen zur Einhaltung des EU AI Act.

Bereits bei der Erfassung kann es beispielsweise erforderlich sein, zu kennzeichnen, welche Dokumente für das Training von KI-Modellen oder für KI-Inferenzprozesse verwendet werden. In späteren Phasen, etwa bei der Klassifizierung und Speicherung, muss nachvollziehbar sein, welche Entscheidungen KI-gestützt getroffen wurden und welche tatsächlich von Menschen stammen.

ECM-Plattformen, die bereits auf einem tagbasierten Management des Dokumentenlebenszyklus aufbauen, haben hier einen deutlichen Vorteil. Die ursprünglich für Aufbewahrung und Informationssicherheit entwickelte Infrastruktur zur Verschlagwortung und Audit-Protokollierung lässt sich häufig relativ einfach um KI-spezifische Kontrollpunkte erweitern. Dadurch muss nicht zwangsläufig ein vollständig separates System eingeführt werden.

Workflows zur Datenaufbewahrung, die bereits dokumentieren, warum ein bestimmter Datensatz erstellt wurde, bieten eine gute Grundlage, um zusätzlich festzuhalten, ob dieser KI-generiert ist. Diese Überschneidung kann überraschend viele der Anforderungen aus Artikel 50 unterstützen.

KI-Kompetenz und Schulungspflichten für Unternehmen, die ECM-Systeme einsetzen

Artikel 4 verpflichtet Organisationen, die KI-Systeme einsetzen, sicherzustellen, dass ihre Mitarbeitenden über ausreichende Kenntnisse für einen angemessenen Umgang mit diesen Systemen verfügen.

Im Bereich Enterprise Content Management betrifft das insbesondere Personen, die Regeln zur automatischen Klassifizierung konfigurieren oder KI-generierte Inhalte freigeben. Die Schulungspflichten beschränken sich also nicht auf das Data-Science-Team, das das zugrunde liegende Modell ursprünglich entwickelt hat.

Schulungen gehören vermutlich zu den kostengünstigsten Compliance-Maßnahmen, werden in der Praxis jedoch besonders häufig vernachlässigt.

Eine für die Dokumentenverwaltung verantwortliche Person, die die tatsächlichen Grenzen eines KI-Klassifizierungsmodells versteht, wird fehlerhafte automatisierte Entscheidungen wesentlich eher erkennen und überprüfen. Wer dagegen lediglich die Anweisung erhält, der Software zu vertrauen, lässt problematische Ergebnisse möglicherweise ungeprüft bestehen.

Sanktionen und Durchsetzung: Die Kosten mangelnder ECM-Compliance

Die Höhe der Geldbußen nach dem EU AI Act richtet sich nach der Schwere des jeweiligen Verstoßes. Bei verbotenen KI-Praktiken können die höchsten Sanktionen eine Größenordnung erreichen, die mit den strengsten Bußgeldern der DSGVO vergleichbar ist.

Unternehmen, die ihre DSGVO-Risiken bereits systematisch überwachen, können daher davon profitieren, Risiken aus dem EU AI Act in dieselben Governance-Prozesse zu integrieren. So lässt sich vermeiden, dass eine vollständig separate Compliance-Struktur mit eigenen Berichtswegen aufgebaut werden muss.

Ein weiteres Risiko ist sogenannte Shadow AI, also die nicht offiziell genehmigte Nutzung von KI-Tools durch Mitarbeitende außerhalb etablierter Governance-Prozesse. Solche Anwendungen bleiben häufig unentdeckt, bis ein Audit oder ein konkreter Sicherheitsvorfall sie sichtbar macht.

Wenn Mitarbeitende sensible Dokumente über ein nicht kontrolliertes KI-Tool verarbeiten, entstehen Risiken, von denen das Compliance-Team möglicherweise erst erfährt, wenn bereits ein Schaden eingetreten ist. Die Lösung besteht häufig nicht darin, sämtliche externen Tools pauschal zu verbieten.

Sinnvoller ist es, eine angemessen kontrollierte Alternative direkt in das bereits genutzte ECM-System zu integrieren. Dadurch entfällt für Mitarbeitende weitgehend der Anreiz, auf nicht freigegebene Anwendungen auszuweichen.

Warum KORTO?

Die KI-gestützte automatische Verschlagwortung und Klassifizierung von KORTO ist in ein System integriert, das bereits sämtliche Zugriffe und Änderungen protokolliert.

Dadurch sind KI-gestützte Entscheidungen, die im Rahmen des EU AI Act relevant sein können, von Anfang an nachvollziehbar. Die erforderliche Nachverfolgbarkeit muss nicht erst nachträglich ergänzt werden, um die Erwartungen eines Auditors zu erfüllen. Dokumente können so gekennzeichnet werden, dass genau ersichtlich ist, wie sie verarbeitet wurden.

Ein Compliance-Team kann dadurch unmittelbar feststellen, welche Datensätze einen KI-gestützten Klassifizierungsschritt durchlaufen haben und welche ausschließlich von Menschen bearbeitet wurden. Eine aufwendige Rekonstruktion anhand verschiedener Systemprotokolle ist dafür nicht erforderlich.

Dieselbe Tagging-Struktur lässt sich auch für Aufbewahrungs- und Kennzeichnungspflichten nutzen. Unternehmen müssen die Infrastruktur, die sie bereits für die DSGVO und die allgemeine Dokumentenverwaltung einsetzen, daher nicht vollständig duplizieren, um zusätzlich die spezifischen Kontrollanforderungen des EU AI Act abzudecken. Stattdessen übernimmt ein zentral verwaltetes System beide Aufgaben.

Die Bewertung, an welchen Stellen KI-Funktionen tatsächlich in Dokumentenprozessen eingesetzt werden, wird deutlich einfacher, wenn diese Funktionen und die zugehörigen Audit-Protokolle auf derselben Plattform verfügbar sind. Kontaktieren Sie KORTO, um zu besprechen, wie Sie Ihr Enterprise Content Management auf die Anforderungen des EU AI Act vorbereiten können.