AI Governance· 14 min read· Custos AI

Das ultimative KI-Governance-Framework für Unternehmen 2026

KI-Governance ist das funktionierende System aus Kontrollen, das nachweist, welche KI Ihr Unternehmen einsetzt, wie und auf wessen Verantwortung. Dieser Leitfaden verbindet NIST AI RMF, ISO/IEC 42001 und die EU-KI-Verordnung zu sieben Säulen, die ein 20-Personen-Team in einer Woche umsetzen kann — inklusive einer kopierbaren Richtlinie, die Sie in 30 Minuten anpassen.

TL;DR

  • Eurostat 2025: 17% der kleinen EU-Unternehmen nutzen KI gegenüber 55% der Großunternehmen — eine Adoptionslücke von Faktor 3
  • MIT NANDA 2025: In über 90% der Unternehmen nutzen Mitarbeitende persönliche KI-Tools für die Arbeit, unabhängig von offiziellen Richtlinien
  • Die italienische Garante verhängte im Dezember 2024 ein Bußgeld von 15 Mio. € gegen OpenAI — DSGVO-Durchsetzung gegen KI ist keine Theorie mehr
  • EU-KI-Verordnung Artikel 4 (KI-Kompetenz) ist seit 2. Februar 2025 gesetzlich vorgeschrieben; Hochrisiko-Pflichten gelten ab 2. August 2026, sofern der Digital Omnibus keine Verlängerung gewährt
  • Ein funktionierendes Rahmenwerk verbindet NIST AI RMF + ISO 42001 + EU AI Act zu 7 Säulen, in fünf Arbeitstagen umsetzbar

Der Dienstagmorgen, den jeder Gründer fürchtet

Es ist ein Dienstag im November. Eine 28-köpfige Unternehmensberatung in Frankfurt erhält eine E-Mail von einem ehemaligen Mandanten. Betreff: „Auskunftsersuch nach Artikel 15 DSGVO."

Der Mandant möchte genau wissen, welche seiner personenbezogenen Daten verarbeitet wurden, von welchen Systemen und an welche Dritten sie weitergegeben wurden. Eine Standardanfrage. Die Art, die jedes europäische Unternehmen innerhalb von 30 Tagen beantworten können sollte.

Doch die Gründerin erkennt etwas, das ihr einen Schauer über den Rücken jagt: Die Hälfte ihres Teams nutzt ChatGPT. Zwei Mitarbeitende verwenden Claude. Eine Person nutzt für die Mandantenrecherche Perplexity. Keines dieser Tools hat einen Auftragsverarbeitungsvertrag mit dem Unternehmen. Niemand protokolliert, welche Anfragen gesendet wurden. Niemand weiß, ob der Name des Mandanten, Projektdetails oder Finanzdaten jemals in einen kostenlosen Chatbot eingefügt wurden.

Sie hat 30 Tage, um eine wahrheitsgemäße Antwort zu verfassen. Und keine Möglichkeit, die Wahrheit zu rekonstruieren.

Genau dafür ist KI-Governance da. Nicht für ein 40-seitiges PDF in einem SharePoint-Ordner. Sondern für ein funktionierendes Kontrollsystem, das sicherstellt, dass eine solche Frage eine echte Antwort hat.

Wer bereits drei andere Artikel über KI-Governance gelesen hat, wurde wahrscheinlich aufgefordert, „ein funktionsübergreifendes KI-Komitee zu gründen" und „umfassende Richtlinien zu entwickeln." Dieser Rat ist nicht falsch. Er ist aber auch für ein 20-Personen-Unternehmen ohne Compliance-Abteilung nicht praxistauglich.

Dieser Leitfaden ist anders. Er destilliert, was NIST, ISO und die EU-KI-Verordnung tatsächlich verlangen, streicht alles heraus, was für kleine und mittlere Unternehmen nicht relevant ist, und liefert ein 7-Säulen-Framework, das ein 20-Personen-Team in einer Woche umsetzen kann — inklusive einer kopierbaren Richtlinie, die sich in 30 Minuten anpassen lässt.

Was KI-Governance wirklich ist

KI-Governance ist die Gesamtheit aus Richtlinien, Kontrollen und Verantwortlichkeiten, die sicherstellt, dass die KI in Ihrem Unternehmen sicher, rechtmäßig, nachvollziehbar und im Einklang mit Ihren Zusagen eingesetzt wird.

Das ist die Arbeitsdefinition. Die internationalen Standards sagen dasselbe in formalerer Sprache:

  • ISO/IEC 42001:2023, der erste internationale Standard für KI-Managementsysteme, beschreibt Governance als die strukturierte Art, wie eine Organisation „Risiken und Chancen im Zusammenhang mit KI verwaltet, wobei Innovation und Governance in Balance gehalten werden" — über einen Plan-Do-Check-Act-Zyklus.
  • NIST AI Risk Management Framework 1.0 (veröffentlicht Januar 2023) beschreibt vier miteinander verbundene Funktionen: Govern, Map, Measure, Manage — kontinuierlich über den gesamten KI-Systemlebenszyklus angewendet.
  • Die EU-KI-Verordnung definiert „Governance" nicht als einzelnen Begriff, aber die Artikel 9, 10, 13, 14 und 17 schreiben sie in der Praxis vor: Risikomanagementsysteme, Datenverwaltung, Transparenz, menschliche Aufsicht und Qualitätsmanagement.

Governance ist kein Dokument. Es ist eine funktionierende Maschine, die Nachweise erzeugt.

Wenn eine Aufsichtsbehörde, ein Prüfer oder ein Mandant fragt „Welche KI haben Sie zur Verarbeitung meiner Daten eingesetzt, und wie haben Sie das kontrolliert?" — dann ist Ihre Governance das, was Ihnen ermöglicht, wahrheitsgemäß und schnell zu antworten. Alles andere ist Dekoration.

Warum die meisten KI-Richtlinien vor der ersten Prüfung scheitern

Die meisten Unternehmen, die KI-Governance versuchen, scheitern auf eine von fünf Arten. Das eigene Muster hier zu erkennen ist nützlicher als eine weitere generische Checkliste zu lesen.

Scheitern 1: Die 40-seitige Richtlinie, die niemand liest. Eine Beratungsfirma beauftragte einen Anwalt, eine umfassende KI-Richtlinie zu verfassen. Sie umfasste Ethik, Bias, Datenminimierung, Transparenz, Fairness. Sie war 41 Seiten lang. Keiner der 24 Mitarbeitenden hatte mehr als die erste Seite gelesen. Als der Datenschutzbeauftragte eine Prüfung durchführte, war die Lücke zwischen der Richtlinie und dem, was die Mitarbeitenden tatsächlich taten, gigantisch.

Scheitern 2: Ein Verbot, das zur Schatten-KI wird. Ein Finanzunternehmen verbot ChatGPT nach einem Samsung-ähnlichen Datenleck in den Nachrichten. Innerhalb von drei Monaten nutzten 70 % der Mitarbeitenden persönliche Konten auf privaten Handys. Das Verbot erzeugte keine Compliance — nur Unsichtbarkeit. Laut einer Lenovo-Unternehmensstudie von 2026 erhalten 31 % der KI-Nutzenden keine Schulung und agieren vollständig außerhalb der IT-Aufsicht. Der MIT-NANDA-Bericht „State of AI in Business 2025" stellte fest, dass Mitarbeitende in über 90 % der Unternehmen regelmäßig persönliche KI-Tools für die Arbeit verwenden — unabhängig von offizieller Richtlinie.

Scheitern 3: Lieferantenfragebögen als Kontrollersatz. Ein Unternehmen schickt einen 200-Fragen-Sicherheitsfragebogen an OpenAI, erhält ihn zurück, legt ihn ab und betrachtet Governance als erledigt. Der Fragebogen beschreibt, was OpenAI tut. Er sagt nichts darüber, was Ihr Vertriebsteam letzten Donnerstagabend um 23 Uhr in ein kostenloses ChatGPT-Konto eingefügt hat.

Scheitern 4: Das Komitee, das vierteljährlich tagt. Ein „funktionsübergreifendes KI-Governance-Komitee" aus sieben Führungskräften wird gebildet. Es trifft sich alle drei Monate, sichtet Präsentationen und erstellt Protokolle. Realer KI-Einsatz ändert sich wöchentlich. Das Komitee berichtet immer über eine Realität, die nicht mehr existiert.

Scheitern 5: Datensicherheit mit KI-Governance verwechseln. ISO 27001, SOC 2, Verschlüsselung im Ruhezustand, MFA — alles gut, nichts ausreichend. KI führt eine andere Risikooberfläche ein: was Mitarbeitende freiwillig in einem Prompt an ein Drittanbieter-Modell übertragen, und was als Output zurückkommt und Entscheidungen beeinflusst. Herkömmliche DLP-Tools, die nach Kreditkartennummern suchen, erkennen nicht, dass ein Marketingmanager den Produkt-Fahrplan für das nächste Quartal in einen Chatbot einfügt.

Der ehrliche Grund, warum Richtlinien scheitern: Sie wurden für eine Organisation geschrieben, die nicht existiert — eine mit einem dedizierten KI-Risikomanager, einem MLOps-Team und Budget für eine externe Prüfung. Die meisten deutschen KMU haben das nicht. Die Frage lautet daher: Wie sieht Governance für das Unternehmen aus, das tatsächlich existiert?

Die 7 Säulen: ein Framework auf einer Seite

Dieses Framework synthetisiert die Kontrollen, auf die NIST AI RMF, ISO 42001 und die EU-KI-Verordnung alle konvergieren. Entfernt man Redundanzen und gruppiert Überschneidungen, erhält man sieben Säulen. Keine ist erfunden. Alle lassen sich direkt auf zitierbare Standards zurückführen.

Säule 1: Ethik und Grundsätze verantwortungsvoller KI

Sie halten in verständlicher Sprache fest, wofür KI in Ihrem Unternehmen eingesetzt wird — und wofür nicht.

Das ist keine Philosophie. Es ist die vorgelagerte Rahmenbedingung, die alles Nachfolgende bestimmt. Ohne sie wird jede spätere Entscheidung (welches Modell, welcher Anwendungsfall, welche Daten) ad hoc getroffen.

Der Mindestinhalt einer KI-Grundsatzerklärung umfasst Fairness, Transparenz, Rechenschaftspflicht, Datenschutz und Sicherheit. ISO 42001 nennt dies „KI-Richtlinien"-Anforderungen (Klausel 5.2). NIST AI RMF integriert sie in die Govern-Funktion. Die EU-KI-Verordnung setzt sie durchgehend voraus.

Für ein 20-Personen-Unternehmen ist das eine Seite. Drei bis fünf Grundsätze, jeweils zwei Sätze. Unterzeichnet von der Geschäftsführung. An einem Ort veröffentlicht, den Mitarbeitende tatsächlich lesen. Jährlich überprüft.

Säule 2: Rollen und Verantwortlichkeiten

Jemand ist dafür verantwortlich. Kein Komitee. Ein Name.

ISO 42001 verlangt, dass „die oberste Leitung Führung und Engagement zeigen muss" (Klausel 5.1) und dass „Verantwortlichkeiten und Befugnisse für relevante Rollen zugewiesen und kommuniziert werden müssen" (Klausel 5.3). NIST AI RMF macht Rechenschaftspflicht zur zentralen Eigenschaft der Govern-Funktion.

Für ein kleines Unternehmen ist die Struktur einfach: eine KI-verantwortliche Person (Gründer, CTO oder Betriebsleiter — verantwortlich für das Framework, mit Befugnis), Funktionsgenehmiger (wer Vertrieb, HR, Recht oder Finanzen leitet, genehmigt KI-Tools innerhalb dieser Funktion) und jede Mitarbeiterin und jeder Mitarbeiter, der nur genehmigte Tools verwendet und Vorfälle meldet.

Die EU-KI-Verordnung fügt eine spezifische Anforderung in Artikel 26(2) hinzu: Bei Hochrisiko-KI-Systemen müssen Betreiber „natürlichen Personen mit den notwendigen Kompetenzen, Schulungen und Befugnissen menschliche Aufsicht zuweisen." Dies gilt, wenn Sie Hochrisiko-KI einsetzen; für die meisten KMU, die KI zum Verfassen, Zusammenfassen und Analysieren einsetzen, ist das nicht der Fall. Aber das Prinzip — kompetente Menschen mit Befugnis — gilt unabhängig davon.

Säule 3: Risikomanagement über den Lebenszyklus

Sie identifizieren, was schiefgehen kann, und überprüfen das kontinuierlich.

Die NIST AI RMF Map-Measure-Manage-Schleife ist die klarste Version davon. ISO 42001 Klausel 6.1 nennt es „Maßnahmen zum Umgang mit Risiken und Chancen." Artikel 9 der EU-KI-Verordnung schreibt für Hochrisiko-KI ein „Risikomanagementsystem" vor: kontinuierlich, iterativ, über den gesamten Lebenszyklus dokumentiert.

Für ein KMU, das handelsübliche Modelle nutzt (GPT, Claude, Gemini, Mistral via API), fallen die Risiken in fünf Kategorien:

  1. Datenverlust — vertrauliche Informationen, die das Unternehmen in einem Prompt verlassen.
  2. Kostenlawine — unkontrollierter API-Verbrauch, der zu unerwarteten Rechnungen führt.
  3. Ausgabefehler — das Modell erfindet Fakten, Namen oder Quellen, die in Kundenarbeiten landen.
  4. Anbieterabhängigkeit oder -ausfall — Ihr einziger KI-Anbieter erhöht Preise, ändert Bedingungen oder hat einen Ausfall.
  5. Compliance-Drift — Regulierung ändert sich, Ihre Kontrollen nicht.

Jedes Risiko erhält eine benannte verantwortliche Person, eine dokumentierte Maßnahme und eine vierteljährliche Überprüfung. Das ist das vollständige Risikomanagementsystem für die meisten KMU.

Säule 4: Datenverwaltung

Schlechte Daten ein, schlechte KI-Ausgabe. Und schlimmer: Schlechte Daten ein, DSGVO-Verstoß als Ergebnis.

ISO 42001 Anhang A behandelt Datenverwaltung als grundlegende Kontrolle. EU-KI-Verordnung Artikel 10 macht es für Hochrisikosysteme explizit: Trainings-, Validierungs- und Testdaten müssen Qualitätskriterien erfüllen, relevant, ausreichend repräsentativ und so fehlerfrei wie möglich sein.

Für ein KMU, das Drittanbietermodelle nutzt, trainieren Sie keine Daten — aber Sie kontrollieren, was in KI-Tools einfließt. Das Minimum:

  • Kategorisieren Sie, was Mitarbeitende in KI-Tools eingeben dürfen und was nicht. Drei Stufen: Grün (alles), Amber (mit Genehmigung, nur auf genehmigten Tools), Rot (nie). Kunden-PII ist Amber oder Rot. Geschäftsgeheimnisse sind Rot. Öffentliche Informationen sind Grün.
  • Wählen Sie KI-Anbieter, die vertraglich zusichern, Ihre Anfragen nicht für das Training zu verwenden. Die „Zero Data Retention"- oder „Kein Training mit Kundendaten"-Einstellung. Kostenlose Stufen bieten das nicht.
  • Schließen Sie mit jedem KI-Anbieter, der personenbezogene Daten verarbeitet, einen Auftragsverarbeitungsvertrag. DSGVO Artikel 28. Nicht optional.
  • Protokollieren Sie, welche Daten die Grenze überschreiten. Mindestens: welcher Nutzer, welches System, welcher Zeitstempel, welche Datenkategorie.

Säule 5: Transparenz

Ihr Team, Ihre Kunden und (wenn relevant) die Aufsichtsbehörde können sehen, was KI in Ihrem Unternehmen tut.

EU-KI-Verordnung Artikel 13 verlangt, dass Hochrisiko-KI-Systeme „so konzipiert und entwickelt werden, dass ihr Betrieb hinreichend transparent ist." Artikel 50 fügt Offenlegungspflichten hinzu: Chatbots müssen Nutzer darüber informieren, dass sie mit KI interagieren; KI-generierte Inhalte müssen gekennzeichnet werden.

Innerhalb Ihres Unternehmens bedeutet Transparenz drei Dinge: eine aktuelle Liste der verwendeten KI-Tools (eine Tabelle, eine Quelle der Wahrheit, monatlich aktualisiert); eine werkzeugbezogene Offenlegung gegenüber Kunden, wenn KI wesentlich zur Leistungserbringung beiträgt; und interne Erklärbarkeit — wenn KI in einer Entscheidung eingesetzt wird, die eine Person betrifft, versteht der Mensch, der die endgültige Entscheidung trifft, was die KI vorgeschlagen hat und warum, und kann es überstimmen.

Säule 6: Menschliche Aufsicht

EU-KI-Verordnung Artikel 14 ist die klarste Formulierung menschlicher Aufsicht in irgendeiner Regulierung. Sie verlangt drei Dinge von jedem Hochrisiko-KI-System:

  1. Beobachtbarkeit — Ein Mensch kann das System im Betrieb überwachen, Anomalien erkennen, Ausgaben verstehen.
  2. Bewusstsein für Automatisierungsbias — Der Mensch ist geschult, übermäßige Abhängigkeit von KI-Vorschlägen zu erkennen.
  3. Steuerbarkeit — Der Mensch kann die KI jederzeit ignorieren, überstimmen oder stoppen — ohne Vorgesetztengenehmigung, technische Umgehung oder Ausfallzeit.

Das dritte Kriterium ist der praktische Test. Wenn Ihr Team den KI-Vorschlag nicht in Echtzeit abschalten, überstimmen oder ablehnen kann, haben Sie keine menschliche Aufsicht. Sie haben einen Gummistempel.

Für KMU, die unter der KI-Verordnung keine „Hochrisiko"-Systeme einsetzen, ist dies nicht gesetzlich vorgeschrieben. Wenden Sie es trotzdem an. Es ist die einzige Kontrolle, die die schlimmste Kategorie von KI-Fehlern verhindert: eine selbstsichere Fehlantwort, die als Wahrheit behandelt wird.

Säule 7: Compliance, Prüfung und Vorfallreaktion

Sie haben Nachweise und einen Plan für den Fall, dass etwas schiefgeht.

ISO 42001 Klausel 9 (Leistungsbewertung) und Klausel 10 (Verbesserung) decken das ab. NIST AI RMF integriert es in Manage. EU-KI-Verordnung Artikel 17, 19 und 26 machen Teile davon für Hochrisiko-KI rechtsverbindlich.

Für ein KMU besteht die funktionierende Version aus: einem KI-Register (eine Zeile pro eingesetztem System, Spalten: Name, Anbieter, Zweck, verarbeitete Datenkategorie, Genehmiger, Datum der letzten Überprüfung, AVV-Referenz); einem Vorfallreaktionsverfahren (wer zu benachrichtigen ist, wenn vertrauliche Daten an ein öffentliches KI-Tool gesendet wurden, was in der ersten Stunde zu tun ist, wann der Landesdatenschutzbeauftragte zu informieren ist — die DSGVO gibt Ihnen 72 Stunden ab Kenntnis, Artikel 33); und einer vierteljährlichen Überprüfung (30 Minuten mit der KI-verantwortlichen Person und ein oder zwei Funktionsleitern).

Diese sieben Säulen sind das, was NIST AI RMF, ISO 42001 und die EU-KI-Verordnung gemeinsam haben — ausgedrückt in einer Größenordnung, die ein 20-Personen-Unternehmen tatsächlich umsetzen kann.

Wie NIST, ISO 42001 und die EU-KI-Verordnung zusammenpassen

Diese drei werden oft als Alternativen präsentiert. Das sind sie nicht. Sie dienen unterschiedlichen Zwecken.

FrameworkTypVerbindlich?Was es Ihnen gibt
NIST AI RMF 1.0Freiwillige Risikomanagement-LeitlinieNeinFlexibles Vokabular für Risiken: Govern, Map, Measure, Manage
ISO/IEC 42001:2023Zertifizierbarer Managementsystem-StandardNein (aber zertifizierbar)Wiederholbares Managementsystem; prüfbare Zertifizierung (4–9 Monate für KMU)
EU-KI-VerordnungVerbindliches EU-RechtJaSpezifische Pflichten nach Risikoklasse; Bußgelder bis 35 Mio. € oder 7 % des globalen Umsatzes

Das pragmatische Verhältnis: NIST AI RMF liefert die Sprache und das mentale Modell. ISO 42001 liefert die Managementsystemstruktur. Die EU-KI-Verordnung ist das Gesetz — Compliance ist für in den Geltungsbereich fallende Systeme nicht verhandelbar.

Ein Unternehmen, das ISO 42001 gut umsetzt, wird die meisten NIST AI RMF-Ergebnisse und die meisten organisatorischen Anforderungen der EU-KI-Verordnung erfüllen. Sie sind verstärkend, nicht konkurrierend.

Was die EU-KI-Verordnung 2026 von Ihrem Unternehmen tatsächlich verlangt

Die EU-KI-Verordnung trat am 1. August 2024 in Kraft und gilt stufenweise:

  • 2. Februar 2025 — Verbotene KI-Praktiken und KI-Kompetenzpflichten nach Artikel 4 wurden anwendbar. Jedes Unternehmen, das KI einsetzt, muss sicherstellen, dass Mitarbeitende „ein ausreichendes Maß an KI-Kompetenz" besitzen.
  • 2. August 2025 — Pflichten für Anbieter von KI-Modellen für allgemeine Zwecke (OpenAI, Anthropic, Google, Mistral, Meta) wurden anwendbar. Nationale zuständige Behörden mussten benannt werden.
  • 2. August 2026 — Die meisten verbleibenden Bestimmungen werden anwendbar, einschließlich der Pflichten für Hochrisiko-KI in Anhang III, Transparenzpflichten nach Artikel 50 und KI-Regulierungs-Sandboxen.
  • 2. August 2027 — Regeln für Hochrisiko-KI in regulierten Produkten (Medizinprodukte, Fahrzeuge) gelten.

Ein kritischer Vorbehalt für 2026: Am 19. November 2025 veröffentlichte die Europäische Kommission den „Digital Omnibus on AI" — einen Vorschlag zur Verschiebung der Hochrisiko-Compliance-Frist vom 2. August 2026 auf den 2. Dezember 2027. Stand Mai 2026 haben die Trilog-Verhandlungen zu einer politischen Einigung geführt, aber der Omnibus wurde noch nicht formell angenommen. Bis dahin gilt die ursprüngliche Frist vom 2. August 2026.

Praktische Übersetzung für Ihr Unternehmen:

  1. KI-Kompetenz ist bereits gesetzlich vorgeschrieben. Artikel 4 gilt seit Februar 2025. Jede Mitarbeiterin und jeder Mitarbeiter, der KI nutzt, benötigt eine dokumentierte, ihrer Funktion angemessene Schulung.
  2. Die meisten KMU setzen keine Hochrisiko-KI ein. Die Anhang-III-Liste ist spezifisch: KI in kritischer Infrastruktur, Bildungszugang, Beschäftigungs-Screening, wesentlichen Diensten, Strafverfolgung, Migration, Justiz. E-Mails verfassen, Dokumente zusammenfassen, Marketingtexte generieren ist keine Hochrisiko-KI gemäß der Verordnung.
  3. Bußgelder sind gestaffelt. Bis zu 35 Mio. € oder 7 % des weltweiten Jahresumsatzes für verbotene Praktiken. Bis zu 15 Mio. € oder 3 % für Hochrisiko-Verstöße. KMU profitieren von Verhältnismäßigkeit (Artikel 99(6)) — Bußgelder müssen die KMU-Größe berücksichtigen.

Wenn Sie das 7-Säulen-Framework oben aufbauen, folgt die EU-KI-Verordnungs-Compliance für Nicht-Hochrisiko-KI automatisch.

Der Eins-Wochen-Umsetzungsplan für ein 20-köpfiges Team

Dieser Plan ist für Unternehmen, die bisher nichts zur KI-Governance unternommen haben und bis Freitagabend in einer vertretbaren Position sein möchten. Fünf Arbeitstage. Eine zuständige Person. Durchschnittlich zwei Stunden täglich.

Tag 1 — Inventar. Senden Sie jedem Mitarbeitenden eine Frage: „Listen Sie jedes KI-Tool auf, das Sie in den letzten 90 Tagen für die Arbeit genutzt haben, einschließlich kostenloser Tools." Bestrafen Sie keine Offenlegung. Kompilieren Sie die Liste. Laut MIT NANDA-Studie 2025 nutzen Mitarbeitende in 90 % der Unternehmen KI-Tools, die ihr Arbeitgeber nicht kennt. Ihre Zahl wird nicht niedriger sein.

Tag 2 — Kategorisieren. Sortieren Sie jedes Tool in drei Kategorien: genehmigen und standardisieren (bezahlter Plan, unterzeichneter AVV), ersetzen (kostenloses Tool, das notwendige Arbeit erledigt — upgraden oder migrieren), verbieten (keine Unternehmenstier, keine AVV-Option, inakzeptable Bedingungen).

Tag 3 — Grundsätze und Datenstufen formulieren. Eine Seite. Fünf Grundsätze in eigenen Worten. Drei Datenstufen (Grün/Amber/Rot) mit Beispielen. Geschäftsführung unterzeichnet. Im Unternehmens-Wiki veröffentlicht.

Tag 4 — Register und Override-Regel aufbauen. Öffnen Sie eine Tabelle. Eine Zeile pro genehmigtem Tool: Name, Anbieter, Zweck, erlaubte Datenstufe, Genehmiger, AVV vorhanden (Ja/Nein/Link), Datum der letzten Überprüfung. Für jedes Tool die Override-Regel festhalten.

Tag 5 — Schulen und bekanntmachen. 45-minütiges Teammeeting. Führen Sie durch Grundsätze, Stufensystem, genehmigte Tool-Liste und Vorfallreaktionsverfahren. Anwesenheit dokumentieren — das ist Ihr Nachweis zur KI-Kompetenz nach Artikel 4.

Bis Freitagmittag haben Sie eine unterzeichnete KI-Grundsatzerklärung, kategorisiertes Inventar, schriftliche Genehmigungskriterien, ein KI-Register, ein dokumentiertes Override- und Vorfallreaktionsverfahren sowie geschulte Mitarbeitende mit Anwesenheitsnachweisen.

Das ist mehr KI-Governance als 80 % der deutschen KMU derzeit betreiben.

Kopierbereit: das einseitige KI-Governance-Framework

Nachfolgend finden Sie ein vollständiges Framework, das Sie in ein Google Doc, eine Notion-Seite oder ein Unternehmens-Wiki kopieren und in 30 Minuten anpassen können. Ersetzen Sie die Platzhalter in eckigen Klammern. Passen Sie die KI-Tool-Liste an Ihr Inventar aus Tag 1 an. Unterzeichnen, teilen, vierteljährlich überprüfen.

Dies ist kein Rechtsdokument. Es ist eine funktionierende Richtlinie. Wenn Sie in einer regulierten Branche tätig sind (Finanzen, Gesundheitswesen, Rechtsdienstleistungen) oder Hochrisiko-KI gemäß EU-KI-Verordnung Anhang III einsetzen, lassen Sie es vor der Veröffentlichung von einem Anwalt prüfen.

[IHR UNTERNEHMENSNAME] — KI-Governance-Framework

Version 1.0 · Gültig ab [DATUM] · Verantwortlich: [NAME, FUNKTION] · Nächste Überprüfung: [DATUM + 3 Monate]


1. Zweck

Dieses Dokument legt fest, wie [UNTERNEHMEN] künstliche Intelligenz in seiner Arbeit einsetzt, wer dafür verantwortlich ist und wie wir diesen Einsatz sicher, rechtmäßig und im Einklang mit unseren Verpflichtungen gegenüber Kunden, Mitarbeitenden und Partnern halten.

2. Grundsätze

Wir setzen KI in unserem Unternehmen nach fünf Grundsätzen ein:

  1. Unterstützung, kein Ersatz. KI unterstützt menschliches Urteilsvermögen in Kunden- und internen Arbeiten. Ein Mensch überprüft und trägt die Verantwortung für jeden Output, der das Unternehmen verlässt.
  2. Rechtmäßige Datenverarbeitung. Wir geben keine personenbezogenen Daten, vertrauliche Kundeninformationen oder Geschäftsgeheimnisse in KI-Tools ein, die keinen Auftragsverarbeitungsvertrag mit uns haben.
  3. Transparenz. Wir führen ein aktuelles Register jedes im Unternehmen verwendeten KI-Tools und informieren Kunden, wenn KI wesentlich zu einer Leistung beiträgt.
  4. Kostendisziplin. Jedes KI-Tool mit nutzungsbasierter Preisgestaltung hat ein hartes Budgetlimit. Kein Mitarbeitender kann KI-Kosten über sein monatliches Limit hinaus ohne schriftliche Genehmigung verursachen.
  5. Kontinuierliche Überprüfung. Dieses Framework wird vierteljährlich überprüft. Das KI-Register wird monatlich aktualisiert. Vorfälle werden protokolliert und ausgewertet.

3. Rollen

  • KI-Verantwortliche/r: [NAME, FUNKTION]. Verantwortlich für dieses Framework. Genehmigt neue KI-Tools. Führt das KI-Register. Berichtet der Geschäftsführung vierteljährlich.
  • Funktionsgenehmiger: Jede Abteilungsleitung genehmigt KI-Tools, die innerhalb ihrer Funktion eingesetzt werden.
  • Jede Mitarbeiterin, jeder Mitarbeiter: Verwendet nur genehmigte Tools aus Abschnitt 6. Meldet Vorfälle gemäß Abschnitt 9 innerhalb eines Arbeitstages.

4. Datenklassifizierung

Informationen bei [UNTERNEHMEN] fallen in drei Stufen. Jede Stufe legt fest, welche KI-Tools sie verarbeiten dürfen.

StufeBeispieleZulässige KI-Tools
GrünÖffentliche Informationen, Marketingtexte, allgemeine RecherchenAlle genehmigten Tools in Abschnitt 6
AmberInterne Dokumente, Kundenentwürfe, noch nicht veröffentlichte FinanzdatenNur Tools mit unterzeichnetem AVV und vertraglicher Zusage, keine Trainingsdaten zu verwenden
RotPersonenbezogene Kundendaten, Gesundheitsdaten, Geschäftsgeheimnisse, Quellcode, ungeschwärzte Finanzdaten, RechtsberatungKeine KI-Tools ohne ausdrückliche Einzelfallgenehmigung durch die KI-Verantwortliche/n

Im Zweifel: Behandeln Sie Daten als eine Stufe höher, als Sie vermuten.

5. KI-Tools — Genehmigungskriterien

Ein Tool darf der genehmigten Liste nur hinzugefügt werden, wenn alle folgenden Kriterien erfüllt sind:

  • Unterzeichneter Auftragsverarbeitungsvertrag gemäß DSGVO Artikel 28
  • Dokumentierte Zusage, dass Kundenprompts nicht für das Modelltraining verwendet werden
  • EU- oder gleichwertiges angemessenes Hosting schriftlich bestätigt oder SCC-Übertragungsmechanismus vorhanden
  • Authentifizierung über SSO oder mindestens eindeutige Anmeldedaten pro Mitarbeitenden
  • Vorfallmeldungsklausel im Lieferantenvertrag — Anbieter muss Verstöße innerhalb von 72 Stunden melden
  • Kostenlimit konfigurierbar oder Festpreis-Abonnement

6. Register genehmigter KI-Tools

ToolAnbieterZweckZulässige DatenstufeGenehmigerAVV vorhandenLetzte Überprüfung
[Tool 1][Anbieter][Zweck]Grün / Amber[Name][Ja — Link][Datum]
[Tool 2][Anbieter][Zweck]Grün[Name][Ja — Link][Datum]

Dieses Register ist die einzige Quelle der Wahrheit. Ein Tool, das nicht auf dieser Liste steht, ist nicht genehmigt.

7. Verbotene Nutzungen

Folgendes ist unabhängig vom Tool verboten: Eingabe von Rot-Stufen-Daten in ein KI-System; Verwendung kostenloser Verbraucher-KI-Konten für arbeitsbezogene Aufgaben mit Amber- oder Rot-Daten; Handeln auf Basis von KI-Output in einer regulierten Entscheidung (Einstellung, Entlassung, Kredit) ohne dokumentierte menschliche Überprüfung und Override-Befugnis; Deaktivieren oder Umgehen von Kontrollen dieses Frameworks.

8. Menschliche Aufsicht

Für jedes KI-Tool in Abschnitt 6 legt der Genehmiger schriftlich fest: wer den Output prüft, bevor er das Unternehmen verlässt; worauf geachtet wird (Faktengenauigkeit, halluzinierte Quellen, Ton, Kundenvertraulichkeit); wie Override-Entscheidungen dokumentiert werden.

9. Vorfallreaktion

Wenn vertrauliche Amber- oder Rot-Stufen-Daten in ein nicht genehmigtes KI-Tool eingegeben wurden oder in ein genehmigtes Tool entgegen der Datenstufe:

  1. Innerhalb 1 Stunde: KI-Verantwortliche/n benachrichtigen ([NAME, E-MAIL]).
  2. Innerhalb 4 Stunden: KI-Verantwortliche/r bewertet den Umfang. Personenbezogene Daten betroffen → DSB benachrichtigen.
  3. Innerhalb 24 Stunden: Entscheidung, ob der Vorfall eine meldepflichtige Datenpanne nach DSGVO Artikel 33 auslöst (72 Stunden an den zuständigen Landesdatenschutzbeauftragten).
  4. Innerhalb 5 Arbeitstagen: schriftliche Vorfallzusammenfassung dem Vorfallprotokoll hinzufügen.

Mitarbeitende, die eigene Fehler zeitnah melden, werden nicht für den Fehler selbst disziplinarisch sanktioniert.

10. Schulung und KI-Kompetenz

Gemäß EU-KI-Verordnung Artikel 4 erhalten alle Mitarbeitenden, die KI-Tools bei [UNTERNEHMEN] nutzen: ein erstes Onboarding (45 Minuten, dokumentiert), eine jährliche Auffrischung (30 Minuten, dokumentiert) und funktionsspezifische Schulungen, wenn sich die KI-Nutzung in ihrer Funktion ändert.

11. Überprüfung und Versionskontrolle

Dieses Framework wird vierteljährlich von der KI-Verantwortlichen/dem KI-Verantwortlichen überprüft. Das KI-Register wird monatlich aktualisiert. Die aktuelle Version ist immer unter [INTERNER LINK] verfügbar.


Unterzeichnet: [NAME GESCHÄFTSFÜHRUNG, FUNKTION] Datum: [DATUM]

Das ist das vollständige Framework. Eine Seite, elf Abschnitte, kopierbereit. Es wird keine Auszeichnungen für Prosa gewinnen. Es besteht eine Beschaffungsanfrage eines Enterprise-Kunden, besteht eine DSB-Prüfung und gibt Ihrem Team eine klare Antwort auf „Was dürfen wir verwenden — und wofür?"

Nutzen Sie es als Ausgangspunkt, nicht als Endpunkt. Der Endpunkt ist die Vier-Quartals-Routine, die es wahrheitsgemäß hält.

Wie Custos AI in dieses Framework passt

Eine Multi-LLM-Plattform, die Säulen 3, 4, 5 und 7 standardmäßig umsetzt.

Custos AI ist eine DSGVO-konforme Plattform, die Ihrem Team Zugang zu GPT, Claude, Gemini und Mistral über eine einzige Oberfläche bietet — mit harten Budget­limits pro Nutzer, EU-Hosting in Frankfurt und Amsterdam, unterzeichneten Auftragsverarbeitungsverträgen mit jedem Anbieter und einem Audit-Log jedes Prompts. Sie bringen Ihre eigenen API-Schlüssel mit (BYOK), sodass es keine KI-Marge und keine unerwarteten Rechnungen gibt. Das 7-Säulen-Framework oben erfordert Custos nicht. Aber wenn Sie es aufbauen, deckt Custos vier der sieben Säulen standardmäßig ab — Risikomanagement, Datenverwaltung, Transparenz und Audit. Die anderen drei (Grundsätze, Rollen, Aufsicht) verbleiben in Ihrer Verantwortung.

14 Tage kostenlos testen

Nächster Artikel: Was die EU-KI-Verordnung von einem 20-Personen-Unternehmen tatsächlich verlangt

Die Anhang-III-Hochrisiko-Liste, die Artikel-4-KI-Kompetenzverpflichtung und die praktische Compliance-Checkliste für KMU, die keine Hochrisiko-Systeme einsetzen, aber trotzdem Compliance nachweisen müssen.

Lesen: Die EU-KI-Verordnung für 20-Personen-Unternehmen →

Frequently asked questions

Was bedeutet KI-Governance konkret?
KI-Governance ist die Gesamtheit aus Richtlinien, Kontrollen und Verantwortlichkeiten, die sicherstellt, dass die KI in Ihrem Unternehmen sicher, rechtmäßig, nachvollziehbar und im Einklang mit Ihren Zusagen an Kunden und Behörden eingesetzt wird. Es ist kein Dokument — sondern ein funktionierendes System, das auf Anfrage Nachweise liefert.
Braucht ein KMU wirklich ein formales KI-Governance-Framework?
Wenn Ihr Unternehmen ChatGPT, Claude, Gemini oder andere KI-Tools zur Verarbeitung von Kundeninformationen, Finanzdaten oder Personalakten einsetzt: ja. EU-KI-Verordnung Artikel 4 (KI-Kompetenz) ist seit Februar 2025 verbindlich, und die DSGVO verlangt seit Jahren dokumentierte Verarbeitungskontrollen. Das Framework muss keine 40 Seiten umfassen — für die meisten KMU genügt eine einseitige Richtlinie plus ein KI-Register, unterzeichnet und vierteljährlich überprüft.
Wie betrifft mich die EU-KI-Verordnung im Jahr 2026?
Die EU-KI-Verordnung gilt in Phasen. Verbotene Praktiken und Artikel 4 KI-Kompetenz seit 2. Februar 2025. Pflichten für GPAI-Anbieter seit 2. August 2025. Der Großteil der übrigen Pflichten — einschließlich Anhang-III-Hochrisikosysteme und Artikel-50-Transparenzregeln — gilt ab 2. August 2026, sofern der Digital Omnibus die Hochrisiko-Fristen nicht auf 2. Dezember 2027 verlängert (Verhandlungen laufen Stand Mai 2026). Die meisten KMU setzen keine Hochrisiko-KI nach Anhang III ein, aber Artikel 4 und Artikel 50 gelten universell.
Was unterscheidet NIST AI RMF, ISO 42001 und die EU-KI-Verordnung?
NIST AI RMF ist ein freiwilliger US-Rahmen mit vier Funktionen (Govern, Map, Measure, Manage). ISO/IEC 42001:2023 ist ein internationaler, zertifizierbarer KI-Managementsystem-Standard mit Plan-Do-Check-Act-Zyklus. Die EU-KI-Verordnung ist bindendes EU-Recht mit risikogestuften Pflichten und Bußgeldern bis 35 Mio. € oder 7% des weltweiten Umsatzes. Sie verstärken sich gegenseitig — wer eine gut umsetzt, deckt den Großteil der anderen ab.
Wie lange dauert die ISO 42001-Zertifizierung für ein KMU?
Für die meisten kleinen und mittleren Unternehmen dauert die ISO 42001-Zertifizierung 4 bis 9 Monate: 2–4 Wochen Gap-Analyse, 1–3 Monate für AI Management System Design und Dokumentation, 1–2 Monate für operativen Rollout und internes Audit, und 1–2 Monate für das Zertifizierungsaudit selbst. Kosten variieren nach Umfang und Zertifizierer. Die Zertifizierung ist optional — die Prinzipien lassen sich auch ohne Zertifikat umsetzen.
Wie deckt Custos AI KI-Governance ab?
Custos AI ist eine Multi-LLM-Plattform, die vier der sieben Governance-Säulen standardmäßig abdeckt: Risikomanagement (harte Budgetgrenzen pro Nutzer, Echtzeit-Monitoring), Datenverwaltung (BYOK-Verschlüsselung, EU-Hosting in Frankfurt und Amsterdam, unterzeichnete Auftragsverarbeitungsverträge mit jedem Anbieter), Transparenz (Audit-Log jedes Prompts, Modells und Nutzers) und Compliance (DSGVO-konforme Architektur, exportierbarer Audit-Trail). Die anderen drei Säulen — KI-Prinzipien, Rollenverteilung, menschliche Aufsicht — bleiben organisatorisch in Ihrer Verantwortung.
C

Custos AI

The Custos AI team

Custos AI is a GDPR-proof multi-LLM platform for European businesses. We write about AI governance, GDPR compliance and safe AI use for small and medium companies.