Ein Anwalt fragt ChatGPT nach einem Bundesgerichtsentscheid zum Mietrecht. Das System liefert eine detaillierte Antwort mit Geschäftsnummer, Datum und Zusammenfassung. Alles klingt plausibel. Nur: Der Entscheid existiert nicht. Die Geschäftsnummer ist erfunden. Das Datum gehört zu einem völlig anderen Fall. Der Anwalt, der die Antwort nicht überprüft, zitiert den fiktiven Entscheid in seiner Rechtsschrift.
Das ist keine theoretische Warnung. Es ist ein dokumentiertes Muster. In den USA wurden Anwälte wegen der Zitierung von KI-generierten, nicht existierenden Urteilen sanktioniert. In der Schweiz sind vergleichbare Fälle noch nicht öffentlich geworden, aber die Grundlage für solche Fehler existiert bei jedem Einsatz allgemeiner KI-Modelle für regulierte Facharbeit.
Das Halluzinationsproblem
Grosse Sprachmodelle wie GPT-4, Claude und Gemini sind beeindruckende Technologien. Sie können Texte zusammenfassen, Sprachen übersetzen, Code schreiben und komplexe Fragen beantworten. Aber sie haben eine fundamentale Eigenschaft, die für regulierte Branchen zum Problem wird: Sie erfinden Dinge.
Das geschieht nicht aus Böswilligkeit oder mangelnder Sorgfalt. Es ist eine technische Eigenschaft der Architektur. Sprachmodelle generieren Text, indem sie das wahrscheinlichste nächste Wort vorhersagen, basierend auf Mustern in ihren Trainingsdaten. Wenn die Trainingsdaten keine Information zu einer spezifischen Frage enthalten, generiert das Modell trotzdem eine Antwort. Es sagt nicht «Ich weiss es nicht.» Es produziert Text, der statistisch plausibel klingt, aber inhaltlich falsch sein kann.
In der Alltagsanwendung ist das oft akzeptabel. Wenn ein Marketingtext stilistisch nicht perfekt ist oder eine Zusammenfassung eine Nuance übersieht, sind die Konsequenzen gering. In regulierten Branchen sind die Konsequenzen potenziell schwerwiegend.
Im Recht: Ein falsches Zitat kann eine Rechtsschrift entwerten, einen Prozess gefährden und berufsrechtliche Konsequenzen haben.
In der Finanzberatung: Eine falsche regulatorische Einschätzung kann zu Compliance-Verstössen führen, die mit hohen Bussen geahndet werden.
Im Treuhandwesen: Eine falsche Steuerberechnung kann Nachsteuern, Verzugszinsen und Strafsteuern auslösen.
In der Pharma: Eine falsche Interpretation einer Zulassungsbestimmung kann den gesamten Marktzulassungsprozess gefährden.
Die Kosten einer Halluzination übersteigen den Nutzen der KI um ein Vielfaches.
Drei Defizite allgemeiner KI-Modelle
Halluzination ist das prominenteste Problem, aber nicht das einzige. Für regulierte Branchen haben allgemeine KI-Modelle drei fundamentale Defizite.
Defizit 1: Keine Quellenattribution. Wenn ein allgemeines Sprachmodell eine Antwort gibt, kann es nicht sagen, woher die Information stammt. Es kann nicht auf einen spezifischen Gesetzesartikel, einen konkreten Gerichtsentscheid oder ein bestimmtes FINMA-Rundschreiben verweisen. Für Fachleute, die ihre Arbeit mit Quellen belegen müssen, ist das ein Ausschlusskriterium. Eine Rechtsauskunft ohne Quellenangabe ist keine Rechtsauskunft. Eine Steuerberechnung ohne Verweis auf die massgebliche Bestimmung ist nicht nachvollziehbar. Ein Compliance-Bericht ohne dokumentierte Grundlagen ist wertlos.
Defizit 2: Veraltete Informationen. Sprachmodelle werden mit einem festen Datensatz trainiert. Nach dem Training lernt das Modell nichts Neues. Das Steuergesetz, das im Januar 2026 geändert wurde, ist für ein Modell mit Trainingsdaten-Stichtag Mitte 2025 unsichtbar. Das neue FINMA-Rundschreiben, die aktuelle Bundesgerichtspraxis, die revidierte Verordnung: nichts davon existiert für das Modell. In einer Branche, in der die Aktualität der Rechtsgrundlage entscheidend ist, macht dieses Defizit allgemeine Modelle unzuverlässig.
Defizit 3: Keine Prüfbarkeit. Allgemeine KI-Modelle sind Black Boxes. Sie können nicht erklären, wie sie zu einer Antwort gekommen sind. Sie können ihren Entscheidungsprozess nicht offenlegen. Sie können keine Beweiskette vom Input zum Output dokumentieren. Für regulierte Branchen, in denen Prüfbarkeit und Nachvollziehbarkeit zentrale Anforderungen sind, ist das inakzeptabel. Der EU AI Act wird diese Anforderung ab August 2026 für Hochrisiko-KI-Systeme verbindlich machen.
Was verifizierte KI anders macht
Verifizierte KI ist kein Marketingbegriff. Es ist ein Architekturprinzip. Es beschreibt KI-Systeme, die so gebaut sind, dass jeder Output auf verifizierte Quellen zurückgeführt werden kann.
Verifizierte Datengrundlage. Statt auf unstrukturierte Trainingsdaten aus dem Internet zu vertrauen, arbeitet verifizierte KI mit einer kuratierten Wissensdatenbank aus autoritativen Quellen. Für Schweizer Recht bedeutet das: Bundesgesetzgebung von Fedlex, kantonale Gesetze aus offiziellen Quellen, Gerichtsentscheide vom Bundesgericht und den kantonalen Gerichten, regulatorische Publikationen von FINMA, SECO und anderen Behörden. Jede Quelle ist dokumentiert, jede Aktualisierung nachvollziehbar.
Quellenattribution bei jedem Output. Jede Antwort des Systems enthält Verweise auf die konkreten Quellen, auf denen sie basiert. Der Nutzer kann die Originalquelle aufrufen und die Richtigkeit der Antwort verifizieren. Kein Vertrauen auf Plausibilität. Verifizierung anhand der Quelle.
Kontinuierliche Aktualisierung. Die Wissensdatenbank wird laufend aktualisiert. Neue Gesetze, neue Gerichtsentscheide, neue regulatorische Bestimmungen werden erfasst und in die Datenbank integriert. Das System arbeitet immer mit dem aktuellen Stand der Rechtsgrundlagen.
Strukturierte Daten. Gesetze sind nicht einfach Text. Sie haben eine hierarchische Struktur: Bücher, Titel, Kapitel, Artikel, Absätze. Gerichtsentscheide haben Metadaten: Gericht, Datum, Geschäftsnummer, Rechtsgebiet, angewandte Bestimmungen. Verifizierte KI bewahrt diese Struktur und ermöglicht präzise Abfragen auf der richtigen Granularitätsstufe.
Prüfbarkeit. Jede Abfrage, jedes Retrieval, jeder generierte Output wird protokolliert. Die Beweiskette vom Input zum Output ist dokumentiert. Für Audits, für die interne Qualitätskontrolle, für die Nachvollziehbarkeit gegenüber Kunden und Behörden.
Der Unterschied in der Praxis
Vergleichen wir denselben Anwendungsfall mit allgemeiner KI und mit verifizierter KI.
Die Frage: «Welche Fristen gelten für die Anfechtung einer Steuerveranlagung im Kanton Zürich?»
Allgemeine KI: Generiert eine Antwort, die möglicherweise korrekt ist. Möglicherweise veraltet. Möglicherweise den falschen Kanton betrifft. Keine Quellenangabe. Der Fachmann muss die gesamte Antwort manuell verifizieren, was oft länger dauert als die Recherche von Grund auf.
Verifizierte KI: Ruft die relevanten Bestimmungen aus dem Steuergesetz des Kantons Zürich ab, verweist auf die spezifischen Paragraphen, zeigt die Fristen mit exakter Quellenangabe, verlinkt auf die aktuelle Gesetzesfassung und führt relevante Bundesgerichtsentscheide zur Fristberechnung auf. Der Fachmann kann die Antwort sofort verwenden und die Quellen bei Bedarf im Original prüfen.
Der Unterschied ist nicht graduell. Er ist fundamental. Im ersten Fall ist die KI ein Risikofaktor. Im zweiten Fall ist sie ein Produktivitätswerkzeug.
Regulatorische Anforderungen verstärken den Trend
Die regulatorische Entwicklung bestätigt, dass verifizierte KI kein Luxus ist, sondern eine Notwendigkeit.
EU AI Act. Ab August 2026 müssen Hochrisiko-KI-Systeme transparent, prüfbar und dokumentiert sein. Allgemeine Sprachmodelle, die als Black Box operieren, erfüllen diese Anforderungen strukturell nicht. Unternehmen, die KI für regulierte Anwendungen einsetzen, werden auf Systeme umstellen müssen, die den Anforderungen an Prüfbarkeit und Transparenz genügen.
DSG. Das Schweizer Datenschutzgesetz verlangt bei automatisierten Einzelentscheiden Transparenz und die Möglichkeit für betroffene Personen, ihren Standpunkt darzulegen. Wenn ein KI-System die Grundlage für eine Entscheidung liefert, muss nachvollziehbar sein, auf welcher Datenbasis die Empfehlung beruht.
Branchenregulierung. FINMA, Swissmedic und andere Branchenregulatoren stellen zunehmend Anforderungen an den Einsatz von KI in ihren Aufsichtsbereichen. Prüfbarkeit, Nachvollziehbarkeit und dokumentierte Datengrundlagen werden zu Standardanforderungen.
Die strategische Entscheidung
Für Unternehmen in regulierten Branchen stellt sich nicht die Frage, ob sie KI einsetzen. Der Effizienzgewinn ist zu gross, um ihn zu ignorieren. Die Frage ist, welche Art von KI sie einsetzen.
Allgemeine KI-Modelle bieten breite Funktionalität bei geringen Kosten, aber sie schaffen Compliance-Risiken, erfordern manuelle Verifikation und produzieren keine prüfbaren Ergebnisse. Verifizierte KI erfordert eine spezialisierte Infrastruktur, bietet aber die Quellenattribution, Aktualität und Prüfbarkeit, die regulierte Branchen brauchen.
Die Unternehmen, die heute auf verifizierte KI setzen, bauen einen Vorsprung auf. Sie können KI produktiv nutzen, ohne Compliance-Risiken einzugehen. Sie können ihren Kunden nachvollziehbare Ergebnisse liefern. Sie sind auf die regulatorischen Anforderungen von morgen vorbereitet.
Enclava ist die Schweizer Plattform für verifizierte KI in regulierten Branchen. Quellenattribuierte Wissensdatenbanken, in der Schweiz gehostet, mit über 27'000 Gesetzen und 1,1 Millionen Gerichtsentscheiden. Jeder Output ist rückverfolgbar. Jede Quelle ist verifiziert. Jeder Prozess ist prüfbar.
Informieren Sie sich auf enclava.ch oder kontaktieren Sie uns unter [email protected].