Verifizierung KI-generierter Berichte und der AI-Audit-Agent-Ansatz

Der Einsatz künstlicher Intelligenz bei der Erstellung von Berichten kann die Textproduktion beschleunigen. Eine flüssige Darstellung bedeutet jedoch nicht, dass der Inhalt korrekt ist. Die Entdeckung gefälschter wissenschaftlicher Quellen und erfundener Zitate aus Gerichtsentscheidungen in einem Bericht von Deloitte für die australische Regierung macht diesen Unterschied deutlich. Im Unternehmenseinsatz geht es nicht nur darum, ein Dokument zu erstellen, sondern sicherzustellen, dass dessen Aussagen, Quellen und Zitate überprüfbar sind. Der Erstellungsprozess sollte daher durch eine separate Qualitätskontrolle ergänzt werden.

Der erste Schritt der Verifizierung besteht darin, zu prüfen, ob die Quellen tatsächlich existieren. Dass eine Veröffentlichung auffindbar ist, reicht allein jedoch nicht aus: Sie muss die betreffende Aussage stützen, das Zitat muss mit dem Originaltext übereinstimmen und der Quellenverweis auf die richtige Quelle führen. Werden diese Prüfungen insbesondere bei offiziellen Dokumenten auf eine sprachliche Durchsicht beschränkt, können fehlerhafte Informationen unbemerkt weiterverwendet werden. Ein gut geschriebener Absatz ist nicht dasselbe wie eine belegte Information.

Ein Ansatz, um diesem Bedarf gerecht zu werden, besteht darin, nach Fertigstellung des Berichts eine zweite KI-Ebene für die Prüfung einzusetzen. Diese als AI Audit Agent beschreibbare Ebene kann so konzipiert werden, dass sie die Echtheit von Quellen untersucht, Widersprüche im Inhalt erkennt und Quellenverweise mit den zugehörigen Texten abgleicht. Ziel ist nicht, die erste Ausgabe bedingungslos von einem anderen Modell bestätigen zu lassen. Entscheidend ist vielmehr, dass die Prüfung auf zugänglichen Quellen beruht und nicht verifizierbare Punkte klar für eine menschliche Überprüfung kennzeichnet.

Das Prüfergebnis kann auch einen Risikowert für KI-Halluzinationen enthalten. Dieser Wert darf jedoch nicht als Zertifikat verstanden werden, das die Richtigkeit des Inhalts garantiert. Für eine aussagekräftige Bewertung muss erläutert werden, welche Prüfungen durchgeführt wurden, welche Quellen nicht zugänglich waren und welche Aussagen als fragwürdig eingestuft wurden. Wichtiger als ein Zahlenwert ist, dass die prüfende Person erkennen kann, wo ein Fehler liegt und weshalb er beanstandet wird. So kann die Risikobewertung dabei helfen, Prioritäten für die Überprüfung zu setzen, anstatt die Freigabe zu ersetzen.

Bei X Mind Solutions betonen wir im Umgang mit KI-Agenten, Automatisierungsabläufen und Systemintegrationen, wie wichtig es ist, Erstellung und Verifizierung gemeinsam zu betrachten. Im Ablauf der Berichtserstellung lassen sich Entwurf, Quellenprüfung, Konsistenzprüfung und menschliche Freigabe als getrennte Verantwortlichkeiten gestalten. Da auch die prüfende KI Fehler machen kann, muss die abschließende Bewertung beim Menschen bleiben. Unternehmerische Glaubwürdigkeit entsteht nicht allein dadurch, Inhalte schneller zu produzieren, sondern dadurch, erklären zu können, welche Informationen auf welcher Grundlage verwendet wurden.