Zahlen & Fakten
Erkennung KI-generierter Dokumente: Zahlen und Fakten
Wie gut führende LLMs, offene KI-Bild-Detektoren und Holograin Gehaltsabrechnungen und Kontoauszüge erkennen, die ein KI-Bildgenerator neu gezeichnet hat: bei 1 % Fehlalarmen, nach Eingangsweg und bei unbekannten Generatoren. Mit CSV.
Von Holofin Research
Veröffentlicht Aktualisiert - der KI-bearbeiteten Seiten erkennt Holograin bei 1 % Fehlalarmen
- 89%
- bei Gemini 4 Argon mit derselben Fehlalarmrate
- 69%
- echte Seiten, die Gemini 4 Argon als KI-bearbeitet markierte
- 45 / 100
- erkannt bei GPT-5.4 image, einem Generator, der nicht im Training war
- 95%
Auf dieser Seite
Zusammenfassung
Auf denselben 200 Seiten, 100 von KI-Bildgeneratoren bearbeitet und 100 echt, alle durch die Upload-Pipeline von Holofin gelaufen, erkennt Holograin 89 % der KI-bearbeiteten Seiten und markiert dabei 1 echte Seite von 100. Bei derselben Fehlalarmrate erkennt Gemini 4 Argon 69 %, GPT-6.1 Sol Pro 40 % und ein unveränderter offener KI-Bild-Detektor 22 %.
Die beiden LLMs scheitern in entgegengesetzte Richtungen: Gemini 4 Argon erkannte 90 der 100 Fälschungen, markierte aber 45 der 100 echten Seiten; GPT-6.1 Sol Pro markierte 2 echte Seiten und erkannte 40 Fälschungen. Nach Eingangsweg erkennt Holograin 96 % in der Originaldatei, 97 % nach einem Handy-Screenshot und 90 % nach dem Upload. Bei GPT-5.4 image, das nicht im Training war, erkennt es 95 %.
Daten
Vier Detektoren auf denselben 200 hochgeladenen Seiten (100 KI-bearbeitet, 100 echt)
| Detektor | Erkannte KI-bearbeitete Seiten | Markierte echte Seiten | Erkannt bei 1 % Fehlalarmen |
|---|---|---|---|
| Gemini 4 Argon | 90 / 100 | 45 / 100 | 69% |
| GPT-6.1 Sol Pro | 40 / 100 | 2 / 100 | 40% |
| Offener KI-Bild-Detektor, unverändert | 8 bis 21 / 100 | 0 bis 2 / 100 | 22% |
| Holograin | 84 / 100 | 1 / 100 | 89% |
Die ersten beiden Spalten sind die eigenen Urteile jedes Detektors. Die letzte Spalte legt die Schwelle so fest, dass 1 echte Seite von 100 markiert wird, und zeigt den Anteil der KI-bearbeiteten Seiten, die dann noch erkannt werden. Die 100 KI-bearbeiteten Seiten stammen von Nano Banana 2.1, Gemini 2.5 und 3.1 image, GPT-5 image mini und GPT-5.4 image; keine der 200 Seiten wurde im Training verwendet.
CSV herunterladenErkannte KI-bearbeitete Seiten bei 1 % Fehlalarmen, nach Eingangsweg des Dokuments
| Eingangsweg | Detektor | Erkannte KI-bearbeitete Seiten |
|---|---|---|
| Originaldatei | Holograin | 96% |
| Handy-Screenshot | Holograin | 97% |
| Bei Holofin hochgeladen | Holograin | 90% |
| Bei Holofin hochgeladen | Offener KI-Bild-Detektor, kachelweise in voller Auflösung | 20% |
Testdokumente, die im Training nie vorkamen. Holograin hat pro Eingangsweg eine eigene Schwelle, festgelegt auf echten Dokumenten außerhalb der Trainingsdaten, sodass auf jedem Weg 1 echte Seite von 100 markiert wird. Gemessen auf einem größeren Testsatz als die Tabelle der vier Detektoren, etwa 825 echte Seiten pro Eingangsweg.
CSV herunterladenBildgeneratoren, die im Training nie vorkamen, Erkennung nach Upload zu Holofin
| Bildmodell | Erkannte KI-bearbeitete Seiten |
|---|---|
| GPT-5.4 image | 95% |
| Nano Banana Pro | 84% |
| Gemini 3.1 Flash-Lite Image | 82% |
| GPT-5 Image | Verweigerte die Bearbeitung von Finanzdokumenten |
Eine Bearbeitung der ganzen Seite pro Testdokument, Produktionsschwelle. GPT-5.4 image wurde vollständig aus dem Training herausgehalten. Gemessen sind die Bildmodelle von Google und OpenAI; andere Modellfamilien wurden nicht gemessen.
CSV herunterladenMethodik
Testsatz: 200 Seiten Finanzdokumente, 100 von fünf KI-Bildgeneratoren bearbeitet und 100 echt, alle durch die Upload-Pipeline von Holofin konvertiert. Keine davon wurde im Training verwendet.
Jedes LLM erhielt die Seite mit dem Prompt eines Betrugsanalysten und gab ein Urteil mit Wahrscheinlichkeit zurück. Offene KI-Bild-Detektoren liefen zunächst unverändert, dann kachelweise in voller Auflösung. Holograin ist das Produktionsmodell.
Jede Erkennungsrate gilt für einen einzigen Arbeitspunkt: die Schwelle, bei der 1 echte Seite von 100 markiert wird. Eine Erkennungsrate ohne ihre Fehlalarmrate beschreibt keinen Detektor, denn Analysten hören auf, die Warnungen eines Tools zu lesen, das regelmäßig ehrliche Antragsteller markiert.
Holograin wurde weder auf Ausweisdokumenten trainiert noch darauf gemessen, und die Ergebnisse decken nur die Bildmodelle von Google und OpenAI ab.
Einen Fehler entdeckt? Schreiben Sie an [email protected] und wir werden die Zeile korrigieren und die Änderung vermerken.
Quellen
- Holofin, Holograin: Dokumente erkennen, die von KI neu gezeichnet wurden (vollständiger Artikel und Beispiele, auf Englisch)(abgerufen 1. November 2026)
Lizenz: CC BY 4.0. Wiederverwendung mit Namensnennung von Holofin.
Häufig gestellte Fragen
Kann ein LLM erkennen, ob ein Dokument von KI erzeugt wurde?
Nicht zuverlässig. In diesem Test erkannte Gemini 4 Argon 90 von 100 KI-bearbeiteten Seiten, markierte aber 45 von 100 echten, und GPT-6.1 Sol Pro markierte 2 echte Seiten, übersah aber 60 Fälschungen. Ein LLM beurteilt, ob ein Dokument plausibel ist, und eine KI-bearbeitete Gehaltsabrechnung ist per Konstruktion plausibel.
Warum übersehen handelsübliche KI-Bild-Detektoren Dokumente?
Sie sind auf Fotos trainiert. Ein gescanntes Dokument ist überwiegend gleichmäßiges Weiß mit scharfen Zeichen und Kompressionsartefakten, weit weg von dem, was sie kennen, und manche verkleinern die Seite vor der Bewertung auf wenige hundert Pixel. Kachelweise in voller Auflösung erkannte ein führender offener Detektor 20 % der hochgeladenen KI-bearbeiteten Seiten bei 1 % Fehlalarmen.
Entfernt ein Screenshot oder eine erneute Komprimierung die Spuren?
Nein. Holograin erkennt 97 % der KI-bearbeiteten Seiten nach einem Handy-Screenshot und 90 % nach Upload und Konvertierung, bei 1 % Fehlalarmen.
Funktioniert die Erkennung auch bei Generatoren, die nicht im Training waren?
Bei den gemessenen ja: 95 % bei GPT-5.4 image, das nicht im Training war, 84 % bei Nano Banana Pro und 82 % bei Gemini 3.1 Flash-Lite Image. Für nicht gemessene Modellfamilien wird nichts behauptet.
Darf ich diese Zahlen wiederverwenden?
Ja, unter CC BY 4.0 mit Namensnennung von Holofin. Jede Tabelle gibt es als CSV-Download; die vollständige Darstellung steht im verlinkten Artikel.
Weiterführende Lektüre
Testen Sie Holofin mit Ihren eigenen Dokumenten.
Jeder Wert mit der Seite verknüpft, von der er stammt, jedes PDF auf Manipulation geprüft, Regeln über die gesamte Fallakte geprüft.