Zahlen & Fakten
Genauigkeit der Kontoauszugsextraktion: Daten und Fakten
Benchmark der Transaktionsextraktion aus Kontoauszügen von 47 echten europäischen Banken: Null-Fehler-Quote auf Auszugsebene, Quote erfundener Zeilen, Recall und Precision für Holofin, GPT-5.5, Gemini 3.1 Pro und Claude Opus 4.8. Inklusive CSV.
Von Holofin Research
Veröffentlicht Aktualisiert - Fehlerfreie Holofin-Kontoauszüge
- 98%
- Fehlerhafte Holofin-Zeile in 44 Kontoauszügen
- 1
- Fehlerhafte Zeilen pro Frontier-Modell
- 70 bis 115
- Banken, je ein Kontoauszug, manuell verifizierter Gold-Standard
- 47
Auf dieser Seite
Zusammenfassung
Bei einem Korpus von 47 echten, anonymisierten Kontoauszügen von 47 verschiedenen europäischen Banken (93 Seiten) liefert Holofin 98 % der Auszüge fehlerfrei, mit nur einer fehlerhaften Zeile in den 44 bewerteten Dokumenten. Das beste Frontier-Modell, Gemini 3.1 Pro, liefert 80 % der Auszüge fehlerfrei; GPT-5.5 77 %; Claude Opus 4.8 75 %.
Die Lücke entsteht durch Erfindung, nicht durch Lesefehler. Der Recall liegt bei jedem System zwischen 0,93 und 1,00, aber 8,3 % bis 10,0 % der von einem Frontier-Modell zurückgegebenen Zeilen sind nicht auf der Seite vorhanden. Die Quote erfundener Zeilen liegt bei Holofin bei 0,1 %. Den Frontier-Modellen zwei Seiten oder das gesamte Dokument pro Aufruf zu übergeben, verschiebt den Recall um etwa einen Punkt und schließt die Lücke nicht.
Daten
Ergebnisse auf Kontoauszugsebene, 44 bewertete Auszüge, Pro-Seite-Fenster
| System | Fehlerfreie Kontoauszüge | Fehlerhafte Zeilen (alle 44 Dokumente) | Rate erfundener Zeilen | Recall | Präzision |
|---|---|---|---|---|---|
| Holofin (Produktions-Pipeline) | 98% | 1 | 0,1% | 1,000 | 0,999 |
| Gemini 3.1 Pro | 80% | 115 | 10,0% | 0,931 | 0,900 |
| GPT-5.5 | 77% | 84 | 8,3% | 0,939 | 0,917 |
| Claude Opus 4.8 | 75% | 70 | 9,2% | 0,929 | 0,908 |
Ein Kontoauszug gilt nur dann als korrekt, wenn jede Transaktionszeile mit dem manuell verifizierten Goldstandard bei (Datum, Vorzeichen des Betrags) auf den Cent genau übereinstimmt: keine fehlenden Zeilen, keine erfundenen Zeilen. Die Rate erfundener Zeilen ist der Anteil der zurückgegebenen Zeilen, deren (Datum, Betrag) nicht auf der Seite steht. Frontier-Modelle werden in ihrer besten Einstellung (pro Seite) gezeigt.
CSV herunterladenRecall nach Kontextfenster, Frontier-Modelle
| Modell | Pro Seite | Zwei Seiten | Gesamtes Dokument |
|---|---|---|---|
| GPT-5.5 | 0,939 | 0,942 | 0,932 |
| Gemini 3.1 Pro | 0,931 | 0,953 | 0,932 |
| Claude Opus 4.8 | 0,929 | 0,948 | 0,940 |
Mehr Seiten pro Aufruf zu übergeben, bringt keinen Vorteil: Der Recall verschiebt sich um etwa einen Punkt in beide Richtungen. Holofin verarbeitet jeweils eine Seite und wird nicht angezeigt, da es in seiner einzigen Konfiguration einen Wert von 1.000 erzielt hat.
CSV herunterladenBenchmark-Korpus: 47 Banken, 93 Seiten, ein Kontoauszug pro Bank
| Bank | Land | Seiten |
|---|---|---|
| BAMI Banque Michel Inchauspé | FR | 4 |
| Banque Dupuy de Parseval | FR | 1 |
| Banque Transatlantique | FR | 2 |
| Berliner Sparkasse | DE | 1 |
| Berliner Volksbank | DE | 1 |
| BNP Paribas | FR | 1 |
| BoursoBank | FR | 1 |
| BRED Banque Populaire | FR | 2 |
| bunq | NL | 2 |
| BW-Bank | DE | 2 |
| Caisse d'Epargne | FR | 2 |
| Commerzbank | DE | 2 |
| Crédit Agricole Brie Picardie | FR | 1 |
| Crédit Coopératif | FR | 2 |
| CIC | FR | 2 |
| Crédit Mutuel | FR | 1 |
| Deutsche Bank | DE | 2 |
| Deutsche Skatbank | DE | 2 |
| DKB Deutsche Kreditbank | DE | 3 |
| Fiducial Banque | FR | 1 |
| Finom | NL | 1 |
| Grenke Bank | DE | 3 |
| HSBC | FR | 1 |
| HypoVereinsbank | DE | 2 |
| iBanFirst | FR | 3 |
| Kontist | DE | 2 |
| La Banque Postale | FR | 3 |
| LCL | FR | 1 |
| Manager.one | FR | 2 |
| Mein ELBA (Raiffeisen) | AT | 3 |
| Memo Bank | FR | 1 |
| Monabanq | FR | 2 |
| Oberbank | AT | 1 |
| PayPal | LU | 4 |
| Postbank | DE | 1 |
| Qonto | FR | 1 |
| Raiffeisenbank Südstormarn Mölln | DE | 8 |
| Revolut Business | LT | 1 |
| SG Crédit du Nord | FR | 2 |
| Société Générale | FR | 1 |
| Shine | FR | 1 |
| Sparda-Bank | DE | 3 |
| SumUp | GB | 4 |
| Targobank | DE | 4 |
| UniCredit | DE | 1 |
| Viva Wallet | GR | 1 |
| Wise | BE | 1 |
Jeder Kontoauszug ist echt und wurde anschließend anonymisiert, sodass Layout, Tabellen und Summen erhalten bleiben, Namen und Zahlen jedoch synthetisch sind. Gold-Labels wurden Zeile für Zeile manuell mit den Quell-PDFs abgeglichen. 44 der 47 Kontoauszüge werden in den Ergebnistabellen bewertet. Land ist der Heimatmarkt des ausstellenden Instituts.
CSV herunterladenMethodik
Frontier-Kandidaten erhalten Seitenbilder mit einem generischen Extraktions-Prompt in drei Kontextgrößen (pro Seite, zwei Seiten, gesamtes Dokument). Holofin ist die Produktions-Pipeline (Klassifizierung, OCR, Extraktion pro Seite), die über HTTP gesteuert wird, jeweils eine Seite nach der anderen.
Jede Metrik ist Dokument-Makro: berechnet pro Kontoauszug, dann gemittelt. Eine Zeile stimmt mit dem Gold-Standard überein, wenn (Transaktionsdatum, Betrag mit Vorzeichen) auf den Cent genau ist. Ein Kontoauszug hat null Fehler, wenn jede Gold-Zeile zurückgegeben wird und keine zurückgegebene Zeile im Gold-Standard fehlt.
Der Korpus besteht aus einem Kontoauszug pro einzelner Bank, ausgewählt nach Layout-Vielfalt und nicht gewichtet nach Aufkommen. Er überrepräsentiert absichtlich seltene und komplizierte Layouts. Betrachten Sie die Zahlen daher als Worst-Case-Prüfung der Zuverlässigkeit, nicht als Prognose der durchschnittlichen Produktionsgenauigkeit.
Die Saldenabstimmung (Anfangssaldo plus Transaktionen entspricht Endsaldo) wurde gemessen und ist notwendig, aber nicht ausreichend: GPT-5.5 stimmt 42 von 45 Auszügen ab, erfindet aber dennoch etwa 8 % der Zeilen, und Gemini 3.1 Pro ließ die Salden bei 12 Dokumenten leer, was überhaupt nicht abgestimmt werden kann.
Einen Fehler entdeckt? Schreiben Sie an [email protected] und wir werden die Zeile korrigieren und die Änderung vermerken.
Quellen
- Holofin, Der Benchmark zur Kontoauszugsextraktion (vollständiger Artikel, Diagramme und Korpus-Thumbnails)(abgerufen 3. September 2026)
Lizenz: CC BY 4.0. Wiederverwendung mit Namensnennung von Holofin.
Häufig gestellte Fragen
Warum pro Kontoauszug und nicht pro Zeile bewerten?
Ein Kontoauszug ist für das empfangende Team boolesch: Entweder ist jede Transaktion richtig, oder das Dokument ist ein Risiko. Ein Kontoauszug mit 27 von 30 richtigen Zeilen ist pro Zeile zu 90 % genau und trotzdem falsch. In diesem Benchmark lieferten Gemini 3.1 Pro, GPT-5.5 und Claude Opus 4.8 in 75 bis 80 % der Fälle einen vollständig korrekten Kontoauszug, obwohl sie die meisten Zeilen fanden.
Was zählt als erfundene Zeile?
Eine zurückgegebene Zeile, deren (Datum, Betrag mit Vorzeichen) mit keiner Transaktion auf der Seite übereinstimmt. Bei manueller Überprüfung haben 68 % bis 93 % davon (je nach Modell) überhaupt keine Entsprechung; der Rest ist eine echte Zeile, die mit einem falschen Betrag oder Datum gelesen wurde.
Behebt ein größeres Kontextfenster das Problem?
Nein. Bei den drei Frontier-Modellen verschieben Zwei-Seiten- und Gesamtdokument-Fenster den Recall um etwa einen Punkt in beide Richtungen. Der Fehler liegt am Layout, nicht am Fenster.
Reicht eine Saldenabstimmung aus, um eine Extraktion zu validieren?
Nein. Sie ist eine notwendige, aber keine ausreichende Prüfung. Eine erfundene Zeile, die durch einen anderen Fehler ausgeglichen wird, geht trotzdem auf, und ein Modell, das Salden auslässt, kann überhaupt nicht überprüft werden. Der Gold-Standard muss mit der Seite abgeglichen werden.
Darf ich diese Zahlen wiederverwenden?
Ja, unter CC BY 4.0 mit Namensnennung von Holofin. Für jede Tabelle gibt es einen CSV-Download; die vollständige Methodik finden Sie im verlinkten Artikel.
Weiterführende Lektüre
Kontoauszüge, auf die Sie Kredite stützen können.
Senden Sie Holofin Ihre eigenen Kontoauszüge: jede Zeile abgeglichen, jedes PDF auf Manipulation geprüft, jeder Wert mit der Seite verknüpft, von der er stammt.