Chiffres clés
Précision d'extraction des relevés bancaires : chiffres clés
Benchmark d'extraction des transactions de relevés bancaires sur 47 banques européennes réelles : taux de relevés sans erreur, taux de lignes inventées, rappel et précision pour Holofin, GPT-5.5, Gemini 3.1 Pro et Claude Opus 4.8. CSV inclus.
Par Holofin Research
Publié le Mis à jour le - relevés Holofin sans aucune erreur
- 98 %
- ligne erronée Holofin sur 44 relevés
- 1
- lignes erronées par modèle de pointe
- 70 à 115
- banques, un relevé chacune, données de référence vérifiées à la main
- 47
Sur cette page
Synthèse
Sur un corpus de 47 relevés réels anonymisés provenant de 47 banques européennes différentes (93 pages), Holofin renvoie 98 % des relevés sans aucune erreur, soit une seule ligne erronée sur les 44 documents notés. Le meilleur modèle de pointe, Gemini 3.1 Pro, renvoie 80 % des relevés sans erreur ; GPT-5.5 77 % ; Claude Opus 4.8 75 %.
L'écart vient de l'invention, pas de la lecture. Le rappel est de 0,93 à 1,00 pour tous les systèmes, mais 8,3 % à 10,0 % des lignes renvoyées par un modèle de pointe ne sont pas sur la page. Le taux de lignes inventées de Holofin est de 0,1 %. Donner aux modèles de pointe deux pages ou le document entier par appel déplace le rappel d'environ un point et ne comble pas l'écart.
Données
Résultats par relevé, 44 relevés notés, fenêtre par page
| Système | Relevés sans aucune erreur | Lignes erronées (44 documents) | Taux de lignes inventées | Rappel | Précision |
|---|---|---|---|---|---|
| Holofin (pipeline de production) | 98 % | 1 | 0,1 % | 1,000 | 0,999 |
| Gemini 3.1 Pro | 80 % | 115 | 10,0 % | 0,931 | 0,900 |
| GPT-5.5 | 77 % | 84 | 8,3 % | 0,939 | 0,917 |
| Claude Opus 4.8 | 75 % | 70 | 9,2 % | 0,929 | 0,908 |
Un relevé n'est compté comme correct que si chaque ligne de transaction correspond aux données de référence vérifiées à la main sur (date, montant signé) au centime près : aucune ligne omise, aucune ligne inventée. Le taux de lignes inventées est la part des lignes renvoyées dont le couple (date, montant) n'est pas sur la page. Modèles de pointe présentés dans leur meilleure configuration (par page).
Télécharger le CSVRappel selon la fenêtre de contexte, modèles de pointe
| Modèle | Par page | Deux pages | Document entier |
|---|---|---|---|
| GPT-5.5 | 0,939 | 0,942 | 0,932 |
| Gemini 3.1 Pro | 0,931 | 0,953 | 0,932 |
| Claude Opus 4.8 | 0,929 | 0,948 | 0,940 |
Donner plus de pages par appel ne change rien : le rappel bouge d'environ un point dans un sens ou dans l'autre. Holofin traite une page à la fois et n'est pas montré parce qu'il a obtenu 1,000 dans sa seule configuration.
Télécharger le CSVCorpus du benchmark : 47 banques, 93 pages, un relevé par banque
| Banque | Pays | Pages |
|---|---|---|
| BAMI Banque Michel Inchauspé | FR | 4 |
| Banque Dupuy de Parseval | FR | 1 |
| Banque Transatlantique | FR | 2 |
| Berliner Sparkasse | DE | 1 |
| Berliner Volksbank | DE | 1 |
| BNP Paribas | FR | 1 |
| BoursoBank | FR | 1 |
| BRED Banque Populaire | FR | 2 |
| bunq | NL | 2 |
| BW-Bank | DE | 2 |
| Caisse d'Epargne | FR | 2 |
| Commerzbank | DE | 2 |
| Crédit Agricole Brie Picardie | FR | 1 |
| Crédit Coopératif | FR | 2 |
| CIC | FR | 2 |
| Crédit Mutuel | FR | 1 |
| Deutsche Bank | DE | 2 |
| Deutsche Skatbank | DE | 2 |
| DKB Deutsche Kreditbank | DE | 3 |
| Fiducial Banque | FR | 1 |
| Finom | NL | 1 |
| Grenke Bank | DE | 3 |
| HSBC | FR | 1 |
| HypoVereinsbank | DE | 2 |
| iBanFirst | FR | 3 |
| Kontist | DE | 2 |
| La Banque Postale | FR | 3 |
| LCL | FR | 1 |
| Manager.one | FR | 2 |
| Mein ELBA (Raiffeisen) | AT | 3 |
| Memo Bank | FR | 1 |
| Monabanq | FR | 2 |
| Oberbank | AT | 1 |
| PayPal | LU | 4 |
| Postbank | DE | 1 |
| Qonto | FR | 1 |
| Raiffeisenbank Südstormarn Mölln | DE | 8 |
| Revolut Business | LT | 1 |
| SG Crédit du Nord | FR | 2 |
| Société Générale | FR | 1 |
| Shine | FR | 1 |
| Sparda-Bank | DE | 3 |
| SumUp | GB | 4 |
| Targobank | DE | 4 |
| UniCredit | DE | 1 |
| Viva Wallet | GR | 1 |
| Wise | BE | 1 |
Chaque relevé est réel, puis anonymisé pour que la mise en page, les tableaux et les totaux survivent tandis que les noms et les montants sont synthétiques. Les données de référence ont été vérifiées à la main ligne par ligne contre les PDF sources. 44 des 47 relevés sont notés dans les tableaux de résultats. Le pays est le marché d'origine de l'établissement émetteur.
Télécharger le CSVMéthodologie
Les modèles de pointe testés reçoivent des images de page avec un prompt d'extraction générique à trois tailles de contexte (par page, deux pages, document entier). Holofin est le pipeline de production (classification, OCR, extraction par page) piloté en HTTP, une page à la fois.
Chaque métrique est une moyenne macro par document : calculée par relevé, puis moyennée. Une ligne correspond aux données de référence quand (date de transaction, montant signé) est exact au centime près. Un relevé est sans erreur quand chaque ligne des données de référence est renvoyée et qu'aucune ligne renvoyée n'est absente des données de référence.
Le corpus compte un relevé par banque distincte, choisi pour la diversité des mises en page plutôt que pondéré par le trafic. Il surreprésente volontairement les mises en page rares et difficiles : lisez les chiffres comme un test de fiabilité dans les cas les plus difficiles, pas comme une prévision de précision moyenne en production.
Le rapprochement des soldes (solde initial plus transactions égale solde final) a été mesuré et il est nécessaire mais pas suffisant : les soldes de GPT-5.5 concordent sur 42 relevés sur 45 alors qu'il invente environ 8 % des lignes, et Gemini 3.1 Pro a laissé les soldes vides sur 12 documents, impossibles à rapprocher.
Une erreur ? Écrivez à [email protected] et nous corrigerons la ligne en notant la modification.
Sources
- Holofin, Le benchmark d'extraction de relevés bancaires (article complet, graphiques et vignettes du corpus)(consulté le 3 septembre 2026)
Licence : CC BY 4.0. Réutilisation libre avec attribution à Holofin.
Questions fréquentes
Pourquoi noter par relevé plutôt que par ligne ?
Un relevé est binaire pour l'équipe qui le reçoit : soit chaque transaction est juste, soit le document présente un risque. Un relevé dont 27 lignes sur 30 sont justes est précis à 90 % par ligne, et pourtant erroné. Dans ce benchmark, Gemini 3.1 Pro, GPT-5.5 et Claude Opus 4.8 ont renvoyé un relevé entièrement correct dans 75 à 80 % des cas, alors qu'ils trouvaient la plupart des lignes.
Qu'est-ce qu'une ligne inventée ?
Une ligne renvoyée dont le couple (date, montant signé) ne correspond à aucune transaction de la page. Vérifiées à la main, 68 % à 93 % d'entre elles (selon le modèle) n'ont aucune contrepartie sur la page ; les autres sont une vraie ligne lue avec un montant ou une date erronés.
Une fenêtre de contexte plus grande règle-t-elle le problème ?
Non. Sur les trois modèles de pointe, les fenêtres deux pages et document entier déplacent le rappel d'environ un point dans un sens ou dans l'autre. L'échec dépend de la mise en page, pas de la fenêtre.
Le rapprochement des soldes suffit-il à valider une extraction ?
Non. C'est un contrôle nécessaire, pas suffisant. Une ligne inventée compensée par une autre erreur s'équilibre quand même, et un modèle qui omet les soldes ne peut pas être contrôlé du tout. Les données de référence doivent être vérifiées sur la page.
Puis-je réutiliser ces chiffres ?
Oui, sous licence CC BY 4.0 avec attribution à Holofin. Chaque tableau est téléchargeable en CSV ; la méthodologie complète est dans l'article lié.
Des relevés bancaires fiables pour vos décisions de crédit.
Envoyez vos propres relevés à Holofin : chaque ligne contrôlée au regard des soldes, chaque PDF analysé pour détecter les falsifications, chaque valeur reliée à sa position sur la page.