BenchmarkIl Benchmark sull'Estrazione degli Estratti Conto
Un benchmark nel mondo reale per l'estrazione delle transazioni dagli estratti conto. holofin elabora il 98% degli estratti conto con zero errori. Gli LLM di frontiera leggono quasi ogni riga, ma su una minoranza di layout restituiscono righe che non sono sulla pagina — in modo imprevedibile — quindi un modello accurato al 90% per riga restituisce un estratto conto completamente corretto solo nel ~75-80% dei casi.
Holofin Engineering
Il tuo estrattore di tabelle ha superato il test. I numeri no.
Una revisore apre il tuo risultato di estrazione per uno stato patrimoniale. Il modello mostra una precisione per cella del 99,2%. Impressionante. Poi calcola il totale della colonna delle attività a mano, come fanno i revisori, e ottiene un numero sfasato di una riga. Le attività non sono più uguali alle passività più il patrimonio netto. Il bilancio non quadra.
Greg T
Rilevamento frodi documentali: Cosa un PDF non può nascondere
Pensavamo che la frode documentale fosse un problema visivo. Font sbagliati. Colonne disallineate. Un logo che sembrava leggermente fuori posto. Abbiamo costruito controlli basati su ciò che gli umani vedono, perché ciò che gli umani vedono era tutto ciò che avevamo.
Greg T
Quando i documenti si ribellano
Pagina 1: Riepilogo conto, due colonne. Pagina 15: Stesso conto, tre colonne, nomi delle intestazioni diversi. Pagina 47: Una scansione con una macchia di caffè. Pagina 89: La pagina dei totali, che fa riferimento a transazioni estratte 70 pagine fa.
Greg T
La traccia di audit invisibile
Un revisore apre il tuo file di esportazione, trova un saldo di chiusura di 47.500 € e recupera il PDF di origine. Pagina 3, angolo in basso a destra: 47.000 €. Numero diverso. "Da dove arriva la differenza? Chi l'ha modificata?"
Greg T
HoloRecall: Mostrare, non raccontare
C'è un momento in ogni progetto di classificazione in cui osservi il modello sbagliare con sicurezza. Non un caso difficile. Non un caso limite ambiguo. Qualcosa che un umano risolverebbe in mezzo secondo senza pensare.
Greg T
Il tuo LLM non è una pipeline documentale
C'è un momento in ogni progetto AI in cui la demo sembra così buona che il tuo cervello inizia silenziosamente a cancellare codice. Guardi un modello "leggere" un estratto conto e pensi: ci siamo. Possiamo saltare l'OCR. Possiamo saltare il parsing del layout. Forse possiamo saltare metà della pipeline. Nella versione cinematografica, qualcuno preme Invio e una cascata di JSON scende dal cloud.
Greg T
I PDF sono per le persone, non per i dati
Amiamo i PDF. Hanno lo stesso aspetto su ogni dispositivo, si stampano magnificamente in qualsiasi dimensione e sono la cosa più vicina alla carta digitale che abbiamo. Ma ogni volta che qualcuno nel nostro team dice "estraiamo semplicemente i dati dal PDF", sentiamo un antico demone PostScript svegliarsi e sussurrare: **“Sono nato per dipingere pixel, non per strutturare le tue righe.”**
Greg T