Dai documenti a ClickHouse, a qualsiasi volume

Come funziona

1. 1

   Collegate ClickHouse una sola volta

   Create un ruolo con permessi di inserimento su un solo schema e incollatene le credenziali in Holofin. Holofin crea la tabella al primo caricamento e non vede nient'altro: ClickHouse gli mostra solo quello schema.

2. 2

   Inviate i documenti come fate già

   Caricamento nell'app, inoltro via email o chiamata API. Holofin classifica ogni file, divide i plichi in singoli documenti e legge i campi di ciascun tipo.

3. 3

   Interrogate le righe

   Ogni campo arriva come una riga, con la sua confidenza, la pagina di provenienza e un flag needs_review. ClickHouse le tratta come qualsiasi altra sorgente: unitele alle vostre tabelle.

Come scrive il connettore ClickHouse

L'unico permesso di cui Holofin ha bisogno:

CREATE USER holofin_loader IDENTIFIED WITH sha256_password BY '...';
GRANT INSERT, SELECT ON extracted.document_fields TO holofin_loader;

La tabella scritta da Holofin

Una riga per campo, così un nuovo tipo di documento non modifica mai la tabella. Le colonne sono le stesse su ogni piattaforma; i tipi sono quelli che usa ClickHouse.

Interrogare i dati in ClickHouse

Tasso di revisione e confidenza mediana per tipo di documento su 30 giorni, con countIf e quantile:

-- Review rate per document type over the last 30 days
SELECT
    document_type,
    uniqExact(document_id) AS documents,
    round(countIf(needs_review) / count(), 3) AS review_rate,
    quantile(0.5)(confidence) AS median_confidence
FROM extracted.document_fields FINAL
WHERE loaded_at >= now() - INTERVAL 30 DAY
GROUP BY document_type
ORDER BY documents DESC

Sicurezza

• I documenti sono elaborati in Europa, su server OVHcloud in Francia certificati ISO 27001.
• Holofin scrive solo nello schema che autorizzate. Non può leggere le vostre altre tabelle.
• La conservazione dei file di origine in Holofin si imposta per organizzazione, da zero data retention a conservazione illimitata. Le righe nel vostro data warehouse seguono le vostre policy.
• GDPR: Holofin agisce come vostro responsabile del trattamento. Nessun documento lascia l'Unione europea.