Dai documenti alle tabelle Delta in Databricks

Come funziona

1. 1

   Collegate Databricks una sola volta

   Create un ruolo con permessi di inserimento su un solo schema e incollatene le credenziali in Holofin. Holofin crea la tabella al primo caricamento e non vede nient'altro: Databricks gli mostra solo quello schema.

2. 2

   Inviate i documenti come fate già

   Caricamento nell'app, inoltro via email o chiamata API. Holofin classifica ogni file, divide i plichi in singoli documenti e legge i campi di ciascun tipo.

3. 3

   Interrogate le righe

   Ogni campo arriva come una riga, con la sua confidenza, la pagina di provenienza e un flag needs_review. Databricks le tratta come qualsiasi altra sorgente: unitele alle vostre tabelle.

Come scrive il connettore Databricks

L'unico permesso di cui Holofin ha bisogno:

-- Service principal: holofin-loader (OAuth machine-to-machine)
GRANT USE CATALOG ON CATALOG holofin TO `holofin-loader`;
GRANT USE SCHEMA, CREATE TABLE ON SCHEMA holofin.extracted TO `holofin-loader`;
GRANT MODIFY, SELECT ON SCHEMA holofin.extracted TO `holofin-loader`;

La tabella scritta da Holofin

Una riga per campo, così un nuovo tipo di documento non modifica mai la tabella. Le colonne sono le stesse su ogni piattaforma; i tipi sono quelli che usa Databricks.

Interrogare i dati in Databricks

Conteggio settimanale degli estratti conto i cui saldi non quadrano, con FILTER e GROUP BY ALL:

-- Statements whose balances do not add up, by week loaded
SELECT
  date_trunc('WEEK', loaded_at) AS week,
  count(DISTINCT document_id) AS statements,
  count(DISTINCT document_id) FILTER (
    WHERE field = 'closing_balance' AND needs_review
  ) AS balance_mismatches
FROM holofin.extracted.document_fields
WHERE document_type = 'bank_statement'
GROUP BY ALL
ORDER BY week DESC

Sicurezza

• I documenti sono elaborati in Europa, su server OVHcloud in Francia certificati ISO 27001.
• Holofin scrive solo nello schema che autorizzate. Non può leggere le vostre altre tabelle.
• La conservazione dei file di origine in Holofin si imposta per organizzazione, da zero data retention a conservazione illimitata. Le righe nel vostro data warehouse seguono le vostre policy.
• GDPR: Holofin agisce come vostro responsabile del trattamento. Nessun documento lascia l'Unione europea.