Vos documents en tables Delta dans Databricks

Comment ça marche

1. 1

   Connectez Databricks une seule fois

   Créez un rôle avec des droits d'insertion sur un seul schéma et collez ses identifiants dans Holofin. Holofin crée la table au premier chargement ; il ne voit rien d'autre dans Databricks.

2. 2

   Envoyez vos documents comme d'habitude

   Dépôt dans l'application, transfert par e-mail ou appel à l'API. Holofin classe chaque fichier, découpe les liasses en documents et lit les champs propres à chaque type.

3. 3

   Interrogez les lignes

   Chaque champ arrive sous forme d'une ligne, avec sa confiance, la page dont il provient et un indicateur needs_review. Joignez-le à vos propres tables dans Databricks comme n'importe quelle autre source.

Comment le connecteur Databricks écrit les données

Le seul droit dont Holofin a besoin :

-- Service principal: holofin-loader (OAuth machine-to-machine)
GRANT USE CATALOG ON CATALOG holofin TO `holofin-loader`;
GRANT USE SCHEMA, CREATE TABLE ON SCHEMA holofin.extracted TO `holofin-loader`;
GRANT MODIFY, SELECT ON SCHEMA holofin.extracted TO `holofin-loader`;

La table écrite par Holofin

Une ligne par champ : un nouveau type de document ne modifie jamais la table. Les colonnes sont identiques d'une plateforme à l'autre ; les types suivent la nomenclature de Databricks.

Interroger les données dans Databricks

Compter, semaine par semaine, les relevés dont les soldes ne tombent pas juste, avec FILTER et GROUP BY ALL :

-- Statements whose balances do not add up, by week loaded
SELECT
  date_trunc('WEEK', loaded_at) AS week,
  count(DISTINCT document_id) AS statements,
  count(DISTINCT document_id) FILTER (
    WHERE field = 'closing_balance' AND needs_review
  ) AS balance_mismatches
FROM holofin.extracted.document_fields
WHERE document_type = 'bank_statement'
GROUP BY ALL
ORDER BY week DESC

Sécurité

• Les documents sont traités en Europe, sur des serveurs OVHcloud situés en France et certifiés ISO 27001.
• Holofin écrit uniquement dans le schéma que vous lui ouvrez. Il ne peut pas lire vos autres tables.
• La durée de conservation des fichiers sources dans Holofin se règle par organisation, de zéro rétention des données à une conservation illimitée. Les lignes de votre entrepôt suivent vos propres règles.
• RGPD : Holofin agit en tant que sous-traitant. Aucun document ne quitte l'Union européenne.