Dokumente als Delta-Tabellen in Databricks

So funktioniert es

1. 1

   Databricks einmal verbinden

   Legen Sie eine Rolle mit Schreibrechten auf ein einziges Schema an und hinterlegen Sie ihre Zugangsdaten in Holofin. Holofin erstellt die Tabelle beim ersten Laden; darüber hinaus gibt Databricks nichts preis.

2. 2

   Dokumente wie gewohnt senden

   Per Upload in der App, per E-Mail-Weiterleitung oder über die API. Holofin klassifiziert jede Datei, trennt Sammeldateien in einzelne Dokumente und liest die Felder jedes Dokumenttyps.

3. 3

   Zeilen abfragen

   Jedes Feld landet als eigene Zeile, mit Konfidenz, Quellseite und needs_review-Flag. Databricks behandelt diese Zeilen wie jede andere Quelle: Verknüpfen Sie sie mit Ihren eigenen Tabellen.

So schreibt der Databricks-Connector

Die einzige Berechtigung, die Holofin braucht:

-- Service principal: holofin-loader (OAuth machine-to-machine)
GRANT USE CATALOG ON CATALOG holofin TO `holofin-loader`;
GRANT USE SCHEMA, CREATE TABLE ON SCHEMA holofin.extracted TO `holofin-loader`;
GRANT MODIFY, SELECT ON SCHEMA holofin.extracted TO `holofin-loader`;

Die Tabelle, die Holofin schreibt

Eine Zeile pro Feld, damit ein neuer Dokumenttyp die Tabelle nie verändert. Die Spalten sind überall dieselben; die Datentypen tragen die Namen, die Databricks verwendet.

Abfragen in Databricks

Kontoauszüge, deren Salden nicht aufgehen, Woche für Woche gezählt, mit FILTER und GROUP BY ALL:

-- Statements whose balances do not add up, by week loaded
SELECT
  date_trunc('WEEK', loaded_at) AS week,
  count(DISTINCT document_id) AS statements,
  count(DISTINCT document_id) FILTER (
    WHERE field = 'closing_balance' AND needs_review
  ) AS balance_mismatches
FROM holofin.extracted.document_fields
WHERE document_type = 'bank_statement'
GROUP BY ALL
ORDER BY week DESC

Sicherheit

• Die Dokumente werden in Europa verarbeitet, auf ISO-27001-zertifizierten OVHcloud-Servern in Frankreich.
• Holofin schreibt ausschließlich in das Schema, das Sie freigeben. Ihre übrigen Tabellen kann Holofin nicht lesen.
• Die Aufbewahrung der Quelldateien in Holofin wird pro Organisation festgelegt, von Zero Data Retention bis unbegrenzt. Für die Zeilen in Ihrem Warehouse gelten Ihre eigenen Richtlinien.
• DSGVO: Holofin handelt als Ihr Auftragsverarbeiter. Kein Dokument verlässt die Europäische Union.