Dokumente als BigQuery-Zeilen, bereit für Joins

So funktioniert es

1. 1

   BigQuery einmal verbinden

   Legen Sie eine Rolle mit Schreibrechten auf ein einziges Schema an und hinterlegen Sie ihre Zugangsdaten in Holofin. Holofin erstellt die Tabelle beim ersten Laden; darüber hinaus gibt BigQuery nichts preis.

2. 2

   Dokumente wie gewohnt senden

   Per Upload in der App, per E-Mail-Weiterleitung oder über die API. Holofin klassifiziert jede Datei, trennt Sammeldateien in einzelne Dokumente und liest die Felder jedes Dokumenttyps.

3. 3

   Zeilen abfragen

   Jedes Feld landet als eigene Zeile, mit Konfidenz, Quellseite und needs_review-Flag. BigQuery behandelt diese Zeilen wie jede andere Quelle: Verknüpfen Sie sie mit Ihren eigenen Tabellen.

So schreibt der BigQuery-Connector

Die einzige Berechtigung, die Holofin braucht:

-- Service account: [email protected]
GRANT `roles/bigquery.dataEditor`
ON SCHEMA `holofin-analytics.extracted`
TO "serviceAccount:[email protected]";

Die Tabelle, die Holofin schreibt

Eine Zeile pro Feld, damit ein neuer Dokumenttyp die Tabelle nie verändert. Die Spalten sind überall dieselben; die Datentypen tragen die Namen, die BigQuery verwendet.

Abfragen in BigQuery

Durchschnittliches Nettogehalt pro Arbeitgeber auf den Abrechnungen dieser Woche, ohne Werte, die noch auf Prüfung warten:

-- Net pay declared on payslips this week, per employer,
-- keeping only fields nobody needs to look at again
SELECT
  employer.value AS employer,
  COUNT(*) AS payslips,
  ROUND(AVG(SAFE_CAST(net.value AS NUMERIC)), 2) AS avg_net_paid
FROM `holofin-analytics.extracted.document_fields` AS net
JOIN `holofin-analytics.extracted.document_fields` AS employer
  USING (document_id)
WHERE net.field = 'net_paid'
  AND employer.field = 'employer_name'
  AND NOT net.needs_review
  AND net.loaded_at >= TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 7 DAY)
GROUP BY employer
ORDER BY payslips DESC

Sicherheit

• Die Dokumente werden in Europa verarbeitet, auf ISO-27001-zertifizierten OVHcloud-Servern in Frankreich.
• Holofin schreibt ausschließlich in das Schema, das Sie freigeben. Ihre übrigen Tabellen kann Holofin nicht lesen.
• Die Aufbewahrung der Quelldateien in Holofin wird pro Organisation festgelegt, von Zero Data Retention bis unbegrenzt. Für die Zeilen in Ihrem Warehouse gelten Ihre eigenen Richtlinien.
• DSGVO: Holofin handelt als Ihr Auftragsverarbeiter. Kein Dokument verlässt die Europäische Union.