Data-Warehouse-Integration

Dokumente in PostgreSQL, in der Datenbank, die Sie schon betreiben

Holofin liest PDFs und Scans und schreibt jedes Feld in eine Postgres-Tabelle, direkt neben Ihre Anwendungsdaten. Ganz ohne Warehouse.

Banca Esempio S.p.A.
COORDINATE BANCARIE
Filiale di Torino Centro
IntestatarioStudio Ferri e Associati S.r.l.
IBANIT60 X054 2811 1010 0000 0123 456
BIC / SWIFTBESPITTMXXX
ValutaEUR

✓5 Felder geladen

!1 zur Prüfung markiert

Von Holofin gelesen und in PostgreSQL geladen: Bankbestätigung. Beispieldokument, alle Namen und Zahlen sind erfunden.

So funktioniert es

  1. 1

    PostgreSQL einmal verbinden

    Legen Sie eine Rolle mit Schreibrechten auf ein einziges Schema an und hinterlegen Sie ihre Zugangsdaten in Holofin. Holofin erstellt die Tabelle beim ersten Laden; darüber hinaus gibt PostgreSQL nichts preis.

  2. 2

    Dokumente wie gewohnt senden

    Per Upload in der App, per E-Mail-Weiterleitung oder über die API. Holofin klassifiziert jede Datei, trennt Sammeldateien in einzelne Dokumente und liest die Felder jedes Dokumenttyps.

  3. 3

    Zeilen abfragen

    Jedes Feld landet als eigene Zeile, mit Konfidenz, Quellseite und needs_review-Flag. PostgreSQL behandelt diese Zeilen wie jede andere Quelle: Verknüpfen Sie sie mit Ihren eigenen Tabellen.

So schreibt der PostgreSQL-Connector

Holofin verbindet sich per TLS und schreibt mit COPY in kleinen Batches. Das funktioniert mit jedem PostgreSQL ab Version 13: eigene Server, Amazon RDS und Aurora, Google Cloud SQL, Azure Database, Supabase oder Neon. Die Rolle von Holofin darf in eine einzige Tabelle schreiben und sonst nichts.

Die einzige Berechtigung, die Holofin braucht:

CREATE ROLE holofin_loader LOGIN PASSWORD '...';
GRANT USAGE ON SCHEMA extracted TO holofin_loader;
GRANT INSERT, SELECT ON extracted.document_fields TO holofin_loader;

Die Tabelle, die Holofin schreibt

Eine Zeile pro Feld, damit ein neuer Dokumenttyp die Tabelle nie verändert. Die Spalten sind überall dieselben; die Datentypen tragen die Namen, die PostgreSQL verwendet.

extracted.document_fields
document_idSTRINGHolofins Kennung des Dokuments, stabil über erneute Ladevorgänge hinweg.
document_typeSTRINGDie Klasse, die Holofin dem Dokument zugewiesen hat: supplier_invoice, payslip, bank_statement und so weiter.
fieldSTRINGDer Feldname in snake_case, wie in Ihrem Extraktionsschema definiert.
valueSTRINGDer Wert als normalisierter Text: ISO-Datumsangaben, Punkt als Dezimaltrennzeichen, IBANs ohne Leerzeichen.
confidenceFLOATZwischen 0 und 1. Wie sicher sich Holofin bei dem Wert ist.
pageINTEGERDie Seite der Quelldatei, auf der der Wert gelesen wurde.
bboxARRAY<FLOAT>Die Position auf dieser Seite: x, y, Breite, Höhe, als Anteile der Seite.
needs_reviewBOOLEANTrue, wenn die Konfidenz niedrig ist oder eine Regel fehlschlägt, etwa ein Saldo, der nicht aufgeht.
reviewed_bySTRINGWer den Wert in Holofin bestätigt oder korrigiert hat, sobald das geschehen ist.
loaded_atTIMESTAMPWann die Zeile geschrieben wurde. Korrekturen schreiben eine neue Zeile; die jüngste gilt.

Abfragen in PostgreSQL

Bankverbindungen, die noch auf Prüfung warten, eine Zeile pro Kundenakte, mit FILTER und bool_or:

-- Bank details still waiting for a reviewer, per client file
SELECT
  document_id,
  max(value) FILTER (WHERE field = 'iban') AS iban,
  bool_or(needs_review AND reviewed_by IS NULL) AS pending_review
FROM extracted.document_fields
WHERE document_type = 'bank_details'
GROUP BY document_id
HAVING bool_or(needs_review AND reviewed_by IS NULL)
ORDER BY document_id;

Sicherheit

  • Die Dokumente werden in Europa verarbeitet, auf ISO-27001-zertifizierten OVHcloud-Servern in Frankreich.
  • Holofin schreibt ausschließlich in das Schema, das Sie freigeben. Ihre übrigen Tabellen kann Holofin nicht lesen.
  • Die Aufbewahrung der Quelldateien in Holofin wird pro Organisation festgelegt, von Zero Data Retention bis unbegrenzt. Für die Zeilen in Ihrem Warehouse gelten Ihre eigenen Richtlinien.
  • DSGVO: Holofin handelt als Ihr Auftragsverarbeiter. Kein Dokument verlässt die Europäische Union.

Häufig gestellte Fragen

Kann meine Anwendung reagieren, wenn ein Dokument geladen wird?

Ja. Legen Sie einen Trigger auf die Tabelle, oder nutzen Sie LISTEN auf einem Kanal, den der Trigger benachrichtigt. So sieht Ihre Anwendung jedes Feld, sobald es geschrieben ist.

Wird die IBAN vor dem Laden geprüft?

Holofin prüft die Prüfziffern der IBAN. Ein Wert, der durchfällt, wird mit needs_review auf true geladen, damit niemand an ein falsch gelesenes Konto zahlt.

Wie schnell erscheinen die Felder in PostgreSQL?

Wenige Sekunden, nachdem das Dokument gelesen wurde. Die meisten Dokumente sind in unter einer Minute gelesen, eine per E-Mail gesendete Datei ist in PostgreSQL also meist eine Minute später abfragbar.

Was passiert, wenn jemand einen Wert korrigiert?

Holofin schreibt für dieses Feld eine neue Zeile mit dem korrigierten Wert, needs_review auf false und ausgefülltem reviewed_by. Behalten Sie pro Dokument und Feld die jüngste Zeile für den aktuellen Stand, oder alle Zeilen für einen vollständigen Audit-Trail.

Kann ich festlegen, welche Felder geladen werden?

Ja. Jeder Dokumenttyp hat in Holofin ein Extraktionsschema. Fügen Sie dort Felder hinzu, benennen Sie sie um oder entfernen Sie sie, und die nächsten Dokumente werden mit den neuen Namen geladen. An der Tabellenstruktur ändert sich nichts.

Welche Dokumente liest Holofin?

Jedes Geschäftsdokument als PDF, Scan oder Foto: Rechnungen, Gehaltsabrechnungen, Kontoauszüge, Steuerbescheide, Handelsregisterauszüge, Ausweise, Bescheinigungen. Holofin prüft außerdem jede Datei auf Manipulationen und kann ein verdächtiges Dokument markieren, bevor man seinen Feldern vertraut.

Testen Sie Holofin mit Ihren eigenen Dokumenten.

Jeder Wert mit der Seite verknüpft, von der er stammt, jedes PDF auf Manipulation geprüft, Regeln über die gesamte Fallakte geprüft.

Holofin