Documentos a tablas Delta en Databricks

Cómo funciona

1. 1

   Conecte Databricks una sola vez

   Cree un rol con permisos de inserción en un único esquema y pegue sus credenciales en Holofin. Holofin crea la tabla en la primera carga; nada más en Databricks le resulta visible.

2. 2

   Envíe los documentos como ya lo hace

   Súbalos en la aplicación, reenvíelos por correo electrónico o envíelos a la API. Holofin clasifica cada archivo, separa los lotes en documentos y lee los campos de cada tipo.

3. 3

   Consulte las filas

   Cada campo llega como una fila con su confianza, la página de la que procede y un indicador needs_review. Crúcelo con sus propias tablas en Databricks como cualquier otra fuente.

Cómo escribe el conector de Databricks

El único permiso que necesita Holofin:

-- Service principal: holofin-loader (OAuth machine-to-machine)
GRANT USE CATALOG ON CATALOG holofin TO `holofin-loader`;
GRANT USE SCHEMA, CREATE TABLE ON SCHEMA holofin.extracted TO `holofin-loader`;
GRANT MODIFY, SELECT ON SCHEMA holofin.extracted TO `holofin-loader`;

La tabla que escribe Holofin

Una fila por campo, de modo que un nuevo tipo de documento nunca cambia la tabla. Las columnas son las mismas en todas las plataformas; los tipos siguen la nomenclatura de Databricks.

Consultar en Databricks

Recuento semanal de los extractos cuyos saldos no cuadran, con FILTER y GROUP BY ALL:

-- Statements whose balances do not add up, by week loaded
SELECT
  date_trunc('WEEK', loaded_at) AS week,
  count(DISTINCT document_id) AS statements,
  count(DISTINCT document_id) FILTER (
    WHERE field = 'closing_balance' AND needs_review
  ) AS balance_mismatches
FROM holofin.extracted.document_fields
WHERE document_type = 'bank_statement'
GROUP BY ALL
ORDER BY week DESC

Seguridad

• Los documentos se procesan en Europa, en servidores de OVHcloud en Francia con certificación ISO 27001.
• Holofin solo escribe en el esquema que usted autoriza. No puede leer el resto de sus tablas.
• La conservación de los archivos de origen en Holofin se configura por organización, desde cero retención de datos hasta conservación indefinida. Las filas de su data warehouse siguen sus propias políticas.
• RGPD: Holofin actúa como encargado del tratamiento. Ningún documento sale de la Unión Europea.