Documentos a ClickHouse, a cualquier volumen

Cómo funciona

1. 1

   Conecte ClickHouse una sola vez

   Cree un rol con permisos de inserción en un único esquema y pegue sus credenciales en Holofin. Holofin crea la tabla en la primera carga; nada más en ClickHouse le resulta visible.

2. 2

   Envíe los documentos como ya lo hace

   Súbalos en la aplicación, reenvíelos por correo electrónico o envíelos a la API. Holofin clasifica cada archivo, separa los lotes en documentos y lee los campos de cada tipo.

3. 3

   Consulte las filas

   Cada campo llega como una fila con su confianza, la página de la que procede y un indicador needs_review. Crúcelo con sus propias tablas en ClickHouse como cualquier otra fuente.

Cómo escribe el conector de ClickHouse

El único permiso que necesita Holofin:

CREATE USER holofin_loader IDENTIFIED WITH sha256_password BY '...';
GRANT INSERT, SELECT ON extracted.document_fields TO holofin_loader;

La tabla que escribe Holofin

Una fila por campo, de modo que un nuevo tipo de documento nunca cambia la tabla. Las columnas son las mismas en todas las plataformas; los tipos siguen la nomenclatura de ClickHouse.

Consultar en ClickHouse

Tasa de revisión y confianza mediana por tipo de documento en 30 días, con countIf y quantile:

-- Review rate per document type over the last 30 days
SELECT
    document_type,
    uniqExact(document_id) AS documents,
    round(countIf(needs_review) / count(), 3) AS review_rate,
    quantile(0.5)(confidence) AS median_confidence
FROM extracted.document_fields FINAL
WHERE loaded_at >= now() - INTERVAL 30 DAY
GROUP BY document_type
ORDER BY documents DESC

Seguridad

• Los documentos se procesan en Europa, en servidores de OVHcloud en Francia con certificación ISO 27001.
• Holofin solo escribe en el esquema que usted autoriza. No puede leer el resto de sus tablas.
• La conservación de los archivos de origen en Holofin se configura por organización, desde cero retención de datos hasta conservación indefinida. Las filas de su data warehouse siguen sus propias políticas.
• RGPD: Holofin actúa como encargado del tratamiento. Ningún documento sale de la Unión Europea.