Data platform
Un motor de ingestión para datos que no llegan limpios
- Contexto
- Distintos clientes entregan archivos heterogéneos y no siempre cumplen el contrato esperado.
- Mi responsabilidad
- Diseño del flujo ETL, modelo de validación y estrategia de almacenamiento.
- Decisión
- Separar la ingestión en capas bronze, silver y gold; conservar el dato original y detener registros inválidos antes de producción.
- Impacto
- Un proceso repetible para CSV, JSONL, PDF y Parquet, con errores aislados y trazabilidad desde la fuente.
Python · Airflow · PostgreSQL