Con el desafío presentado, nuestro equipo encontró la solución a través de la estructuración de un Data Lakehouse.
La solución propuesta por nuestro equipo fue la estructuración de un Data Lakehouse, que combina conceptos y técnicas de data warehouse y datalake.
El Data Lakehouse es un repositorio de datos de la empresa, accesible para los usuarios que necesiten consultarlos y generar análisis a partir de ellos. Este tipo de proyecto se basa en tres pilares: confiabilidad, rendimiento e ingeniería.
Para este proyecto, fue necesario tener un control de gobernanza sobre el acceso a los datos, considerando todas las directrices de la Ley General de Protección de Datos (LGPD) en relación con la información sensible de la empresa y sus clientes.
Los datos pasaron por un proceso de limpieza y calificación mediante cargas de trabajo batch (programadas) y stream (en tiempo real). Esto permite tener visualizaciones consistentes, optimizadas y fáciles de utilizar.
