Com o desafio apresentado, nosso time encontrou a solução através da estruturação de um Data Lakehouse
A solução proposta pelo nosso time foi a estruturação de um Data Lakehouse, que mistura conceitos e técnicas de data warehouse e datalake.
O Data Lakehouse é um repositório de dados da empresa, acessível aos usuários que precisem consultá-los e produzir, a partir deles, suas análises. Este tipo de projeto é pautado em três pilares: confiabilidade, desempenho e engenharia.
Para esse projeto foi necessário um controle de governança sobre o acesso aos dados, considerando todas as diretrizes da Lei Geral de Proteção de Dados (LGPD) em relação às informações sensíveis da empresa e de seus clientes.
Os dados passaram por um processo de limpeza e qualificação a partir de cargas de trabalho batch (agendados) e stream (em tempo real). Isso permite ter visualizações consistentes, otimizadas e fáceis de utilizar.
