Grande Empresa do Ramo de Recuperação de Crédito no Brasil
Implementação de uma plataforma DataOps no Google Cloud com Airflow, Spark Dataproc, Gitlab e BigQuery para processar pipelines e acelerar novas equipes
-
O que fizemos
Plataforma DataOps
-
Empresa
Confidencial
-
Segmento de atuação
Financeiro
01
Desafio
A empresa enfrentava dificuldades na gestão de pipelines de dados, o que resultava em processos demorados e complexos. Além disso, a empresa precisava acelerar a integração de novas equipes, melhorando a eficiência e reduzindo os custos operacionais
Principais Desafios
- Gestão eficiente de pipelines de dados
- Aceleração da integração de novas equipes
02
Solução
Desenvolvemos uma plataforma DataOps no Google Cloud utilizando Airflow, Spark Dataproc, Gitlab e BigQuery. Essa solução facilitou a orquestração e processamento dos pipelines de dados, além de permitir a integração rápida e eficiente de novas equipes, alinhando-se aos princípios de DevOps e FinOps para reduzir custos e melhorar a eficiência
Solução Implementada pela Consultoria:
- Implementação de Airflow e Spark Dataproc para orquestração de pipelines
- Integração com Gitlab e BigQuery para versionamento e armazenamento de dados
03
Benefícios e resultados do nosso serviço
-
Eficiência Operacional
Melhorou a gestão de pipelines e acelerou a integração de novas equipes
-
Redução de Custos
Alinhamento com princípios de DevOps e FinOps, reduzindo custos operacionais
Tecnologias aplicadas
Utilizamos tecnologias de ponta e plataformas líderes para oferecer soluções inovadoras, seguras e escaláveis.