Área do cliente

Grande Empresa do Ramo de Recuperação de Crédito no Brasil

Implementação de uma plataforma DataOps no Google Cloud com Airflow, Spark Dataproc, Gitlab e BigQuery para processar pipelines e acelerar novas equipes

Implementação de uma plataforma DataOps para processar pipelines e acelerar novas equipes.
  • O que fizemos

    Plataforma DataOps

  • Empresa

    Confidencial

  • Segmento de atuação

    Financeiro

01

Desafio

A empresa enfrentava dificuldades na gestão de pipelines de dados, o que resultava em processos demorados e complexos. Além disso, a empresa precisava acelerar a integração de novas equipes, melhorando a eficiência e reduzindo os custos operacionais

Principais Desafios

  • Gestão eficiente de pipelines de dados
  • Aceleração da integração de novas equipes

02

Solução

Desenvolvemos uma plataforma DataOps no Google Cloud utilizando Airflow, Spark Dataproc, Gitlab e BigQuery. Essa solução facilitou a orquestração e processamento dos pipelines de dados, além de permitir a integração rápida e eficiente de novas equipes, alinhando-se aos princípios de DevOps e FinOps para reduzir custos e melhorar a eficiência

Solução Implementada pela Consultoria: 

  • Implementação de Airflow e Spark Dataproc para orquestração de pipelines
  • Integração com Gitlab e BigQuery para versionamento e armazenamento de dados

03

Benefícios e resultados do nosso serviço

  • Eficiência Operacional

    Melhorou a gestão de pipelines e acelerou a integração de novas equipes

  • Redução de Custos

    Alinhamento com princípios de DevOps e FinOps, reduzindo custos operacionais

04

Tecnologias aplicadas

Utilizamos tecnologias de ponta e plataformas líderes para oferecer soluções inovadoras, seguras e escaláveis.

  • Logo Google BIg Query