Logotipo Rox Partner colorido
  • ROX Partner
    • Sobre Nós
    • Experts
  • Serviços
    • Banco de Dados
      • Consultoria
      • DBA Remoto 24×7
      • Migração
      • Gestão 24×7
      • DOC 24X7
    • Analytics
      • Construção de Datalake
      • Migração de Plataformas
      • Engenharia de Dados
      • Inteligência Artificial
      • DOC 24×7
      • Squads de Analytics
    • Infraestrutura
      • Consultoria
      • Sustentação
      • Virtualização
      • Segurança
      • DOC 24×7
    • Cloud
      • Migração on-premise
      • Cloud Híbrida
      • Cloud Pública
      • Custo Cloud
      • DOC 24×7
  • Soluções
    • Banco de Dados
      • Oracle
      • Microsoft SQL Server
      • IBM DB2
      • MySQL
      • PostGreSQL
      • MongoDB
      • Progress
      • Elastic
      • Apache Solr
      • Apache HBase
      • Apache Cassandra
    • Analytics
      • Hadoop
      • AWS RedShift
      • Azure SQL Datawarehouse
      • Google BigQuery
    • Cloud
      • Microsoft Azure
      • Google Cloud
      • Oracle Cloud
    • Infraestrutura
      • Dell
      • Aruba
      • Oracle Enterprise Linux
      • VMWare
      • VEEAM
      • Fortinet
  • Parcerias
  • Recursos
    • ServiceDesk
    • Rox Mon
    • White Paper
    • Webinar
    • Podcast
  • Blog
Fale com a gente
Logotipo Rox Partner colorido
  • ROX Partner
    • Sobre Nós
    • Experts
  • Serviços
    • Banco de Dados
      • Consultoria
      • DBA Remoto 24×7
      • Migração
      • Gestão 24×7
      • DOC 24X7
    • Analytics
      • Construção de Datalake
      • Migração de Plataformas
      • Engenharia de Dados
      • Inteligência Artificial
      • DOC 24×7
      • Squads de Analytics
    • Infraestrutura
      • Consultoria
      • Sustentação
      • Virtualização
      • Segurança
      • DOC 24×7
    • Cloud
      • Migração on-premise
      • Cloud Híbrida
      • Cloud Pública
      • Custo Cloud
      • DOC 24×7
  • Soluções
    • Banco de Dados
      • Oracle
      • Microsoft SQL Server
      • IBM DB2
      • MySQL
      • PostGreSQL
      • MongoDB
      • Progress
      • Elastic
      • Apache Solr
      • Apache HBase
      • Apache Cassandra
    • Analytics
      • Hadoop
      • AWS RedShift
      • Azure SQL Datawarehouse
      • Google BigQuery
    • Cloud
      • Microsoft Azure
      • Google Cloud
      • Oracle Cloud
    • Infraestrutura
      • Dell
      • Aruba
      • Oracle Enterprise Linux
      • VMWare
      • VEEAM
      • Fortinet
  • Parcerias
  • Recursos
    • ServiceDesk
    • Rox Mon
    • White Paper
    • Webinar
    • Podcast
  • Blog
Fale com a gente
Rox Partner
  • ROX Partner
    • Sobre Nós
    • Experts
  • Serviços
    • Banco de Dados
      • Consultoria
      • DBA Remoto 24×7
      • Migração
      • Gestão 24×7
      • DOC 24X7
    • Analytics
      • Construção de Datalake
      • Migração de Plataformas
      • Engenharia de Dados
      • Inteligência Artificial
      • DOC 24×7
      • Squads de Analytics
    • Infraestrutura
      • Consultoria
      • Sustentação
      • Virtualização
      • Segurança
      • DOC 24×7
    • Cloud
      • Migração on-premise
      • Cloud Híbrida
      • Cloud Pública
      • Custo Cloud
      • DOC 24×7
  • Soluções
    • Banco de Dados
      • Oracle
      • Microsoft SQL Server
      • IBM DB2
      • MySQL
      • PostGreSQL
      • MongoDB
      • Progress
      • Elastic
      • Apache Solr
      • Apache HBase
      • Apache Cassandra
    • Analytics
      • Hadoop
      • AWS RedShift
      • Azure SQL Datawarehouse
      • Google BigQuery
    • Cloud
      • Microsoft Azure
      • Google Cloud
      • Oracle Cloud
    • Infraestrutura
      • Dell
      • Aruba
      • Oracle Enterprise Linux
      • VMWare
      • VEEAM
      • Fortinet
  • Parcerias
  • Recursos
    • ServiceDesk
    • Rox Mon
    • White Paper
    • Webinar
    • Podcast
  • Blog
  • ROX Partner
    • Sobre Nós
    • Experts
  • Serviços
    • Banco de Dados
      • Consultoria
      • DBA Remoto 24×7
      • Migração
      • Gestão 24×7
      • DOC 24X7
    • Analytics
      • Construção de Datalake
      • Migração de Plataformas
      • Engenharia de Dados
      • Inteligência Artificial
      • DOC 24×7
      • Squads de Analytics
    • Infraestrutura
      • Consultoria
      • Sustentação
      • Virtualização
      • Segurança
      • DOC 24×7
    • Cloud
      • Migração on-premise
      • Cloud Híbrida
      • Cloud Pública
      • Custo Cloud
      • DOC 24×7
  • Soluções
    • Banco de Dados
      • Oracle
      • Microsoft SQL Server
      • IBM DB2
      • MySQL
      • PostGreSQL
      • MongoDB
      • Progress
      • Elastic
      • Apache Solr
      • Apache HBase
      • Apache Cassandra
    • Analytics
      • Hadoop
      • AWS RedShift
      • Azure SQL Datawarehouse
      • Google BigQuery
    • Cloud
      • Microsoft Azure
      • Google Cloud
      • Oracle Cloud
    • Infraestrutura
      • Dell
      • Aruba
      • Oracle Enterprise Linux
      • VMWare
      • VEEAM
      • Fortinet
  • Parcerias
  • Recursos
    • ServiceDesk
    • Rox Mon
    • White Paper
    • Webinar
    • Podcast
  • Blog

Category: Cloud

16 de dezembro de 2022
Analyticsappsbanco de dadosCloud

Confira 6 Tecnologias utilizadas na Copa do Mundo do Catar 2022

A cada quatro anos, o mundo inteiro se reúne na festa do futebol. Questões políticas e culturais à parte, a edição da Copa do Mundo do Catar 2022 trouxe novidades incríveis quanto aos sistemas tecnológicos usados tanto no jogo como fora dele. 

E é a respeito deles que vamos abordar neste artigo. Confira!  

Quais as tecnologias utilizadas na Copa do Mundo do Catar 2022?  

 Em cada jogo do mundial estão sendo utilizados os seguintes recursos tecnológicos: 

  • Sensores na bola e trave para detecção de cruzamento da linha de gol; 
  • Um sistema semiautomático de detecção de impedimento; 
  • Novas capacidades do Árbitro Assistente de Vídeo (o famoso VAR);  
  • Um aplicativo de informações em tempo real para o torcedor 
  • Um grande sistema de coleta de dados que permite a geração de gráficos e a análise da partida quase em tempo real. 

Agora, você vai conhecer, em detalhes, 6 das principais tecnologias e inovações que a Copa do Mundo do Catar apresentou neste ano.  

 

Sistema de linha de gol atualizado

O sistema de linha de gol foi implementado na Copa de 2014. São utilizadas 14 câmeras de alta velocidade, sendo 7 para cada gol. Com as imagens de pelo menos 3 dessas câmeras, o sistema pode determinar a posição da bola com precisão, mesmo com a interferência dos jogadores ou do goleiro. Também pode indicar se ocorreu ou não o cruzamento da linha do gol.  Quando a bola cruza a linha do gol, o árbitro do jogo recebe, em um dos seus relógios, um sinal visual e vibratório indicando o gol. 

Além do aviso ao árbitro, o sistema também cria uma animação em 3D da posição da bola em relação com o gol. Na sequência, envia essa informação de forma imediata para as transmissoras de TV e para as telas que estão no estádio.  

Sistema semiautomático de Impedimento

O sistema semiautomático de impedimento é uma ferramenta de suporte para ajudar os árbitros que atuam no sistema de vídeo e os árbitros em campo a tomarem decisões de impedimento mais precisas e rápidas. 

Composto por 12 câmeras de rastreamento montadas sob o teto do estádio, as câmeras estão dedicadas a rastrear a posição da bola e os 29 pontos do corpo de cada um dos jogadores. Isso ocorre 50 vezes por segundo, sendo possível calcular a posição exata do jogador no campo. 

Os 29 pontos de dados coletados incluem ombros, cotovelos, mãos, quadril, joelhos, tornozelos, pés e cabeça de cada jogador, ou seja, todos os membros e extremidades relevantes para a marcação de impedimento.  

Como parte do sistema de detecção, a bola possui um sensor chamado de unidade de medição inercial (IMU). Esse sensor, posicionado no centro da bola, envia os dados do seu movimento para a sala de operações de vídeo, 500 vezes por segundo. Desse modo, permite uma detecção muito precisa do momento em que a bola foi chutada. 

Combinando os dados de rastreamento dos jogadores, e da bola, e com ajuda da inteligência artificial, sempre que ela é recebida por um atacante que estava em posição de impedimento , no momento em que foi chutada por um companheiro da equipe, a nova tecnologia dispara um alerta de impedimento para os árbitros de vídeo. Antes de informar o árbitro em campo, os árbitros de vídeo validam a decisão proposta, verificando, de forma manual, o ponto de chute selecionado e a linha de impedimento, ambos criados automaticamente, com base nas posições calculadas dos membros dos jogadores.  

Depois que a decisão é confirmada pelo árbitro em campo, os mesmos pontos de dados posicionais usados ​​para a tomada de decisão servem para gerar uma animação 3D, que detalha perfeitamente a posição dos membros dos jogadores quando a bola foi chutada. Essa animação 3D é exibida nas telas gigantes do estádio e também é disponibilizada para as transmissoras de TV. 

Sistema de linha de gol e impedimento copa do Catar 2022 

Novas Capacidades no Vídeo Assistant Referee (VAR)

O Árbitro Aassistente de vídeo ou VAR, foi usado pela primeira vez na Copa de 2018 e conta com o acesso às 42 câmeras usadas nas transmissões dos jogos, localizadas ao redor de todo o estádio. A maioria das câmeras são usadas para determinar a intensidade de uma falta, mas existem oito delas que são do tipo super câmera lenta, e quatro do tipo ultra câmera lenta que são usadas, normalmente, para mostrar as faltas com detalhe. 

Além das câmeras da transmissão, o VAR tem acesso às imagens geradas pelo sistema semiautomático de impedimento.  

Na sala de operação de vídeo (Vídeo Operation Room – VOR), uma equipe de quatro árbitros verifica os incidentes do jogo: o Árbitro Assistente de Vídeo (VAR) e três assistentes do VAR (AVAR1, AVAR2 e AVAR3). 

O VAR é responsável por liderar a equipe VAR e se comunicar com o árbitro em campo. Ele é responsável por observar a câmera principal no monitor superior e verificar todos os incidentes.  

O AVAR1 concentra-se na câmera principal e mantém o VAR informado caso algum incidente tenha sido verificado ou revisado. 

O AVAR2 concentra-se no sistema semiautomático de impedimento para acelerar o processo de verificação e revisão do VAR. 

O AVAR3 se concentra na transmissão de TV e auxilia o VAR na avaliação de incidentes. 

O sistema inclui um monitor perto da área técnica, onde o árbitro em campo pode revisar os vídeos enviados pelo VAR e realizar a tomada de decisão. 

A informação do processo de verificação pelo VAR, assim como o motivo da verificação, a etapa da verificação e o resultado são informados automaticamente, tanto ao público nas telas do estádio quanto às emissoras de TV.   

VAR Copa do Catar 2022

 

Football Data Ecosysistem

Durante o jogo, todas as ações no campo são registradas — todos os passes, chutes, substituições, decisões dos árbitros, ataques, defesas, faltas, aceleração, distância percorrida. 

O processamento de dados, ao vivo, permite garantir a maior qualidade e riqueza de dados possíveis em apenas alguns segundos, a partir do momento em que a ação ocorre no campo de jogo. Para isso, o processo de coleta de dados é dividido em várias etapas operacionais, criando diferentes camadas de dados.  

Analistas experientes, conhecidos como “speakers” ou locutores, estão no estádio e concentram toda a sua atenção no que está acontecendo no campo de jogo e passam essas informações para uma pessoa conhecida como “escritor”, que insere as informações no sistema.  

Além do locutor e do escritor, até dois observadores ao vivo são usados ​​para verificar os dados e coletar uma segunda camada de dados com informações adicionais. Enquanto as informações mais importantes e relevantes são captadas diretamente pelo locutor, os dois observadores, ao vivo, agregam valor a esses eventos no mais alto nível de coleta de dados.  

Para coletar os dados posicionais (coordenadas X e Y) de todos os jogadores, dos árbitros e da bola, o sistema de rastreamento óptico captura a posição do jogador várias vezes por segundo. Esses dados não apenas refletem a posição do jogador, mas também podem ser usados ​​para calcular velocidade, distância e direção do jogo. Essas métricas permitem que os analistas esportivos tenham insights mais profundos e consigam otimizar o desempenho físico dos jogadores e o desempenho tático da equipe. 

Os dados coletados são disponibilizados às equipes participantes, aos treinadores, aos jogadores e a mídia envolvida na Copa do Mundo, numa plataforma dedicada para análise de dados e vídeos.  

Football Ecosystem catar 2022

 Fifa Player App

O FIFA Player App permite que cada um dos jogadores acesse seus dados individuais de desempenho logo após cada partida. Os dados coletados incluem: 

Métricas de desempenho físico – coletadas pelo sistema de câmeras de rastreamento localizadas ao redor do estádio. As métricas incluem distância percorrida em vários limites de velocidade, número de ações acima de 25 km/h e velocidade máxima, tudo exibido em mapas de calor posicionais. 

Métricas de dados de futebol – são calculadas usando os dados de eventos capturados por uma equipe de analistas de desempenho de futebol da FIFA e combinados com dados de rastreamento dos jogadores, incluem eventos como lances de ataque, defesa, passes etc. 

Esses dados são sincronizados com as imagens da partida para permitir que os jogadores assistam a todos os momentos-chave de seu próprio desempenho com máximo detalhe, usando diferentes ângulos de câmera. 

Além disso, várias fotografias de ação são registradas durante os principais momentos de cada partida e disponibilizadas para cada jogador individualmente. 

fifa app catar 2022

Al Rihla: A bola mais tecnológica do mundo

A bola oficial da copa, a Al Rihla (A jornada, em português), possui dentro dela um dispositivo que pesa 14 gramas e que contém 2 sensores diferentes que operam simultaneamente:  

Um sensor de banda ultralarga (UWB): um tipo de tecnologia superior ao GPS ou bluetooth para dados posicionais precisos, além de poder transmitir dados em tempo real para rastrear constantemente a posição da bola. 

Uma unidade de medição inercial (IMU): um sensor com 9 eixos, giroscópio e acelerômetro, destinado a detectar movimentos sutis da bola no espaço. 

A bola transmite os dados dos sensores 400 vezes por segundo a um sistema de posicionamento local (Local Positioning System – LPS) conformado por 24 antenas ao redor do campo. Mediante triangulação, o sistema permite estabelecer a posição da bola dentro do campo com precisão menor a 10 cm. 

Com a informação transmitida, o sistema calcula métricas como velocidade da bola, longitude do passe, força do chute etc. e reconhece também, se é um toque, um passe ou um chute ao gol. 

Todos os dados capturados pelo sistema de posicionamento da bola e as métricas geradas a partir deles, são integrados ao ecossistema de dados da FIFA.  

Os dados estão presentes em todo lugar, e na copa do mundo não é diferente. É necessária uma infraestrutura robusta e eficiente para coletar e analisar toda a informação gerada em cada um dos jogos.  

a bola mais tecnologica do mundo

 

Mais sobre a Copa do Catar 2022

O Catar é um pequeno país localizado na península Arábica, Doha. Nasceu como um pequeno povoado de pescadores que se dedicavam ao cultivo de pérolas e a extração de tintas para tecidos a partir de caracóis marinhos. Hoje, o Catar é um dos países mais poderosos e ricos do mundo, graças à exportação de gás natural. 

Mas, viver no Catar não é simples. As temperaturas ultrapassam 40°C no verão, fazendo com que a Copa fosse alterada para o final do ano de 2022, quando as temperaturas normalmente desérticas são mais amenas. Dentre as inovações desta edição, destacam-se, também, as tecnologias implementadas na construção dos estádios. A principal delas foi, sem dúvida, o sistema de ventilação dos estádios.  

 

Tecnologia aplicada em megaeventos e também no seu negócio: Conheça a Rox Partner 

Já imaginou ter todos os dados da sua empresa em um quadro de fácil visualização, ou contar com relatórios inteligentes sobre cada ação feita pelo seu cliente? Ainda mais, poder controlar os seus equipamentos de forma remota e precisa? 

A Rox Partner possui um time focado em Analytics e Inteligência Artificial e está pronto para atender as demandas do seu negócio, seja ela de monitoramento, de controle ou de correção nos processos. Invista em IA, e descubra como podemos transformar a sua empresa por meio de dados. Fale com nossos especialistas!  

Learn More

Edgar Bermudez
27 de outubro de 2022
banco de dadosCloud

Ambiente Multi-cloud: O que é e por que precisamos de vários ambientes em nuvem?

Adam Ronthal, analista de gerenciamento de dados, comentou no evento do Gartner, ocorrido neste ano na Flórida, que: “A base de dados e análises é a nuvem!”

“Os negócios digitais exigem um sistema totalmente configurável.”

Mas o que é um ambiente Multi-cloud?

Quando se utiliza mais que uma plataforma de nuvem (duas ou mais plataformas públicas), cada uma com uma aplicação ou serviço específico, temos um ambiente Multi-cloud.

Esse ambiente pode ser composto de nuvens públicas, privadas ou edge computer. Conforme as necessidades da empresa, são combinadas operações locais com aplicações e serviços realizados em diversos provedores de nuvem pública.

Quais são os tipos e as diferenças entre as clouds?

Cloud Privada

Cloud (nuvem) privada é um tipo de arquitetura de computação em nuvem local. Essas nuvens, geralmente, são dedicadas a um grupo ou a um usuário, fazendo com que seja personalizável e seguro, porém o custo inicial acaba sendo mais alto.

As nuvens privadas são construídas e usadas exclusivamente por apenas uma única empresa, fornecendo processamento virtual adicional e recursos de armazenamento.

Cloud Pública

Com a cloud pública, os serviços são realizados por meio de um provedor terceirizado (como AWS da Amazon, GCP da Google, AZURE da Microsoft, Huawei Cloud etc.), com recursos altamente escaláveis e flexíveis, atendendo várias empresas/organizações simultaneamente.

Para a nuvem pública, o custo possui uma taxa previamente combinada e todos os recursos ou armazenamentos são gerenciados e protegidos pelo servidor.

As principais vantagens são a escalabilidade, disponibilidade e personalização sob demanda.

Nuvem híbrida

É um subconjunto de Multi-cloud, combinando especificamente um modelo de nuvem privada e pública.

Edge Computer

Traduzido como computação de borda, refere-se a manter, processar e analisar os dados na localidade onde estão. Isso faz com que se tenha alta escalabilidade, quase em tempo real, para análises e respostas. É um padrão de computação distribuída onde aproxima a computação e o armazenamento dos dados de sua fonte. A ideia é que, com essa proximidade, tenha-se respostas mais rápidas e uma economia em largura de banda. É considerada uma arquitetura e não uma tecnologia específica.

Multi-cloud e Nuvem Híbrida: não são iguais?

Apesar do conceito de ambos ser semelhante, não são iguais. No conceito literal, nuvem híbrida também é um modelo Multi-cloud. Porém, o contrário nem sempre se aplica. Uma Multi-cloud pode ser composta por um sistema híbrido (com informações em privada e pública) que se comunica, podem ser compostas de um sistema onde exista nuvens individuais que não se conversam. A diferença primordial é que, em uma implementação Multi-cloud, geralmente existirão duas ou mais nuvens públicas, o que não ocorre em uma implementação de nuvem híbrida.

A arquitetura de Multi-cloud oferece acesso a vários modelos de serviço. Já a nuvem híbrida permite que os operadores realizem uma única tarefa utilizando recursos de apenas duas nuvens distintas. 

Em 2018, Gartner previu que 70% das empresas implementariam uma estratégia Multi-cloud até o final de 2019. Esse número aumentou consideravelmente, já que ocorreu uma grande conscientização na sua utilização, aumento da variedade de provedores em nuvem, maior concorrência e variedade de ferramentas.

Quais são as vantagens em se utilizar ambiente Multi-cloud?

A ideia é procurar obter vantagem competitiva na economia digital moderna. Além disso, facilitar migrações, ter agilidade e a visibilidade necessária para garantir um gerenciamento contínuo de inventário, segurança, migração e mudanças.

Alguns pontos importantes a serem considerados para estar presente em várias nuvens diferentes:

Mobilidade, flexibilidade e escalabilidade

Não estar engessado a um único provedor facilita a mudança de uma nuvem para outra, provê a melhor estabilidade e oportunidade de negociações sobre custos. Possibilita, também, o melhor aproveitamento de cada provedor e liberdade para migração. É possível utilizar armazenamento sob demanda, para isso é importante que os servidores trabalhem juntos, permitindo que seja possível investir em qualquer nível de capacidade, segurança e proteção com base nas necessidades de cada segmento de dados. Isso evita danos e perdas de dados ou tempo de inatividade por falha de componente. Proporciona alta escalabilidade, pela possibilidade de escolha para qual região de data center de provedores de IaaS, será provisionado o projeto.

Adequação

Para cada atividade, é possível verificar o tipo de custo que cada provedor disponibiliza, podendo adequar uma atividade específica ao provedor que possui melhor tarifa. Também é possível utilizar a estratégia de Multi-cloud para cada tarefa individualmente. Isso faz com que os times de TI, administradores e de negócios alinhem-se com o provedor que melhor atenda cada atividade.

Quais são os desafios em se utilizar Multi-cloud?

Diferentes ferramentas e falta de capacitação.

Qualquer tipo de migração exige uma nova capacitação. Quando existe uma mudança de processos e procedimentos, como uma migração para Multi-cloud, é necessário que os profissionais tenham que aprender técnicas a serem aplicadas em várias nuvens. Podem ser ferramentas caras e criar diversos módulos de armazenamento, adicionando mais complexidade a uma infraestrutura já complexa.

 

Compartilhamento de dados e segurança

É possível encontrar dificuldades em sincronização e compartilhamento de dados, apresentar maturidade diferente de provedores e problemas com diferenças de API. Também é imprescindível que a segurança seja constantemente analisada para acompanhar as mudanças de software e infraestrutura.

Porém, quanto à segurança, esta não deve ser mais vista como uma barreira para a adoção de serviços em Multi-cloud. Na nuvem pública, existe uma infraestrutura programática de IaaS (IaaS – Infrastructure as a Service) que coloca a segurança como uma responsabilidade compartilhada. Isso quer dizer que o provedor da nuvem se responsabiliza pela segurança “da nuvem” e o usuário fica responsável pela segurança “na nuvem”. Para garantir a conformidade na nuvem e eliminar o máximo de erro humano, que geralmente é o responsável por facilitar os ataques cibernéticos, é interessante que todo o processo seja automatizado se possível.

Quando devo realizar a migração para uma Multi-cloud?

Essa decisão depende de muitos fatores e discussões. Envolve diversos tipos de áreas, pessoas e existem muitos pontos de vista e interesses diferentes. Ao migrar para a nuvem pública, as organizações devem explorar suas opções em termos de Software como Serviço (SaaS – Software as a Service), Plataforma como Serviço (PaaS – Platform as a Service) e infraestrutura como Serviço (IaaS – Infrastructure as a Service). A organização deve entender as diferenças entre as opções, incluindo recursos técnicos, financeiros e operacionais.

Vença seus maiores desafios empresariais com uma combinação de nossas soluções em Cloud

A Rox Partner é uma empresa de soluções em dados com experiência em migração, construções de ambientes e muitos outros serviços de cloud.

Entre em contato com a gente e descubra como as nossas soluções podem ajudar o seu negócio.

Learn More

Thais Naberezny
10 de dezembro de 2021
banco de dadosCloud

Conheça o Delta Lake

O mundo de dados está em constante evolução e, por vezes, alguns conceitos já estabelecidos – como por exemplo, o armazenamento em nuvem e Data Warehouses – precisam ser revistos com a chegada de novas tecnologias. O Delta Lake é exatamente um desses casos. Mas, afinal, o que é o Data Lake e quais são suas vantagens? Confira essas informações e muito mais neste artigo! 

 

O que é Delta Lake?

Criado pelo time da Databricks, Delta Lake é um projeto opensource para armazenamento de arquivos, baseado no formato delta, persistidos no HDFS ou em Data Lakes (AWS, Azure, GCP), utilizando o Spark como motor de transformação e persistência. Esse formato trará algumas vantagens que veremos a seguir no artigo, como transações ACID e versionamento dos dados. 

 

Como funciona o Armazenamento no

Delta Lake?

Embora à primeira vista o “delta” se pareça um novo formato de armazenamento, de fato, ele nada mais é do que uma mescla de armazenamento físico em Parquet (compressão Snappy) -que é um formato colunar muito utilizado no mundo dos dados – junto à uma camada adicional de metadados/logs transacionais. Aqui cabem duas observações importantes: 

  1. Os metadados/logs são persistidos no mesmo diretório da tabela Delta que está sendo manipulada, portanto não é necessário nenhuma infraestrutura adicional para armazenar esses arquivos. Abaixo vemos um exemplo da estrutura do diretório de uma tabela chamada my_table, particionada pelo campo date:
  2.  Essa camada de logs (_delta_log) irá registrar todas as alterações realizadas na tabela, salvando o histórico de transformações em arquivos json/parquet e mantendo sempre a versão mais recente das alterações como padrão, porém permitindo acessar versões anteriores da tabela também.Com base nesses arquivos que o Delta nos permite viajar no tempo, pois nos permite acessar versões antigas da tabela para consultar ou até restaurar a tabela inteira para uma versão anterior.

Quais as Vantagens do Delta Lake?

Listamos aqui algumas grandes vantagens que o Delta Lake nos traz:

  • Transações ACID (atomicidade, consistência, isolamento e durabilidade) para as tabelas
  • Escalabilidade: por se utilizar de Data Lakes nativos da Cloud, ela permite escalabilidade de petabytes
  • Viagem no tempo e auditoria dos registros: possível ver versões antigas da tabela e também os registros da sessão que  a modificou
  • Reforço e evolução dos schemas da tabela
  • Suporte à operações de Updates, Merges e Deletes
  • Funciona tanto para jobs batch quanto para streaming
  • Estratégia eficaz para múltiplas leituras e escritas concorrentes nas tabelas Delta 
  • APIs de fácil acesso, podendo ser utilizado em Python, SQL ou Scala por meio do Spark
  • Permite remover arquivos antigos com o comando VACUUM

Utilização do Delta Lake

A utilização do formato delta é bem simples e está disponível por meio das APIs do Spark em Python (Pyspark), SQL e Scala. Abaixo alguns exemplos simples de como é possível utilizar o formato com SQL:

  • Criar tabela
CREATE TABLE tabela
date DATE
id INTEGER)
USING DELTA
PARTITION BY date
LOCATION "/delta"
  • Ver detalhes da tabela
DESCRIBE DETAIL tabela;
  • Ver histórico da tabela (últimas 5 versões)
DESCRIBE HISTORY tabela LIMIT 5;
  • Apagar versões históricas da tabela (maiores de 200 horas)
VACUUM tabela RETAIN 200 hours
  • Viajando no tempo (versão antiga número 4)
SELECT * FROM tabela VERSION AS OF 4
  • Operações DML

São permitidos comandos INSERT, UPDATE, MERGE e DELETE   Todas as possibilidades de Delta Lake para os times de dados!  Conforme visto, a tecnologia do Delta Lake e seu formato delta trazem inúmeros benefícios para os times de dados que já fazem utilização do Spark ou que gostariam de começar a utilizá-lo. Embora tenha sido desenvolvido pelo Databricks, o Delta Lake é open source e pode ser utilizado em diversos outros tipos de aplicações Spark como o EMR (AWS), Dataproc (Google Cloud), Kubernetes e On-premises.  A possibilidade de ter tabelas ACID em seu Delta Lake permitiu a criação de um novo conceito no mundo de dados, o Data Lakehouse, que se propõe a ser a fusão do Data Lake com o tradicional Data Warehouse (que será tema de um próximo artigo, fique ligado!).  Esperamos que esse artigo tenha ajudado a entender melhor os conceitos do Delta Lake e como ele pode ajudá-lo em seus projetos. Caso tenha interesse em implementar um projeto ou saber mais, entre em contato com nossos Roxperts , ficaremos felizes em ajudá-lo!

Learn More

Rox Partner
23 de março de 2021
Analyticsbanco de dadosCloudInfraestrutura

A Jornada Data Driven e como aplicá-la a sua empresa

Vivemos em uma época em que, com o avanço rápido da tecnologia de um modo geral – e especialmente da tecnologia de coleta de dados -, muito se fala sobre o uso de dados por parte dos mais diversos tipos de empresas. Todos os dias aparecem novas informações, reportagens, eventos e pesquisas sobre esse tema; às vezes, é tanta coisa que fica difícil de acompanhar. Você provavelmente já ouviu falar sobre a importância do uso de dados para o desenvolvimento do seu negócio, mas pode ser que não tenha nem ideia de como começar a utilizá-los como uma ferramenta para o sucesso da tomada de decisões e desenvolvimento de novas estratégias. Para compreender o valor da inteligência de dados, primeiro, é preciso compreender o valor que essas informações podem agregar.

 

Por que dados são tão importantes?

Ainda há pouco tempo, a tomada de decisões de negócios nas empresas era muito mais realizada pelo feeling, pelo achismo. Confiar no achismo pura e simplesmente, mesmo tendo um montante de informações disponíveis, faz com que as resoluções de quaisquer questões sejam realizadas de maneira ineficiente; resultando em tomadas de decisões importantes baseadas em dados imprecisos. As coisas mudaram quando concluiu-se que os dados conseguem dar respostas muito mais precisas para os problemas que a empresa pode ter com seus produtos, atendimento e estratégia, indicando possíveis rumos a serem seguidos. Se muito bem trabalhados e interpretados, os dados conseguem trazer valor para qualquer organização, independente do segmento e porte.

O trabalho de análise, qualificação e seleção  dos dados extraídos pela sua empresa pode fazê-lo encontrar a informação que você precisa para solucionar um problema em seus mais diversos aspectos. Por exemplo, por meio da interação dos clientes por redes como o WhatsApp, LinkedIn, Instagram ou qualquer outro meio de comunicação, é possível aplicar técnicas de mineração de dados; melhorando assim produtos, serviços e, consequentemente, a experiência do cliente. “Por isso que os dados são tão valiosos, principalmente quando respondem perguntas de negócios”, afirmou o Roxpert, Romerito Morais, engenheiro de dados e análise.

 

A Cultura Data Driven

De forma sucinta, a Cultura Data Driven é quando uma empresa incorpora o uso de dados para realizar tomadas de decisões em seus negócios. Baseia-se em uma longa jornada, desde a compreensão do seu negócio, captura dos dados, sua aquisição, integração, aperfeiçoamento e análise completa por parte das mais diversas áreas da empresa. Trata-se de um extenso processo  de transformação cultural de qualquer organização, para que os dados obtidos no dia a dia sejam convertidos  em informações de alta relevância e utilizados estrategicamente. Dessa forma, todas as divisões da sua empresa conseguirão responder às perguntas e tomar as melhores decisões.

Porém, para que a Jornada Data Driven possa agregar os resultados esperados, é preciso compreender suas necessidades para traçar objetivos a serem atingidos e, quando falamos de empresas, inevitavelmente estamos falando de compreender pessoas, processos e tecnologia. É preciso haver um investimento massivo em cada setor para que as pessoas recebam treinamento especializado para saberem lidar com dados em seus mais diferentes aspectos.
Saber identificar esses pontos de melhoria e encontrar as respostas por meio do big data analytics pode ser um grande desafio, devido ao enorme montante de informações que são produzidas diariamente por meio dos mais diversos canais. Portanto, contratar mão de obra especializada o suficiente para extrair os insights necessários é uma operação demorada e de alto custo. Em contrapartida, fazer com que uma ou mais pessoas inexperientes efetuem todo o trabalho de coleta, armazenamento e análise sem ter conhecimento a fundo de processamento de dados, controle de qualidade e business pode levar a empresa a ter prejuízos irreversíveis.

 

 

E é aí que a Rox entra!

A Rox Partner tem como propósito transformar todos os dados das empresas em ativos. Para isso, é garantida a construção de arquiteturas em nuvem ou on-premises com  governança de dados, para que todo o processo de engenharia e ciência de dados sejam suportados. O processo da Jornada Data Driven da Rox é 100% realizado por  especialistas em Big Data e Analytics, divididos em diversas equipes de trabalho específico, para que seus dados sejam perfeitamente transformados nas informações que seu negócio precisa.
De acordo com o Roxpert Romerito Morais, o processo consiste, primeiramente, em um trabalho de investigação. “Estamos sempre falando muito de dados, mas geralmente o maior problema das empresas não é a ausência de dados. O problema é  que esses dados estão todos espalhados pela empresa, sejam em planilhas eletrônicas, ERPs, CRMs, sistemas de e-commerce etc.”, explica. “Por isso, mapeamos os processos, identificamos as métricas de avaliação, quais os principais problemas que ela tem enfrentado e o que ela espera como resultado”.

Após todo o mapeamento dos negócios, é iniciado o trabalho de mapeamento das fontes de dados, conversa com pessoas chave de dentro da organização e definição de quem será o responsável pelo projeto. A equipe de engenharia de dados vai coletar os dados mapeados de todos os locais em que a empresa os consome e os mesmos serão armazenados em data lakes. Então, estes dados são submetidos a um rigoroso processo de controle de qualidade, em que são filtrados, enriquecidos, refinados e catalogados.
Após esse controle, os dados são armazenados em data warehouse e separados por data marts que, por sua vez, são dados organizados pelos setores da empresa na qual vão ser usados para responder às perguntas em questão. Substancialmente, a Rox se dispõe a realizar todo o processo da jornada: aquisição e transformação dos dados até deixá-los ideais para que o cliente possa tomar decisões e encontrar as melhores soluções.

 

Fique por dentro das notícias por meio das nossas redes sociais:

 

 

Learn More

Rox Partner
Posts recentes
  • Alfabetização de Dados: A importância do Data Literacy para sua empresa
  • Confira 6 Tecnologias utilizadas na Copa do Mundo do Catar 2022
  • Privacidade e Anonimato em Cidades Inteligentes
  • Ambiente Multi-cloud: O que é e por que precisamos de vários ambientes em nuvem?
  • Rox Partner e Conta Simples, uma parceria que deu sucesso! Confira esse case de Analytics
Soluções

Categorias
  • Analytics (5)
  • apps (1)
  • banco de dados (21)
  • blog (1)
  • business (2)
  • Cloud (4)
  • Infraestrutura (4)
  • Privacidade (1)
Tags
app Armazenamento de arquivos backup diferencial backup full backup log banco de dados bigdata cloud database data driven data engineering Delta Lake DML engenharia de dados etl ingestion mobile monitoramento mydumper nifi optane retenção script Spark SQL sqlserver sql server Storage Engine streamsets wallet

White Papers

Baixe Aqui
Localização
Av. Dr. Chucri Zaidan, 1550
Conjunto 2105
CEP 04711-130
São Paulo - Brasil
Contato
   contato@roxpartner.com
   +55 11 4040-8250
Newsletter

    Copyright © 2022 ROX Partners by lab212. All Rights Reserved

    #softlab_soc_icon_wrap_63d52c9f57178 a{ background: #fcb813; border-color: #fcb813; }#softlab_soc_icon_wrap_63d52c9f57178 a:hover{ background: #57a5be; border-color: #57a5be; }.softlab_module_social #soc_icon_63d52c9f571bf1{ color: #ffffff; }.softlab_module_social #soc_icon_63d52c9f571bf1:hover{ color: #ffffff; }.softlab_module_social #soc_icon_63d52c9f571bf1{ background: #fcb813; }.softlab_module_social #soc_icon_63d52c9f571bf1:hover{ background: #57a5be; }.softlab_module_social #soc_icon_63d52c9f571e02{ color: #ffffff; }.softlab_module_social #soc_icon_63d52c9f571e02:hover{ color: #ffffff; }.softlab_module_social #soc_icon_63d52c9f571e02{ background: #fcb813; }.softlab_module_social #soc_icon_63d52c9f571e02:hover{ background: #57a5be; }.softlab_module_social #soc_icon_63d52c9f571f23{ color: #ffffff; }.softlab_module_social #soc_icon_63d52c9f571f23:hover{ color: #ffffff; }.softlab_module_social #soc_icon_63d52c9f571f23{ background: #fcb813; }.softlab_module_social #soc_icon_63d52c9f571f23:hover{ background: #57a5be; }.softlab_module_social #soc_icon_63d52c9f572024{ color: #ffffff; }.softlab_module_social #soc_icon_63d52c9f572024:hover{ color: #ffffff; }.softlab_module_social #soc_icon_63d52c9f572024{ background: #fcb813; }.softlab_module_social #soc_icon_63d52c9f572024:hover{ background: #57a5be; }@media only screen and (max-width: 768px){ #softlab_spacer_63d52c9f57c58 .spacing_size{ display: none; } #softlab_spacer_63d52c9f57c58 .spacing_size-tablet{ display: block; } }@media only screen and (max-width: 480px){ #softlab_spacer_63d52c9f57c58 .spacing_size{ display: none; } #softlab_spacer_63d52c9f57c58 .spacing_size-mobile{ display: block; } }
    Usamos cookies em nosso site para oferecer uma experiência mais relevante, lembrando suas preferências e visitas repetidas. Ao clicar em “Aceitar Tudo”, você concorda com o uso de TODOS os cookies. No entanto, você pode acessar as "Configurações de Cookies" para fornecer um consentimento controlado. Para mais detalhes acesse nossa Política de Privacidade.
    CONFIGURAÇÕES DE COOKIESACEITAR TODOS
    Política de Privacidade & Cookies

    Privacidade & Cookies

    Este site usa cookies para melhorar sua experiência de navegação. Destes, os cookies categorizados como Necessários são armazenados no seu navegador, pois são essenciais para o funcionamento de funções básicas do site. Também usamos cookies de terceiros que nos ajudam a analisar e entender como você usa este site e esses cookies serão armazenados no seu navegador apenas com o seu consentimento. Você também tem a opção de desativar esses cookies, mas a desativação de alguns deles pode afetar sua experiência de navegação.
    Necessário
    Sempre ativado
    Os cookies necessários são absolutamente essenciais para o bom funcionamento do site. Esses cookies garantem funcionalidades básicas e recursos de segurança do site, anonimamente.
    CookieDuraçãoDescrição
    _GRECAPTCHA5 meses e 27 diasEste cookie é definido pelo serviço de recaptcha do Google para identificar bots para proteger o site contra ataques de spam maliciosos.
    cookielawinfo-checkbox-advertisement1 anoEste cookie é usado para registrar o consentimento do usuário para os cookies na categoria "Anúncio", caso existam.
    cookielawinfo-checkbox-analytics11 mesesEste cookie é usado para armazenar o consentimento do usuário para os cookies na categoria "Analytics", caso existam.
    cookielawinfo-checkbox-functional11 mesesEste cookie é usado para armazenar o consentimento do usuário para os cookies na categoria "Funcionais", caso existam.
    cookielawinfo-checkbox-necessary11 mesesEste cookie é usado para armazenar o consentimento do usuário para os cookies na categoria "Necessário", caso existam.
    cookielawinfo-checkbox-others11 mesesEste cookie é usado para armazenar o consentimento do usuário para os cookies na categoria "Outros", caso existam.
    cookielawinfo-checkbox-performance11 mesesEste cookie é usado para armazenar o consentimento do usuário para os cookies na categoria "Performance", caso existam.
    viewed_cookie_policy11 mesesO cookie é usado para armazenar se o usuário consentiu ou não o uso de cookies. Ele não armazena nenhum dado pessoal.
    Analytics
    Os cookies analíticos são usados para entender como os visitantes interagem com o site. Esses cookies ajudam a fornecer informações sobre métricas de número de visitantes, taxa de rejeição, origem de tráfego, etc.
    CookieDuraçãoDescrição
    _ga2 anosO cookie _ga, instalado pelo Google Analytics, armazena informações anonimamente e atribui um número gerado aleatoriamente para reconhecer visitantes únicos.
    _ga_4RLBM0693H2 anosEste cookie é instalado pelo Google Analytics.
    _gat_gtag_UA_172713136_11 minutoDefinido pelo Google para distinguir usuários.
    _gid1 diaInstalado pelo Google Analytics, o cookie _gid armazena informações sobre como os visitantes usam um site, além de criar um relatório de análise de desempenho. Alguns dos dados coletados incluem o número de visitantes, sua fonte e as páginas que eles visitam anonimamente.
    _rdtrk9 anos 10 meses 14 dias 11 horas e 3 minutosUtilizado pelo RD Station para manter uma lista de todas as páginas que um visitante acessou dentro do domínio.
    CONSENTIMENTO2 anosO YouTube define esse cookie por meio de vídeos do youtube incorporados e registra dados estatísticos anônimos.
    rdtrk1 anoUtilizado pelo RD Station para manter uma lista de todas as páginas que um visitante acessou dentro do domínio.
    UID2 anosA Scorecard Research define esse cookie para pesquisa de comportamento do navegador.
    Anúncio
    Os cookies de publicidade são usados para fornecer aos visitantes anúncios e campanhas de marketing relevantes. Esses cookies coletam informações para fornecer anúncios personalizados.
    CookieDuraçãoDescrição
    VISITOR_INFO1_LIVE5 meses e 27 diasUm cookie definido pelo YouTube para medir a largura de banda que determina se o usuário obtém a interface do player nova ou antiga.
    YSCsessãoO cookie YSC é definido pelo Youtube e é usado para rastrear as visualizações de vídeos incorporados nas páginas do Youtube.
    yt-remote-connected-devicesnão expiraO YouTube define esse cookie para armazenar as preferências de vídeo do usuário usando o vídeo incorporado do YouTube.
    yt-remote-device-idnão expiraO YouTube define esse cookie para armazenar as preferências de vídeo do usuário usando o vídeo incorporado do YouTube.
    Outros
    São cookies não categorizados, aqueles que estão sendo analisados e ainda não foram classificados em uma categoria específica.
    CookieDuraçãoDescrição
    __trf.src1 anoUtilizado pelo RD Station, esse cookie guarda a referência da origem da visita do usuário ao site.
    SALVAR E ACEITAR
    Desenvolvido por CookieYes Logo
    Preencha os campos abaixo para realizar o download