Adam Ronthal, analista de gerenciamento de dados, comentou no evento do Gartner, ocorrido neste ano na Flórida, que: “A base de dados e análises é a nuvem!”

“Os negócios digitais exigem um sistema totalmente configurável.”

Quando se utiliza mais que uma plataforma de nuvem (duas ou mais plataformas públicas), cada uma com uma aplicação ou serviço específico, temos um ambiente Multi-cloud.

Esse ambiente pode ser composto de nuvens públicas, privadas ou edge computer. Conforme as necessidades da empresa, são combinadas operações locais com aplicações e serviços realizados em diversos provedores de nuvem pública.

Cloud Privada

Cloud (nuvem) privada é um tipo de arquitetura de computação em nuvem local. Essas nuvens, geralmente, são dedicadas a um grupo ou a um usuário, fazendo com que seja personalizável e seguro, porém o custo inicial acaba sendo mais alto.

As nuvens privadas são construídas e usadas exclusivamente por apenas uma única empresa, fornecendo processamento virtual adicional e recursos de armazenamento.

Cloud Pública

Com a cloud pública, os serviços são realizados por meio de um provedor terceirizado (como AWS da Amazon, GCP da Google, AZURE da Microsoft, Huawei Cloud etc.), com recursos altamente escaláveis e flexíveis, atendendo várias empresas/organizações simultaneamente.

Para a nuvem pública, o custo possui uma taxa previamente combinada e todos os recursos ou armazenamentos são gerenciados e protegidos pelo servidor.

As principais vantagens são a escalabilidade, disponibilidade e personalização sob demanda.

Nuvem híbrida

É um subconjunto de Multi-cloud, combinando especificamente um modelo de nuvem privada e pública.

Edge Computer

Traduzido como computação de borda, refere-se a manter, processar e analisar os dados na localidade onde estão. Isso faz com que se tenha alta escalabilidade, quase em tempo real, para análises e respostas. É um padrão de computação distribuída onde aproxima a computação e o armazenamento dos dados de sua fonte. A ideia é que, com essa proximidade, tenha-se respostas mais rápidas e uma economia em largura de banda. É considerada uma arquitetura e não uma tecnologia específica.

Apesar do conceito de ambos ser semelhante, não são iguais. No conceito literal, nuvem híbrida também é um modelo Multi-cloud. Porém, o contrário nem sempre se aplica. Uma Multi-cloud pode ser composta por um sistema híbrido (com informações em privada e pública) que se comunica, podem ser compostas de um sistema onde exista nuvens individuais que não se conversam. A diferença primordial é que, em uma implementação Multi-cloud, geralmente existirão duas ou mais nuvens públicas, o que não ocorre em uma implementação de nuvem híbrida.

A arquitetura de Multi-cloud oferece acesso a vários modelos de serviço. Já a nuvem híbrida permite que os operadores realizem uma única tarefa utilizando recursos de apenas duas nuvens distintas. 

Em 2018, Gartner previu que 70% das empresas implementariam uma estratégia Multi-cloud até o final de 2019. Esse número aumentou consideravelmente, já que ocorreu uma grande conscientização na sua utilização, aumento da variedade de provedores em nuvem, maior concorrência e variedade de ferramentas.

A ideia é procurar obter vantagem competitiva na economia digital moderna. Além disso, facilitar migrações, ter agilidade e a visibilidade necessária para garantir um gerenciamento contínuo de inventário, segurança, migração e mudanças.

Alguns pontos importantes a serem considerados para estar presente em várias nuvens diferentes:

Mobilidade, flexibilidade e escalabilidade

Não estar engessado a um único provedor facilita a mudança de uma nuvem para outra, provê a melhor estabilidade e oportunidade de negociações sobre custos. Possibilita, também, o melhor aproveitamento de cada provedor e liberdade para migração. É possível utilizar armazenamento sob demanda, para isso é importante que os servidores trabalhem juntos, permitindo que seja possível investir em qualquer nível de capacidade, segurança e proteção com base nas necessidades de cada segmento de dados. Isso evita danos e perdas de dados ou tempo de inatividade por falha de componente. Proporciona alta escalabilidade, pela possibilidade de escolha para qual região de data center de provedores de IaaS, será provisionado o projeto.

Adequação

Para cada atividade, é possível verificar o tipo de custo que cada provedor disponibiliza, podendo adequar uma atividade específica ao provedor que possui melhor tarifa. Também é possível utilizar a estratégia de Multi-cloud para cada tarefa individualmente. Isso faz com que os times de TI, administradores e de negócios alinhem-se com o provedor que melhor atenda cada atividade.

Diferentes ferramentas e falta de capacitação.

Qualquer tipo de migração exige uma nova capacitação. Quando existe uma mudança de processos e procedimentos, como uma migração para Multi-cloud, é necessário que os profissionais tenham que aprender técnicas a serem aplicadas em várias nuvens. Podem ser ferramentas caras e criar diversos módulos de armazenamento, adicionando mais complexidade a uma infraestrutura já complexa.

Compartilhamento de dados e segurança

É possível encontrar dificuldades em sincronização e compartilhamento de dados, apresentar maturidade diferente de provedores e problemas com diferenças de API. Também é imprescindível que a segurança seja constantemente analisada para acompanhar as mudanças de software e infraestrutura.

Porém, quanto à segurança, esta não deve ser mais vista como uma barreira para a adoção de serviços em Multi-cloud. Na nuvem pública, existe uma infraestrutura programática de IaaS (IaaS – Infrastructure as a Service) que coloca a segurança como uma responsabilidade compartilhada. Isso quer dizer que o provedor da nuvem se responsabiliza pela segurança “da nuvem” e o usuário fica responsável pela segurança “na nuvem”. Para garantir a conformidade na nuvem e eliminar o máximo de erro humano, que geralmente é o responsável por facilitar os ataques cibernéticos, é interessante que todo o processo seja automatizado se possível.

Essa decisão depende de muitos fatores e discussões. Envolve diversos tipos de áreas, pessoas e existem muitos pontos de vista e interesses diferentes. Ao migrar para a nuvem pública, as organizações devem explorar suas opções em termos de Software como Serviço (SaaS – Software as a Service), Plataforma como Serviço (PaaS – Platform as a Service) e infraestrutura como Serviço (IaaS – Infrastructure as a Service). A organização deve entender as diferenças entre as opções, incluindo recursos técnicos, financeiros e operacionais.

A Rox Partner é uma empresa de soluções em dados com experiência em migração, construções de ambientes e muitos outros serviços de cloud.

Entre em contato com a gente e descubra como as nossas soluções podem ajudar o seu negócio.

O mundo de administração de dados está evoluindo rapidamente e, para as organizações, essas informações se tornaram um bem ainda mais valioso no auxílio ao processo de decisão. É nesse contexto que ocorre o processo de ETL.   

Em um breve passado, não havia menção para o termo ETL, apesar de muitas organizações já utilizarem esse processo. Hoje, termos como Data Warehouse (DW), Data Lake e Big Data fazem parte do vocabulário comum das empresas. E não é por menos, o gerenciamento de dados traz grandes oportunidades para o desenvolvimento das organizações, possibilitando conhecer a sua empresa, seus clientes e seu potencial.  

Para isso, é necessário fazer com que os seus dados brutos sejam organizados no processo de ETL, de modo a fornecer insights acionáveis ​​aos tomadores de decisão. 

A sigla ETL vem do inglês Extration, Transformation, Loading (extração, transformação e carga) e refere-se a um conjunto de processos para a utilização de Data Warehouse, um banco de dados que permite análises avançadas. O ETL visa trabalhar toda a parte de extração de dados de fontes externas, realizar a transformação desses dados para atender as necessidades de negócio e efetivar a carga desses dados para dentro do Data Warehouse.

O Data Warehouse é um ambiente destinado ao armazenamento de dados para acionamento em qualquer momento. Em qualquer iniciativa de DW, aplicar o processo de ETL é fundamental e deve ter escalabilidade, ser de fácil manutenção e ter um planejamento cuidadoso para não comprometer os sistemas transacionais (ou Online Transaction Processing – OLTP) das empresas. 

A importância do processo de ETL está também relacionada com a sua versatilidade, podendo ser aplicado em bancos de dados simples, como o SQL, e em bancos mais complexos, como uma nuvem de Big Data.

O ETL é comumente utilizado em Data Warehouse para ambiente de BI, mas é possível fazer uso de suas ferramentas em qualquer tipo de trabalho de importação, exportação e transformação para outro ambiente de banco de dados ou para outras necessidades de negócios.

Os projetos de Data Warehouse costumam consolidar dados das mais diferentes fontes, sendo mais comum serem em banco de dados relacionais ou flat files (arquivos simples). Os sistemas de ETL devem ser capazes de se comunicar com as mais diferentes bases de dados e ler os mais diversos tipos de formatos de arquivos.

O processo de ETL permite definir a qualidade e a forma com que os dados serão manipulados para que se tenha uma informação compreensível e confiável. Também serve para traçar uma estratégia de usabilidade ao estabelecer regras para a manipulação, padronizando e garantindo o aproveitamento dessas informações.