O mercado de Cloud Computing tem se expandido cada vez mais nos últimos anos. Esse cenário evolui à medida em que as empresas buscam soluções para otimizar os seus processos e reduzir custos. 

Com a diversidade de opções de Cloud Computing disponíveis no mercado, é importante que as empresas avaliem, cuidadosamente, as diferentes plataformas e escolham a que melhor se adapta às suas necessidades. 

Neste blog, vamos explorar como a Oracle Cloud pode ajudar na análise de dados, desde a ingestão até a análise e a criação de dashboards. 

Primeiramente, vamos analisar o que a própria Oracle apresenta sobre as diversas soluções para análise de dados, desde o armazenamento e processamento até a análise avançada, incluindo machine learning. 

Como funciona a análises de dados em Oracle Cloud?  

O processo de análise de dados em Oracle Cloud ocorre em quatro etapas fundamentais. Confira, a seguir:  

1 Armazenamento de dados 

 A Oracle Cloud oferece diversas opções de armazenamento de dados, desde o armazenamento em bloco para cargas de trabalho de alta performance até o armazenamento em objetos para arquivamento de dados. Essas características permitem que as empresas armazenem os seus dados de maneira escalável e segura. 

2 Processamento de dados 

Para processar grandes volumes de dados, a Oracle Cloud oferece o Oracle Big Data Service e o Oracle Data Flow. Esses ambientes permitem que as empresas processem e analisem grandes volumes de dados de maneira escalável e eficiente. 

3 Análise de dados 

A Oracle Cloud oferece diversas opções para a análise de dados, desde ferramentas de business intelligence até a análise avançada utilizando machine learning. A Oracle Analytics Cloud é uma plataforma completa de business intelligence, possibilitando que as empresas criem dashboards, relatórios e análises interativas. Além disso, a Oracle Cloud Infrastructure Data Science oferece um ambiente de desenvolvimento de machine learning completo, incluindo notebooks Jupyter, bibliotecas de machine learning pré-instaladas e suporte a várias linguagens de programação. 

4 Segurança de dados 

No quesito recursos para segurança de dados, a Oracle Cloud é líder no setor, oferecendo criptografia de dados em repouso e em trânsito, controle de acesso baseado em função e monitoramento de segurança em tempo real. Isso permite, às empresas, proteção dos seus dados contra ameaças externas e internas. 

Agora, vamos aos testes! Todos os exemplos, a seguir, serão feitos, principalmente, em SQL. 

1 Passo: Como conectar a uma fonte de dados?  

O primeiro passo é conectar-se a uma fonte de dados. O Oracle Analytics Cloud suporta muitas fontes de dados, incluindo bancos de dados Oracle, Microsoft SQL Server, MySQL e PostgreSQL, bem como fontes de dados de nuvem como Oracle Cloud Infrastructure, Google Cloud Plataform, Azure e Amazon Web Services. 

Para este exemplo, vamos usar uma fonte de dados Oracle MySQL. Siga os passos descritos, a seguir, para se conectar a uma fonte de dados: 

CREATE CONNECTION my_oracle_conn 

USING 'jdbc:oracle:thin:@//localhost:1521/ORCLPDB1' 

USERNAME 'my_username' 

PASSWORD 'my_password';

Passo 2: Criando a tabela no MySQL 

Para este tutorial, criaremos uma tabela simples no MySQL para armazenarmos informações sobre vendas. Utilizaremos o seguinte script SQL para a criação da tabela: 

CREATE TABLE employee_department_salary ( 

    employee_id NUMBER, 

    employee_name VARCHAR2(50), 

    company_position VARCHAR2(50), 

    department_name VARCHAR2(50), 

    total_salary NUMBER 

);

2 Passo: Inserindo dados na tabela 

Com a tabela criada, podemos inserir alguns dados de exemplo. Utilizaremos o seguinte script SQL para inserirmos alguns registros na tabela: 

INSERT INTO employee_department_salary (employee_id, employee_name, company_position, department_name, total_salary) VALUES 

(1, 'João', 'Analista de Sistemas', 'TI', 5000), 

(2, 'Maria', 'Analista Financeiro', 'Finanças', 6000), 

(3, 'Pedro', 'Gerente de Projetos', 'TI', 8000), 

(4, 'Luciana', 'Analista de Recursos Humanos', 'RH', 4500), 

(5, 'Rafael', 'Desenvolvedor', 'TI', 5500), 

(6, 'Mariana', 'Analista de Marketing', 'Marketing', 7000), 

(7, 'Luis', 'Gerente de Vendas', 'Vendas', 10000), 

(8, 'Ana', 'Assistente Administrativo', 'Administrativo', 4000), 

(9, 'Fernando', 'Gerente de RH', 'RH', 9000), 

(10, 'Bruna', 'Analista de Compras', 'Compras', 5000);

3 Passo: Criando uma análise 

Considerando-se que se está conectado a uma fonte de dados e a criação da tabela foi finalizada, podemos criar uma análise que contém os dados que desejamos visualizar no dashboard. 

CREATE ANALYSIS my_analysis 

USING my_oracle_conn 

AS SELECT  

    department_name,  

    SUM(salary) total_salary 

FROM  

    hr.employees e 

    JOIN hr.departments d 

    ON e.department_id = d.department_id 

GROUP BY  

    department_name;

4 Passo: Criando um Dashboard 

Na sequência, vamos criar um dashboard chamado “My Dashboard” e exibir a análise “my_analysis”. Note que o asterisco (*) é utilizado para selecionar todos os campos da análise. 

CREATE DASHBOARD "My Dashboard" 

DESCRIPTION "Dashboard with analysis of my_analysis" 

AS 

SELECT 

    * 

FROM  

    MY_ANALYSIS;

A seguir, vamos a um exemplo com base no conceito de multicloud, utilizando o Oracle Analytics CLOUD, a partir de dados externos com o Google Big Query. 

5 Passo: Como configurar a fonte de dados Google Cloud Platform? 

Para configurar a fonte de dados do Google BigQuery no Oracle Analytics Cloud, é necessário criar uma conta de serviço e configurar as permissões necessárias para acessar os dados. Após isso, você pode conectar a fonte de dados usando as informações de autenticação da conta de serviço que criou. 

Confira, a seguir, um exemplo de script SQL para criar a conta de serviço no Google Cloud Platform: 

CREATE SERVICE ACCOUNT my-service-account 

IDENTIFIED BY my-password

Em seguida, você precisará configurar as permissões da conta de serviço para acessar os dados no BigQuery. Segue, abaixo, um exemplo de script SQL para conceder permissões de acesso a uma tabela específica: 

GRANT SELECT ON my-project.my-dataset.my-table TO my-service-account;

Finalmente, para conectar a fonte de dados no Oracle Analytics Cloud, você pode usar as informações de autenticação da conta de serviço. Confira, na sequência, um exemplo de script SQL para configurar a fonte de dados no Oracle Analytics Cloud: 

CREATE CONNECTION “My BigQuery Analysis” 

CREDENTIALS '{ 

  "type": "gcp", 

  "project_id": "my-project", 

  "private_key_id": "my-private-key-id", 

  "private_key": "my-private-key", 

  "client_email": my-service-account@my-project.iam.gserviceaccount.com, 

  "client_id": "my-client-id", 

  "auth_uri": https://accounts.google.com/o/oauth2/auth, 

  "token_uri": https://accounts.google.com/o/oauth2/token, 

  "auth_provider_x509_cert_url": https://www.googleapis.com/oauth2/v1/certs, 

  "client_x509_cert_url": https://www.googleapis.com/robot/v1/metadata/x509/my-service-account%40my-project.iam.gserviceaccount.com 

}'ENDPOINT 'https://www.googleapis.com/bigquery/v2/projects/my-project/queries'

Etapa 01: Criação de uma análise no Oracle Analytics Cloud com os dados do BigQuery  

CREATE ANALYSIS "My BQ Analysis" 

DESCRIPTION 'My BigQuery Analysis' 

FROM (SELECT  

    department_name,  

    SUM(salary) total_salary 

FROM  

    `my-bigquery-project-1234.hr.employees` e 

    JOIN `my-bigquery-project-1234.hr.departments` d 

    ON e.department_id = d.department_id 

GROUP BY  

    department_name) 

USING CONNECTION "My BigQuery Connection";

Etapa 02: Criação de um Dashboard com os dados gerados na última análise. 

CREATE OR REPLACE DASHBOARD "my_dashboard" 

AS 

SELECT  

    department_name,  

    SUM(salary) total_salary 

FROM  

    “My BD Analysis” 

GROUP BY  

    department_name;

O script irá criar um dashboard chamado “my_dashboard” para exibir o total de salários por departamento, utilizando a análise “my_analysis” como fonte de dados. 

Note que o GROUP BY é utilizado para agrupar os dados por departamento e a função SUM é utilizada para somar os salários de cada departamento. O resultado é, então, exibido no dashboard. 

Lembramos que é necessário estar conectado à fonte de dados externa do BigQuery para que essa análise funcione corretamente.   

Projetos com Oracle Cloud: Conte com a Rox Partner  

A Rox Partner é uma empresa especialista em projetos com Oracle Cloud e oferece soluções personalizadas e suporte contínuo aos nossos clientes. Com uma equipe técnica, qualificada e experiente, a Rox se destaca por entregar resultados consistentes e de alta qualidade em projetos de grande complexidade. 

Se você está considerando a adoção de soluções em nuvem para a sua empresa, a Rox Partner é a escolha ideal para garantir o sucesso do seu projeto.  

Entre em contato com a nossa equipe para obter mais informações sobre os serviços ofertados pela Rox e comece a transformação digital de sua empresa hoje mesmo. 

O modo como as empresas têm tomado as suas decisões mudou significativamente com o advento de novas tecnologias.  Agora, os líderes e gestores estão mais abertos a usarem inovações para obterem insights e informações precisas e mais atualizadas. É nesse contexto que o chatGPT tem se destacado como um poderoso auxiliar na tomada de decisão.  

Neste artigo, vamos explorar como o ChatGPT tem transformado o método de tomada de decisão para assuntos estratégicos. Vamos apresentar um passo a passo desse processo e discutir o imenso potencial dessa ferramenta nos negócios, podendo gerar aumento de eficiência e eficácia nas operações empresariais. 

Já adianto, este artigo unifica visões sobre Inteligência Artificial e seres mitológicos. 

Qual o perfil de um cientista de dados? 

Segundo o National Institute of Standards and Technology (NIST), as competências para um profissional de Ciência de Dados estão representadas na imagem, a seguir:  

• Experiência e conhecimento de domínio: conhecimentos de negócios; 
• Estatística e aprendizagem de máquina: conhecimentos matemáticos; 
• Engenharia: conhecimentos em Tecnologia de Informação.

Entre os três grupos de áreas do conhecimento, destaca-se aqui o grupo de “Conhecimentos de Negócios”, pelo fato deste ser o mais abrangente e diversificado. Representa a aplicação dos conhecimentos que compõem os outros dois domínios de conhecimentos. 

É possível que um profissional extremamente especialista aprenda alguns conhecimentos específicos em Estatística e Tecnologia de Informação. Dessa forma, com base em seu conhecimento prévio em Logística, por exemplo, pode-se gerar percepções sobre um contexto específico de sua área de atuação. Assim, com a sua experiência nesse campo, será muito mais fácil interpretar e explorar os dados que forem obtidos. 

Ocorre que não existe nenhum unicórnio. Pelo menos, eu não vi nenhum correndo ainda na rua. E pelo fato de tais seres mitológicos não existirem, é comum que as empresas contratem e mantenham times multidisciplinares, compostos por profissionais com experiência e domínio de seus campos de atuação. Incluindo, ainda, profissionais e parceiros com domínio do conhecimento Estatístico e Computacional, gerando, assim, equipes e ecossistemas capazes de suprir todos os grupos apresentados na ilustração acima. Imagine um profissional de ciência de dados (com perfil matemático e tecnológico), sem experiência no segmento varejista, analisando uma base de dados para geração de “insights”. Você acha que daria certo? Que percepções ele geraria? É uma reflexão. 

Faço uma reflexão com os meus clientes todos os dias: não podemos fazer esse trabalho sozinhos. Precisamos de vocês, do entendimento e das ideias de vocês. O que vocês entendem ser esses grupos? Como vocês entendem essa anomalia e aquela tendência? Com isso, juntos, nós entregaremos o projeto. 

Mas, o ponto central e importante deste artigo são estes três pilares: 

• Conhecimentos de negócios; 
• Conhecimentos matemáticos; 
• Conhecimentos de Tecnologia de Informação. 

A grande pergunta e reflexão para o restante deste artigo é: Quais desses conhecimentos são mais rapidamente absorvidos e superados pelo ChatGPT hoje, agora?  

Contextualização do Problema de Ciência de Dados e de Tomada de Decisões 

O cientista de dados em 2014 era considerado como um unicórnio.

fonte:https://en.wikipedia.org/wiki/Unicorn

Em 2014 quando iniciei efetivamente meus primeiros projetos de Big Data e me deparei em muitas situações com o mesmo problema “Empresas contratando cavalos e zebras e pensando que seriam unicórnios”.

O Cientista de Dados como a indústria buscava naquele momento era um profissional com todas as qualidades esperadas e apresentadas nas mandalas acima: Entendimento do Negócio, Conhecimentos em Estatística e Conhecimentos em Tecnologia e como bem vimos após muitos anos isso não existia e hoje a indústria trabalha com times multidisciplinares, naquela época era comum verificar profissionais sem nenhum experiência profissional com perfil acadêmico com mestrados e doutorados sendo contratos para resolver problemas de ciência de dados e o resultado nós já sabemos ( Faltava dados, faltava governança, faltava tudo e os projetos nunca terminavam e sempre existia o próximo “Falta..” ).

O que é a tomada de decisão? 

Em poucas palavras e de forma bem resumida, podemos dizer que a tomada de decisão consiste em escolher caminhos, alternativas ou opções dentre as disponíveis. Ressalta-se, aqui, que a falta de alternativas resulta na inabilidade de decidir.  

Como ocorre o processo de tomada de decisão? 

A tomada de decisão se assemelha muito ao trabalho de uma consultoria, que consiste em uma jornada de atividades que tem como objetivo a busca por resultados. Nesse caso, estamos nos referindo especificamente à Jornada de Tomada de Decisão. 

Existem diversas abordagens acadêmicas que norteiam a tomada de decisão. Entre elas, podemos destacar: Simon, CPSI, pesquisa operacional, Guildford, modelo militar, entre outras. Aqui, destacamos que certas abordagens se adequam a camadas e situações e, portanto, não existe uma uma Jornada ou Caminho para que ocorra uma tomada de decisão. 

Tendo como premissa os dados como proposta de valor, entendemos que o modelo que faz mais sentido abordarmos é o modelo de pesquisa operacional que consistem em (HILLER, 2010):  

• Identificação do problema; 
• Modelagem;
• Aplicação do modelo; 
• Criação de controles; 
• Implantação. 

Apesar do modelo de pesquisa operacional parecer ser perfeito para um modelo de tomada de decisões, ele é científico e, portanto, são exigidos determinados conhecimentos matemáticos para a sua efetividade. 

Existem outras abordagens que podem ser usadas para somar forças ao modelo de pesquisa operacional. Podemos tomar como base o padrão intersetorial para mineração de dados, também conhecido como CRISP-DM, sendo esta uma referência mundial na implementação de soluções analíticas avançadas. 

CRISP-DM 

CRoss Industry Standard Process for Data Mining  

Processo Padrão intersetorial para Mineração de Dados 

Entendimento do Negócio 

Esse é o ponto onde o conhecimento especifico de um determinado especialista no assunto auxilia na tomada de decisão, ou seja com base nos dados e somados esses dados aos conhecimentos de um especialista no assunto se entende o problema de negócio e são tomadas decisões 

É possível utilizar o ChatGPT na análise de um negócio por meio de uma compreensão sistemática de cada “feature” que o compõe. Por meio das análises de sentimentos, tendências, concorrência, previsões de resultados e da qualidade de relacionamento com o cliente, o uso da Inteligência Artificial pode ajudar a sua empresa a entender mais do seu negócio e dos seus clientes. Dessa forma, irá resultar em melhores decisões e um refino das estratégias para alcançar os seus objetivos.  

Abordagem Analítica 

Quais são os pontos de contato com o respectivo problema? Quais são os processos de negócio, tecnologias, pessoas, fornecedores, e assim por diante. Quais são as variáveis deste e outros ecossistemas que permeiam o problema em si?

Requisitos de Dados  

Com base no entendimento das variáveis que norteiam o problema, será possível entender quais alternativas serão geradas frente ao problema. Também será possível identificar quais serão as variáveis para se metrificar o sucesso ao insucesso da escolha, pela alternativa de correção ou remediação do problema de negócio. Esses recursos também irão apoiar na criação de KPI’s de monitoramento da solução proposta futuramente.

Aquisição de Dados 

Coleta e captura dos indicadores através da exportação de dados dos sistemas já existentes, planilhas, contagem manual ou automatizada. Em muitos casos, é nesse ponto que se detecta a falta de metrificação e coleta de dados. Assim, muitas vezes é necessário expandir os horizontes de coleta e captura de dados e utilizar-se de recursos de IoT (Internet das Coisas) para obter mais dados do problema que deseja resolver e acompanhar. 

Entendimento dos Dados 

Exploração dos dados utilizando planilhas, ferramentas de visualização de dados tais como Microsoft PowerBI, Tableau, QlikSense, Looker, Data Studio, entre outros. Além disso, Python (Pandas, MatPlotLib, Seaborn) e outras bibliotecas e ferramentas, sendo essa escolha conforme a disponibilidade dos recursos, no momento da análise. O mais importante é explorar! 

Preparação dos Dados 

Em muitos casos os dados não estão prontos para serem utilizados em sua versão (negócio fim), ou seja, o modo como o dado foi coletado não representa, necessariamente, a visão de negócio necessária para o modelo matemático. Durante a preparação dos dados é realizada a limpeza de dados indesejados, formatados ou pré-calculados, cada campo para a visão de negócio correspondente ao problema de modo que se obtenha um conjunto de dados limpo, confiável e que represente o problema de negócio mapeado na fase de “Entendimento do Negócio” 

Modelagem 

Com os dados preparados, são aplicadas as técnicas de Machine Learning. Elas podem ser paramétricas ou não paramétricas, as quais se baseiam em regras fixas ou em modelos estatísticos, resultando no “modelo”. 

Avaliação 

Após criado, o modelo é testado e os resultados são avaliados. 

Implantação em Produção 

Previamente testado em cenários controlados, o modelo é efetivamente colocado em produção com o intuito de analisar novas ocorrências do problema ou prever problemas que irão decorrer e são indesejados. 

Feedback 

Avaliação dos resultados obtidos em produção. 

Tomada de decisão na prática utilizando o Chat GPT

O ponto central é que agora as empresas com maturidade e eficiência na Jornada Data Driven tem condições de utilizar os indicadores já computados para solicitar apoio de conhecimentos específicos do ChatGPT para tomada de decisão com maior facilidade pois de nada adianta uma ferramenta como o ChatGPT se essa não for alimentada com indicadores coerentes aos problemas e oportunidades existentes e para que esses indicadores tenham a devida maturidade e também a maior representação através de uma maior variabilidade de variáveis será impossível provar o devido valor de uma ferramenta tão avançada. 

Um dos cargos e profissões que mais tem se falado é o “Engenheiro(a) de Prompt” ou seja o profissional que consegue interagir com as diferentes aplicações de AI realizando as perguntas ou comandos da melhor maneira possível para otimizar as respostas, nesse sentido o “Engenheiro(a) de Prompt” que tiver os melhores KPI’s a disposição será capaz de abastecer as perguntas e comandos direcionados aos motores de AI com maior riqueza de detalhes afim de obter as melhores respostas e é ai que vemos a falta de maturidade de se tornar um calcanhar de Aquiles em empresas que almejam “saltar” para dentro do ChatGPT mas não consegue convergir nem mesmo no valor de faturamento ou na visão de clientes de sua própria empresa. 

Apenas como exemplo, veja o que o ChatGPT é capaz de fazer e qual a diferença de resposta para cada pergunta apresentada a seguir: 

No exemplo acima o ChatGPT foi questionado sobre uma estratégia comercial, qual seria o plano e abordagem para atingir um determinado objetivo com base em algumas informações históricas passada para ele, veja que ele propõe um cenário mas claramente diversos KPI’s não foram informados e ele está exemplificando um cenário que poderia ser muito mais acertivo caso o intercutor tivesse informado o TICKET MÉDIO, CICLO DE VENDAS, TAXA DE CONVERSÃO. Outras informações que poderiam ser passadas para melhorar a conversa e possivelmente acurar a estratégia comercial sugerida pelo ChatGPT, mas isso depende da empresa ter maturidade e clareza sobre seus KPI’s bem como a acurácia sobre esses KPI’s para utilizar as novas ferramentas em seu máximo potêncial. 

O que podemos fazer com o ChatGPT na sua Jornada Data Driven?

Estamos trabalhado na integração de ecossistemas de dados para o aproveitamento da AI do ChatGPT no apoio da tomada de decisão com ecossistemas de dados corporativos utilizando técnicas de Embeeding como no modelo de referência abaixo:

Potencialize as tomadas de decisão no seu negócio: Conheça as soluções de Inteligência Artificial da Rox 

A Rox Partner é uma consultoria de T.I. que oferece soluções completas para a Jornada Data Driven de empresas que buscam uma transformação digital eficiente, por meio  da alfabetização de dados ou através da implementação de projetos de Analytics. 

Acreditamos que a tomada de decisão baseada em dados é essencial para o sucesso de qualquer negócio. Por isso, trabalhamos incansavelmente para garantir que os nossos clientes tenham acesso aos dados mais relevantes e atualizados em tempo real. 

Com a nossa equipe de especialistas em T.I., capacitados em tecnologia de ponta, ajudamos nossos clientes a transformarem os seus dados em insights acionáveis. Dessa forma, podem tomar as decisões mais estratégicas para o crescimento e sucesso de seus negócios. Conte conosco para ajudá-lo a alcançar os seus objetivos de transformação digital.     

A cada quatro anos, o mundo inteiro se reúne na festa do futebol. Questões políticas e culturais à parte, a edição da Copa do Mundo do Catar 2022 trouxe novidades incríveis quanto aos sistemas tecnológicos usados tanto no jogo como fora dele. 

E é a respeito deles que vamos abordar neste artigo. Confira!  

Quais as tecnologias utilizadas na Copa do Mundo do Catar 2022?  

 Em cada jogo do mundial estão sendo utilizados os seguintes recursos tecnológicos: 

• Sensores na bola e trave para detecção de cruzamento da linha de gol; 
• Um sistema semiautomático de detecção de impedimento; 
• Novas capacidades do Árbitro Assistente de Vídeo (o famoso VAR);  
• Um aplicativo de informações em tempo real para o torcedor 
• Um grande sistema de coleta de dados que permite a geração de gráficos e a análise da partida quase em tempo real. 

Agora, você vai conhecer, em detalhes, 6 das principais tecnologias e inovações que a Copa do Mundo do Catar apresentou neste ano.  

Sistema de linha de gol atualizado

O sistema de linha de gol foi implementado na Copa de 2014. São utilizadas 14 câmeras de alta velocidade, sendo 7 para cada gol. Com as imagens de pelo menos 3 dessas câmeras, o sistema pode determinar a posição da bola com precisão, mesmo com a interferência dos jogadores ou do goleiro. Também pode indicar se ocorreu ou não o cruzamento da linha do gol.  Quando a bola cruza a linha do gol, o árbitro do jogo recebe, em um dos seus relógios, um sinal visual e vibratório indicando o gol. 

Além do aviso ao árbitro, o sistema também cria uma animação em 3D da posição da bola em relação com o gol. Na sequência, envia essa informação de forma imediata para as transmissoras de TV e para as telas que estão no estádio.  

Sistema semiautomático de Impedimento

O sistema semiautomático de impedimento é uma ferramenta de suporte para ajudar os árbitros que atuam no sistema de vídeo e os árbitros em campo a tomarem decisões de impedimento mais precisas e rápidas. 

Composto por 12 câmeras de rastreamento montadas sob o teto do estádio, as câmeras estão dedicadas a rastrear a posição da bola e os 29 pontos do corpo de cada um dos jogadores. Isso ocorre 50 vezes por segundo, sendo possível calcular a posição exata do jogador no campo. 

Os 29 pontos de dados coletados incluem ombros, cotovelos, mãos, quadril, joelhos, tornozelos, pés e cabeça de cada jogador, ou seja, todos os membros e extremidades relevantes para a marcação de impedimento.  

Como parte do sistema de detecção, a bola possui um sensor chamado de unidade de medição inercial (IMU). Esse sensor, posicionado no centro da bola, envia os dados do seu movimento para a sala de operações de vídeo, 500 vezes por segundo. Desse modo, permite uma detecção muito precisa do momento em que a bola foi chutada. 

Combinando os dados de rastreamento dos jogadores, e da bola, e com ajuda da inteligência artificial, sempre que ela é recebida por um atacante que estava em posição de impedimento , no momento em que foi chutada por um companheiro da equipe, a nova tecnologia dispara um alerta de impedimento para os árbitros de vídeo. Antes de informar o árbitro em campo, os árbitros de vídeo validam a decisão proposta, verificando, de forma manual, o ponto de chute selecionado e a linha de impedimento, ambos criados automaticamente, com base nas posições calculadas dos membros dos jogadores.  

Depois que a decisão é confirmada pelo árbitro em campo, os mesmos pontos de dados posicionais usados ​​para a tomada de decisão servem para gerar uma animação 3D, que detalha perfeitamente a posição dos membros dos jogadores quando a bola foi chutada. Essa animação 3D é exibida nas telas gigantes do estádio e também é disponibilizada para as transmissoras de TV. 

Novas Capacidades no Vídeo Assistant Referee (VAR)

O Árbitro Aassistente de vídeo ou VAR, foi usado pela primeira vez na Copa de 2018 e conta com o acesso às 42 câmeras usadas nas transmissões dos jogos, localizadas ao redor de todo o estádio. A maioria das câmeras são usadas para determinar a intensidade de uma falta, mas existem oito delas que são do tipo super câmera lenta, e quatro do tipo ultra câmera lenta que são usadas, normalmente, para mostrar as faltas com detalhe. 

Além das câmeras da transmissão, o VAR tem acesso às imagens geradas pelo sistema semiautomático de impedimento.  

Na sala de operação de vídeo (Vídeo Operation Room – VOR), uma equipe de quatro árbitros verifica os incidentes do jogo: o Árbitro Assistente de Vídeo (VAR) e três assistentes do VAR (AVAR1, AVAR2 e AVAR3). 

O VAR é responsável por liderar a equipe VAR e se comunicar com o árbitro em campo. Ele é responsável por observar a câmera principal no monitor superior e verificar todos os incidentes.  

O AVAR1 concentra-se na câmera principal e mantém o VAR informado caso algum incidente tenha sido verificado ou revisado. 

O AVAR2 concentra-se no sistema semiautomático de impedimento para acelerar o processo de verificação e revisão do VAR. 

O AVAR3 se concentra na transmissão de TV e auxilia o VAR na avaliação de incidentes. 

O sistema inclui um monitor perto da área técnica, onde o árbitro em campo pode revisar os vídeos enviados pelo VAR e realizar a tomada de decisão. 

A informação do processo de verificação pelo VAR, assim como o motivo da verificação, a etapa da verificação e o resultado são informados automaticamente, tanto ao público nas telas do estádio quanto às emissoras de TV.   

Football Data Ecosysistem

Durante o jogo, todas as ações no campo são registradas — todos os passes, chutes, substituições, decisões dos árbitros, ataques, defesas, faltas, aceleração, distância percorrida. 

O processamento de dados, ao vivo, permite garantir a maior qualidade e riqueza de dados possíveis em apenas alguns segundos, a partir do momento em que a ação ocorre no campo de jogo. Para isso, o processo de coleta de dados é dividido em várias etapas operacionais, criando diferentes camadas de dados.  

Analistas experientes, conhecidos como “speakers” ou locutores, estão no estádio e concentram toda a sua atenção no que está acontecendo no campo de jogo e passam essas informações para uma pessoa conhecida como “escritor”, que insere as informações no sistema.  

Além do locutor e do escritor, até dois observadores ao vivo são usados ​​para verificar os dados e coletar uma segunda camada de dados com informações adicionais. Enquanto as informações mais importantes e relevantes são captadas diretamente pelo locutor, os dois observadores, ao vivo, agregam valor a esses eventos no mais alto nível de coleta de dados.  

Para coletar os dados posicionais (coordenadas X e Y) de todos os jogadores, dos árbitros e da bola, o sistema de rastreamento óptico captura a posição do jogador várias vezes por segundo. Esses dados não apenas refletem a posição do jogador, mas também podem ser usados ​​para calcular velocidade, distância e direção do jogo. Essas métricas permitem que os analistas esportivos tenham insights mais profundos e consigam otimizar o desempenho físico dos jogadores e o desempenho tático da equipe. 

Os dados coletados são disponibilizados às equipes participantes, aos treinadores, aos jogadores e a mídia envolvida na Copa do Mundo, numa plataforma dedicada para análise de dados e vídeos.  

 Fifa Player App

O FIFA Player App permite que cada um dos jogadores acesse seus dados individuais de desempenho logo após cada partida. Os dados coletados incluem: 

Métricas de desempenho físico – coletadas pelo sistema de câmeras de rastreamento localizadas ao redor do estádio. As métricas incluem distância percorrida em vários limites de velocidade, número de ações acima de 25 km/h e velocidade máxima, tudo exibido em mapas de calor posicionais. 

Métricas de dados de futebol – são calculadas usando os dados de eventos capturados por uma equipe de analistas de desempenho de futebol da FIFA e combinados com dados de rastreamento dos jogadores, incluem eventos como lances de ataque, defesa, passes etc. 

Esses dados são sincronizados com as imagens da partida para permitir que os jogadores assistam a todos os momentos-chave de seu próprio desempenho com máximo detalhe, usando diferentes ângulos de câmera. 

Além disso, várias fotografias de ação são registradas durante os principais momentos de cada partida e disponibilizadas para cada jogador individualmente. 

Al Rihla: A bola mais tecnológica do mundo

A bola oficial da copa, a Al Rihla (A jornada, em português), possui dentro dela um dispositivo que pesa 14 gramas e que contém 2 sensores diferentes que operam simultaneamente:  

Um sensor de banda ultralarga (UWB): um tipo de tecnologia superior ao GPS ou bluetooth para dados posicionais precisos, além de poder transmitir dados em tempo real para rastrear constantemente a posição da bola. 

Uma unidade de medição inercial (IMU): um sensor com 9 eixos, giroscópio e acelerômetro, destinado a detectar movimentos sutis da bola no espaço. 

A bola transmite os dados dos sensores 400 vezes por segundo a um sistema de posicionamento local (Local Positioning System – LPS) conformado por 24 antenas ao redor do campo. Mediante triangulação, o sistema permite estabelecer a posição da bola dentro do campo com precisão menor a 10 cm. 

Com a informação transmitida, o sistema calcula métricas como velocidade da bola, longitude do passe, força do chute etc. e reconhece também, se é um toque, um passe ou um chute ao gol. 

Todos os dados capturados pelo sistema de posicionamento da bola e as métricas geradas a partir deles, são integrados ao ecossistema de dados da FIFA.  

Os dados estão presentes em todo lugar, e na copa do mundo não é diferente. É necessária uma infraestrutura robusta e eficiente para coletar e analisar toda a informação gerada em cada um dos jogos.  

Mais sobre a Copa do Catar 2022

O Catar é um pequeno país localizado na península Arábica, Doha. Nasceu como um pequeno povoado de pescadores que se dedicavam ao cultivo de pérolas e a extração de tintas para tecidos a partir de caracóis marinhos. Hoje, o Catar é um dos países mais poderosos e ricos do mundo, graças à exportação de gás natural. 

Mas, viver no Catar não é simples. As temperaturas ultrapassam 40°C no verão, fazendo com que a Copa fosse alterada para o final do ano de 2022, quando as temperaturas normalmente desérticas são mais amenas. Dentre as inovações desta edição, destacam-se, também, as tecnologias implementadas na construção dos estádios. A principal delas foi, sem dúvida, o sistema de ventilação dos estádios.  

Tecnologia aplicada em megaeventos e também no seu negócio: Conheça a Rox Partner 

Já imaginou ter todos os dados da sua empresa em um quadro de fácil visualização, ou contar com relatórios inteligentes sobre cada ação feita pelo seu cliente? Ainda mais, poder controlar os seus equipamentos de forma remota e precisa? 

A Rox Partner possui um time focado em Analytics e Inteligência Artificial e está pronto para atender as demandas do seu negócio, seja ela de monitoramento, de controle ou de correção nos processos. Invista em IA, e descubra como podemos transformar a sua empresa por meio de dados. Fale com nossos especialistas!  

Com a crescente busca por otimização de recursos públicos e o advento das novas tecnologias as cidades tem implementado soluções inovadoras buscante melhorar o conforto e segurança de seus cidadãos, porém isso tem ocorrido sem que os devidos aspectos de privacidade e Anonimato dos cidadãos de São Paulo tenham sido devidamente discutidos, um dos pontos mais críticos atualmente é o compartilhamento público dos sistemas de câmeras de transito, transporte público e segurança da cidade. A atual mudança de paradigmas e a fome por dados, tem gerados soluções sem planejamento e diretriz sobre a privacidade dos cidadãos.

Assim o presente artigo visa debater e evidenciar os riscos e prejuízos que que a cidade está gerando com a implantação de soluções mal planejadas e sem o devido debate técnico e aprovação dos cidadãos.

Smart City, A Cidade Inteligente

Segundo artigo da revista IEEE Internet of Things Journal ( Volume: 1, Issue: 1, Feb. 2014 )  [1] o termo “Smart City” é um conceito que visa o melhor uso dos recursos públicos, aumentando a qualidade dos serviços oferecidos aos cidadãos, enquanto reduz os custos operacionais de administração pública. Neste mesmo artigo é importante ressaltar que a palavra “privacy” é citada apenas uma vez quando o texto se refere a monitaração de ruídos na cidade, levantando a hipótese de que o monitoramento de sons seria prejudicial a privacidade e deve-se discutir os casos de implementação:

[1] This service can hence improve both the quiet of the nights in the city and the confidence of public establishment owners, although the installation of sound detectors or environmental microphones is quite controversial, because of the obvious privacy concerns for this type of monitoring.

 

Conforme citação acima, temos que o conceito de cidades inteligentes visa a melhor prestação de serviços ao cidadão proporcionando bem estar e otimizando os recursos públicos através de soluções inteligentes. Dessa forma temos de tomar como base que qualquer implementação deste tipo tenha enraizados tais conceitos em primeiro lugar.

A Próxima Revolução

As revoluções do homem contemporâneo sempre estiverem ligadas aos processos produtivos, que por sua vez foram marcados pelas revoluções industriais. Estamos vivenciando a quarta revolução industrial, sendo que cada uma das revoluções anteriores marcaram e transformaram a sociedade direta ou indiretamente.

As revoluções industriais sempre estiveram ligadas ao domínio de novas tecnologias e a aplicação de tais tecnologias nas devidas cadeias produtivas. A primeira revolução industrial por assim dizer foi iniciada na Inglaterra no século 18 com a invenção de máquinas a vapor, o que possibilitou a mudança de serviços braçais que antes era realizados por animais e escravos. E assim se seguiu um constante desenvolvimento tecnológico. Temos ainda a relação entre a primeira e a segunda guerra mundial, possibilitadas graças a escala de produção e a segunda revolução industrial que por sua vez contava já no inicio do século 20 com a produção de itens como carros, televisores e afins que conhecemos hoje.

A terceira revolução industrial já conta com a integração entre as cadeias de produção e o desenvolvimento cientifico, também conhecida como revolução tecnocientífica. As empresas investiram muito em centros de pesquisas avançados para desenvolver novas tecnologias e produtos inovadores.

A quarta revolução também conhecida como “A industria 4.0” não se traduz apenas nas novas técnicas de automação industrial e integração da cadeia aos serviços de internet, a maior mudança de paradigma está atrelada ao fato de os dados serem a grande matéria-prima, e nesse caso os dados são gerados pelos próprios consumidores. Visto a crescente demanda por dados de diversas área que possam definir comportamentos dos clientes em potencial qualquer nova fonte de dados se torna alvo de industrias que anseiam determinar o comportamento de seus consumidores. Essa lógica vai de encontro com o artigo

[2] ( Communications (ICC), 2017 IEEE International Conference ) “Big Data challenges and opportunities in the hype of industry 4.0” e artigo [3] (Service innovation and smart analytics for Industry 4.0 and big data environment ).

A atual quarta revolução industrial como assim é chamada tem várias características uma delas está ligado a obtenção de dados para geração novos produtos e serviços. É um novo mundo totalmente orientado a dados e esses dados são materia prima bruta das novas organizações, de forma que nós em parte somos o insumo de tal produto. Dessa forma nossa privacidade está cada vez mais afetadas e requisitada como contrapartida para o consumo de bens e serviços.

Cidade de São Paulo

São Paulo é a cidade mais populosa das Américas, ficando a frente de cidades como [4]  Cidade do México  ( México ), Lima ( Peru ) e Nova York ( Estados Unidos ). São Paulo tem aproximadamente 21 milhões de habitantes,  [5] é a cidade com o 10° maior PIB do mundo, responsável por cerca de 11% do PIB Brasileiro que por sua vez é a 10 economia do mundo, ainda responsável por 28% de toda produção cientifica e desenvolvimento tecnológico do país.

Câmeras de Monitoramento

A CET ( Companhia de Engenharia de Trafego ) responsável pela gestão e planejamento do trafego de veículos da cidade de São Paulo, disponibiliza 37 câmeras online ao vivo, sendo possível assim obter as imagens de qualquer horário dos últimos 7 dias.

[6] – http://cameras.cetsp.com.br/View/Cam.aspx

Sendo assim temos que as imagens capturadas por toda a cidade através de câmeras de trânsito são de grande valor, e podem proporcionar informações cruciais para a abertura de novos negócios ou mesmo monitoramento continuo dos padrões de transporte e locomoção da população ou de indivíduos em especifico.

Além da metrópole também é possível obter acesso direto as câmeras das principais rodovias do Estado de São Paulo, através do site do DER concessionária que gerencia as principais rodovias do estado de São Paulo. O DER disponibiliza de um total de 238 câmeras:

[9] – Imagem de um caminhão na rodovia SP 008 – km: 139,000 – Pedro Astenori Mariagliani (Capitão)

http://www.der.sp.gov.br/WebSite/Servicos/ServicosOnline/CamerasOnlineMapa.aspx

Um projeto em crescente implantação na cidade de São Paulo é o City Câmera

A concessionária ViaOeste responsável por algumas das principais rodovias do Estado de São Paulo, que cruzam a cidade de São Paulo também possuem imagens em tempo real e abertas sem controle de acesso através de seu site:

[12] – Serviço de câmeras online da concessionária ViaOeste

Como evidenciado acima, é possível ter acesso a diversas câmeras que cruzam a cidade de São Paulo ao vivo e sem nenhum cadastro ou controle sobre esses dados. A ideia de que o compartilhamento de dados públicos ainda se remete aos databases da prefeitura está equivocada, frente a capacidade de processamento de dados não estruturados que temos atualmente.

Visão Computacional

Visão Computacional e compreensão de imagens são subcategorias da inteligência artificial, que por sua vez é a capacidade de automatizar tarefas com computadores que antes somente eram realizadas por seres humanos.

Segundo estudo de caso realizado em

[13] Introdução à Visão Computacional usando OpenCV

, é possível reconhecer textos em imagens obscuras utilizando softwares livres tais como OpenCV para tratar e realizar o processo de OCR que consiste no reconhecimento de textos em imagens, no artigo é dado o exemplo da imagem a seguir:

[13] –  (Fig. 1): Veículo em imagem escura (esquerda). Após uma equalização de histograma, em nível de cinza, onde a placa do veículo pode ser lida (direita). Informação da placa e do veículo no retângulo.

O que pode ser feito

Com a quantidade de câmeras existentes na cidade de São Paulo é possível monitorar diversas atividades, desde de viagens, idas e vindas de rotineiros de trabalho e tudo isso sem programar nada, apenas com acessos aos sites aqui referenciados. Com os conhecimentos certos é possível escrever programas de visão computacional capazes de monitorar diariamente as câmeras da cidade de São Paulo com os endereços aqui referenciados automatizando as atividades de monitoramento.

Privacidade e Proteção de Dados

A privacidade dos cidadãos de São Paulo está expostas e esses dados tem grande valor industrial, gerando uma guerra de interesses, de um lado a população que deseja realizar suas atividades de forma sigilosa, com o mínimo Anonimato sem que haja identificação pessoal de seus carros ou corpos em trajeto. Sendo assim, concluo que a prefeitura de São Paulo precisa realizar a descaracterização dos objetos presentes nas imagens afim de garantir a privacidade do cidadãos.

Vença seus maiores desafios empresariais com uma combinação de nossas soluções em Inteligência Artificial e Privacidade e Proteção de Dados

Se aproprie do potencial dessa e outras bases de dados combinados com os serviços de inteligência da Rox para potencializar o seu negócio! A Rox é uma empresa especializada em soluções de dados com larga experiência em inteligência artificial atuando em diversos setores tais como setor financeiro, varejo, moda, entretenimento, logística, indústria, farmacêutica, telecomunicações, óleo e gás.

Entre em contato com a gente e descubra como as nossas soluções podem ajudar o seu negócio.

Todos os analistas que atuam no mercado financeiro buscam, de alguma forma, predizer os próximos movimentos do mercado e conseguir retornos positivos em suas atividades. Para isso utilizam-se de dados e informações para subsidiar análises e definir estratégias de entrada e saída para suas negociações.

A minha contribuição neste post será um estudo de análise dos dados de negociações da paridade EUR x USD para a determinação de uma estratégia de rompimento do preço em relação a uma regressão linear em determinada janela de tempo. Para isso vou utilizar os dados de valor dessa paridade por hora e a linguagem de programação Python.

Importando módulos essenciais

Vamos começar importando as bibliotecas necessárias para a análise dos dados:

import pathlib as ph
import pandas as pd 
import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from concurrent.futures import ProcessPoolExecutor, ThreadPoolExecutor

Essas bibliotecas serão utilizadas para encontrar e importar o arquivo de dados no repositório local, plotar, calcular e multiprocessar os dados ingeridos.

Visualização dos Dados

Vamos seguir para um teste de conexão e visualização do arquivo de dados.

# Atribui o endereço do arquivos a uma variável
filename = ph.Path(r'C:\Users\Dell\OneDrive\Desktop\My GitHub\FOREX-Data-Science\EURUSD_H1.csv')
# Abre e atribui o arquivo a uma variável
pairs = open(filename, mode="r", encoding="utf-8", newline='\r')
# Exibe xxx caracteres do arquivo
print(pairs.read(500))
# Fecha o arquivo
pairs.close()

O arquivo chama-se EURUSD_H1.csv. A visualização nos traz informações importantes como cabeçalho, separação, tipo de dados e formatação. No nosso caso as dados no arquivo .csv tem a seguinte disposição:

Criação do DataFrame

Conhecemos o arquivo e agora, realizaremos a importação para um pandas dataframe. Vamos aplicar algumas formatações para facilitar a manipulação dos dados e verificar sua estrutura:

# Atribui o endereço do arquivos a uma variável
filename = ph.Path(r'C:\Users\Dell\OneDrive\Desktop\My GitHub\FOREX-Data-Science\EURUSD_H1.csv')
# Importa o arquivo como um dataframe
raw = pd.read_csv(filename, delimiter='\t', header=0, usecols=[0,2,1,5],  parse_dates={'DATETIME' : [0, 1]}, index_col=["DATETIME"]) 
# Renomeia as colunas e exibe os dados do dataframe
raw = raw.rename(columns={"DATETIME": "DATETIME" ,"<OPEN>": "OPEN", "<CLOSE>": "CLOSE"})
# Imprime a quantidade de linhas e colunas
print(raw.shape, "\n") 
# Verifica se há valores nulos no dataframe e imprime o resultado
print(raw.isnull().sum(), "\n") 
# Imprime metadados do dataframe
print(raw.info(), "\n") 

Temos um dataframe de 100039 linhas e duas colunas, com dados dos preços de fechamento de abertura e fechamento para o período entre 3 de Março de 2005 as 00:00:00 horas e 26 de Fevereiro de 2021 as 23:00:00 horas.

Criação de métricas iniciais

Agora vamos tornar a coisa um pouco mais interessante, vamos delimitar nossa amostra em um período de um ano (2021) e criar mais algumas informações e métricas para utilização da análise da estratégia.

# Cria novo dataframe com base em filtros no RAW dataframe
df = raw.query("DATETIME >= '2020.01.01 00:00:00' & DATETIME <= '2020.12.31 23:00:00'")
# Cria coluna de número de linhas
df.loc[:,"ROW_N"] = [*range(0,df.shape[0])]
# Cálcula o valor de escala do eixo x em função da diferença dos preços de fechamento
df.loc[:,"EIXO_X"] = np.array([*range(0,df.shape[0])]) * np.mean(np.abs(df.CLOSE.diff(periods=1)))
# Reordena colunas
df = df.loc[:,["ROW_N", "EIXO_X", "OPEN", "CLOSE"]]

Adicionamos ao dataframe uma nova coluna com o número de linhas e uma outra coluna com um valor numérico que é o somatório acumulado da média das diferenças do preço fechamento atual e do dia anterior. Nesta última, criamos uma escala para utilizar como eixo horizontal quando calcularmos a regressão linear.

Plotando nosso dataframe temos a seguinte visualização:

myStyle = { "figure.figsize": (25,10), "figure.titlesize": 20, "axes.titlesize" : 20, 
            "axes.labelsize" : 18, "legend.fontsize": 18, "lines.linewidth" : 3,
            "lines.markersize" : 10, "xtick.labelsize" : 16, "ytick.labelsize" : 16}

plt.style.use(['seaborn', myStyle]) 
plt.plot('ROW_N', "OPEN", data=df, linestyle=':', marker='o', markerfacecolor='skyblue', color='skyblue')
plt.plot('ROW_N', "CLOSE", data=df, linestyle=':', marker='o', markerfacecolor='blue', color='blue')
plt.title("EUR X USD")
plt.legend()
plt.show()

A linha azul escuro traz os preços de fechamento e a azul clara os preços de abertura. Vamos utilizar o preço de abertura como preço de fechamento do dia anterior. No momento 15, note a diferença entre o preço de fechamento do dia anterior e o deste dia em questão. Compare agora olhando os dados diretamente no data frame:

Chegamos ao ponto principal do estudo: definir uma estratégia de entrada e saída de negociação. Vamos avaliar os casos em que o preço de fechamento atual rompe (cruza) a regressão linear registrada neste mesmo momento

Criação de métricas da regressão linear simples

Precisaremos então calcular a regressão linear simples (que é uma reta) para cada preço de fechamento (CLOSE). Teremos também que definir uma janela de tempo para a regressão. O código a seguir vai calcular os coeficientes angular (LRa), linear (LRb), o valor da regressão linear (PRC) e o ângulo em graus da reta. Todas essas variáveis serão calculadas para cada janela de 13 elementos do dataframe utilizando com pontos os campos EIXO_X e CLOSE:

wd = 13 # Janela de tempo para cálculo das estatistícas móveis
# Cálculo da regressão linear
lm_model = LinearRegression() # objeto do modelo estatístico - regressão Linear
iterator1 = [*range(0,df.shape[0])]
iterator2 = [*range(0+wd-1,df.shape[0])]

def _calcula_coeficientes(a, b):
    eixo_xt = np.array(df.EIXO_X[a : b+1])
    eixo_yt = np.array(df.CLOSE[a : b+1])
    # cálcula os coeficientes do modelo
    lm_model.fit(eixo_xt.reshape(-1, 1), eixo_yt)
    # extrair e registrar o coeficiente angular (a) convertido em ângulo (graus)
    cx = lm_model.coef_[0] 
    # extrair e registrar o coeficiente angular (a) convertido em ângulo (graus)
    cxa = np.arctan(lm_model.coef_[0]) * 180 / np.pi 
    # extrair e registrar coeficiente linear (b)
    cy = lm_model.intercept_ 
    prc = cx * np.array(df.EIXO_X[b]) + cy
    
    return cx, cxa, cy, prc

with ProcessPoolExecutor() as executor:
    cx, cxa, cy, prc = zip(*executor.map(_calcula_coeficientes, iterator1, iterator2))

tmpf = pd.DataFrame({"PRC_RL": prc, "LRa":np.array(cx), "LRag":np.array(cxa), "LRb":np.array(cy)},
                    index=np.array(df.index[wd-1:]))

df = df.join(tmpf, how="outer")
df = df.fillna(0)

O dataframe agora contém as informações de 12 retas de regressão linear de 13 elementos. Usando os rótulos do nosso dataframe, a equação de cada reta de regressão linear seria: PRC_RL = LRa * EIXO_X + LRb. Já o ângulo da reta é dado por: arco-tangente(LRa) * 180 / Pi. Confira com os dados abaixo:

Exemplificação da estratégia: entrada na operação

Para exemplificar a estratégia de forma gráfica, a regressão linear abaixo (em vermelho) foi criada a partir da segunda janela de 13 elementos do dataframe. A coluna PRC traz todos os preços da regressão linear que estão plotadas nessa curva. Compare os valores de OPEN, CLOSE e PRC e veja que, o valor de fechamento do dia anterior (OPEN) está abaixo do valor do preço da regressão linear (PRC) e, o valor do preços de fechamento atual (CLOSE) está acima do valor do preço da regressão linear (PRC). Desta forma temos um rompimento da regressão linear para cima. Repare também que o ângulo desta regressão é de 8,11 graus (coluna LRag)

df_tmp = df[1:14]
df_tmp["PRC"] = (df_tmp.LRa[12] * np.array(df_tmp.EIXO_X)) + df_tmp.LRb[12]
plt.plot('ROW_N', "OPEN", data=df, linestyle=':', marker='o', markerfacecolor='skyblue', color='skyblue')
plt.plot('ROW_N', "CLOSE", data=df, linestyle=':', marker='o', markerfacecolor='blue', color='blue')
plt.plot('ROW_N', "PRC", data=df_tmp, linestyle='-', color='red')
plt.title("EUR X USD")
plt.legend()

Definimos então que a nossa estratégia de entrada será o rompimento da reta da regressão linear. Para saber quais registros no nosso dataframe atendem a essa condição fazemos:

df.query(“OPEN <= PRC_RL & CLOSE >= PRC_RL" | “OPEN >= PRC_RL & CLOSE <= PRC_RL)"

Isso será útil para levantarmos todas a possíveis operações de entrada em uma amostragem bem maior. Vamos usá-la posteriormente.

Exemplificação da estratégia: saída da operação

Agora vamos para a estratégia de saída da operação. Consideraremos que a saída será qualquer preço de fechamento (CLOSE [x]) menor que o preço de fechamento (CLOSE [0]) registrado no início da operação. Resumindo, após a entrada, no primeiro prejuízo (variação negativa) saímos da operação.

Olhe novamente o gráfico anterior. Note que ocorrido o rompimento da regressão linear para cima, o preço de fechamento subsequente é menor que o que o preço de entrada da operação. Dessa forma nossa operação de entrada seria interrompida logo em seguida.

Bem, você já deve ter entendido o que vamos fazer. Após a operação de entrada, vamos guardar todas as variações dos preços subsequentes ao preço de entrada (CLOSE [0]) até que a operação seja interrompida quando ocorrer o primeiro prejuízo (variação (-)). Assim, teremos uma amostragem de todos os possíveis retornos a partir de um rompimento da regressão linear e todos os prejuízos também.

Obtenção dos resultados

Pegaremos um período de 1 ano e somente os rompimentos para baixo para gerar nossa amostra. Criaremos um novo dataframe chamado results_be_df:

# ângulo da reta da regressão linear
LRag_be = 0

# index de todos os cruzamentos do preço contra o preço da rl no Bear Market
ind_xbe = [*df.query("OPEN >= PRC_RL & CLOSE <= PRC_RL & LRag < %s" %(LRag_be)).ROW_N]

def _Calc_Var_BearM(i):
    df_tmp = df.query("ROW_N >= %s" %(i))
    cnt = 0
    cnt_tmp = []
    row_n= []
    close_tmp = []
    var_tmp = []
    varp_tmp = []
    for x in range(len(df_tmp)):
        row_n.append(df_tmp.ROW_N[x])
        close_tmp.append(df_tmp.CLOSE[x])
        var_tmp.append(df_tmp.CLOSE[0] - df_tmp.CLOSE[x])
        cnt_tmp.append(cnt)
        cnt += 1
        if (df_tmp.CLOSE[0] - df_tmp.CLOSE[x]) < 0: break
    
    return pd.DataFrame({"ROW_N": row_n, "COUNT": cnt_tmp, "CLOSE": close_tmp,
                         "CLOSE_X": df_tmp.CLOSE[0], "VAR": var_tmp})

with ProcessPoolExecutor(4) as executor:
    r2 = executor.map(_Calc_Var_BearM, ind_xbe)

results_be_df = pd.concat(r2, ignore_index=True)

Vamos analisar uma parte dos dados gerados:

A coluna COUNT mostra a contagem do início até o final da negociação, ou seja, a entrada, as possibilidades de retorno e a saída da operação, enquanto que, a coluna VAR, traz a variação de cada valor do preço de fechamento (CLOSE) em relação ao preço de entrada na operação (CLOSE_X). Portanto, a operação iniciada no registro 27, ofereceu 7 oportunidades de ganho antes de ser interrompida com prejuízo no oitavo registro.

Análise dos resultados

Com base nesse raciocínio, vamos olhar todos os resultados de uma só vez de forma gráfica. No período de 1 ano (2021), temos 487 rompimentos para baixo da regressão linear. Vamos separar a amostragem dos resultados positivos dos resultados negativos.

rownp3 = results_be_df.query("VAR > 0").ROW_N.count()
rownn4 = results_be_df.query("VAR < 0").ROW_N.count()

plt.figure(figsize=(25,8))

plt.subplot(2,2,1, title=r"BOX PLOT BEAR MARKET - EUR x USD - VAR(-) | Sample: %s" %(rownn4))
plt.boxplot([*results_be_df.query("VAR < 0").VAR], showfliers=False)

plt.subplot(2,2,2, title=r"BOX PLOT BEAR MARKET - EUR x USD - VAR(+) | Sample: %s" %(rownp3))
plt.boxplot([*results_be_df.query("VAR > 0").VAR], showfliers=False)

plt.subplot(2,2,3, title=r"HISTOGRAM BEAR MARKET - EUR x USD - VAR(-) | Sample: %s" %(rownn4))
plt.hist(results_be_df.query("VAR < 0").VAR, bins=100, density=False)

plt.subplot(2,2,4, title=r"HISTOGRAM BEAR MARKET - EUR x USD - VAR(+) | Sample: %s" %(rownp3))
plt.hist(results_be_df.query("VAR > 0").VAR, bins=100, density=False)

plt.show()

Para os resultados positivos temos 16250 possibilidades de retorno em 487 operações iniciadas. Abaixo temos a descrição e a distribuição da amostra.

Para os resultados negativos temos os seguintes resultados:

Pela comparação dos dados positivos e negativos, pela amplitude e quantidade de retornos positivos e negativos, podemos concluir que há reais possibilidades de retornos financeiros positivos com essa estratégia. Podemos expandir a simulação para um período muito maior e, ou ainda utilizar o ângulo da reta da regressão linear como mais uma variável a ser inserida nessa modelagem.

Até aqui acredito que as informações foram suficientes para prosseguir com um estudo mais aprofundado e também aplicação de Machine Learning. Esses tópicos serão abordados em posts futuros.