Como estruturar projetos Analytics de alto nível – Dados Transacionais versus dados Analíticos

O interesse pela área de análise de dados é grande, e isso está levando diversos profissionais optar pela migração de carreira total ou parcial. As empresas, por sua vez,  necessitam estruturar constantemente seus projetos de analytics para enfrentar as mudanças trazidas pelas demandas de informação da Indústria 4.0. 

Para ajudá-los neste processo, escrevemos este artigo baseado-se em diversas ocasiões em que trabalhamos na formação e treinamento de equipes de análise de dados.

O objetivo aqui é apresentar as diferenças conceituais de sistemas transacionais (que geram dados transacionais) em relação aos sistemas analíticos (que geram dados analíticos).

“Tenho visto nas consultorias da Aquarela que um dos maiores degraus que as empresas estão enfrentando na escalada dos níveis maturidade de dados é conseguir que todos os envolvidos (cientistas, analistas, diretores) saibam a diferença entre sistemas transacionais e sistemas analíticos. Há um grande problema de comunicação acontecendo nas empresas. Sem isso, os times não só trabalham em páginas diferentes, como também (me arrisco a dizer), em livros diferentes.” (Joni Hoppen – Sócio Fundador da Aquarela)

Dados Transacionais

Quando realizamos uma transferência bancária, a transação do dinheiro da nossa conta para o estabelecimento gera um Dado Transicional ou Operacional.  Eles são caracterizados pela realização de transações com curta duração e pequeno volume de dados manipulados. O foco dos mesmos é “escrever” informações.

A transferência gera uma transação que tem um valor, uma origem, limite de tempo, etc. São sistemas que dão garantia de integridade, ordem temporal de cada uma das transações.

Um dos principais requisitos dos sistemas transacionais é a performance, ou seja, é necessário que a transação ocorra no momento em que foi requerida. Também podemos imaginá-los como sistemas de controle em tempo real (sistemas on-online) ou quase real.

Abaixo apresentamos alguns exemplos destes sistemas:

1. Sistemas bancários: cada transação, pagamento ou saque realizado gera um registro da ação que você fez de forma segura, e normalmente distribuída em diversos sistemas.
2. Sistemas ERP: geralmente, empresas que realizam vendas de produtos e serviços mantém seus sistemas de gestão operando 24×7 a fim de receber e integrar as transações de compra, venda e estocagem dos seus produtos, até fazer a interligação dessas informações com o site de E-commerce.
3. Na área de marketing digital podemos destacar o RD Station, ferramenta desenvolvida pela Resultados Digitais que utilizamos para gerir o marketing digital da nossa operação. Ele é uma ferramenta transacional, que também realiza funções analíticas, coletando em tempo real informações sobre acessos, conversões, e-mails e leads que interagem com nossos sites, formulários e redes sociais.

Dados Analíticos

Os dados analíticos são informações geradas a partir dos sistemas transacionais. Ou seja, é o conjunto das transações coletadas para fins de decisões administrativas pontuais ou até para definição de políticas de longo termo. Os dados analíticos são o principal insumo para o planejamento, respondendo perguntas como:

• Quais são os produtos mais vendidos em uma determinada época?
• Como é o comportamento dos clientes da região X em relação aos clientes da região Y?
• Quais são os fatores que mais influenciam o aumento de vendas durante o inverno?

O trabalho sobre os dados analíticos acontece de modo off-line e engloba a análise dos dados transacionais agrupados de acordo com o tipo de pergunta feita pelos analistas de negócio. Os dados analíticos necessitam ser estruturados em datasets de análise. (O que são Datasets e como utilizá-los). A obtenção dos dados analíticos se dá de diversas formas, mas principalmente por extrações dos bancos de dados em arquivos no formato .CSV ou .XLSX.

Recomendação importante, não realize análises de dados em dados transacionais, sob pena de interrupção nos serviços on-line.

Nesse contexto de análise, incluímos o uso constante de algoritmos de Inteligência Artificial, estatística, matemática e modelos econométricos, dependendo do setor de negócio – (14 Setores para aplicação de Data Analytics) .

Com estas ferramentas, conseguimos estruturar análises que possibilitem a geração de insights ou novos dados que são importantes para aumentar a eficiência do negócio.  

O foco dos dados analíticos é a leitura e o estudo dos padrões acumulado nos sistemas transacionais. Uma lista dos tipos de análises foram descritos neste artigo sobre análise descritiva, prescritiva, e cenarização.

Exemplos de Sistemas Analíticos

1. Sistemas de Business Intelligence (BI´s): são sistemas que podem ser utilizados para extrair os dados transacionais e gerar visualizações simples e intuitivas para gestão. Existem diversas opções no mercado e a sua utilização permite o acesso das empresas ao nível 3 de maturidade de analytics (DCIM).
2. Google Analytics (GA): agrega diversas informações sobre o comportamento de vistas ao site da empresa, informando por exemplo o número de acessos, páginas visitadas, tempo de visita e diversas outros indicadores. Esta ferramenta é bastante importante para as equipe de marketing e vendas.
3. Aquarela Vorteris: esta é uma ferramenta de análise de dados que permite a inserção de datasets de diversos setores para detecção de outliers ( leia aqui o que são outliers e como tratá-los ), mensuração das forças de fatores em relação a determinados resultados, geração de ações preventivas em logística, cobrança, fraudes e manutenção de equipamentos.     

Sistemas Híbridos

O grande valor extraído dos dados analíticos ocorre quando há uma integração estruturada dos dados transacionais com os conhecimentos gerados pelas análise de dados. Este processo pode ocorrer de forma manual, descobrindo os padrões e ajustando o sistema transacional, ou de forma automática, na situação onde ele questiona a base analítica antes de apresentar uma resposta aos usuários. Alguns exemplos disso são:

• Agendamentos médicos: no caso de um hospital, o sistema transacional de agendamento de consultas médicas recebe o pedido de um novo agendamento de consulta em tempo real e é capaz de questionar a base analítica em tempo real para inferir a probabilidade do paciente de faltar neste agendamento. Se, por exemplo, há uma alta probabilidade de falta na consulta (informado pelas ferramentas de Inteligência Artificial), a administração poderia aplicar uma regra para que ele(a) seja obrigado a fazer duas confirmações ou mesmo escolher a data com menor chances de falta antes da consulta ser agendada – mais informações neste link.
• Netflix: Este é um exemplo clássico de um modelo de negócio disruptivo que une os dados transacionais da entrega de vídeos com alta qualidade em tempo real, associado a um conjunto de regras e heurísticas computacionais geradas pela Inteligência Artificial que garantem recomendações de alto nível de filmes de acordo com os perfis de usuários da ferramenta. Não ache estranho que todos os tipos de filmes que você mais gosta são os que estão na primeira página da sua televisão.

Na tabela abaixo, elencamos alguns exemplos práticos e como o tipo de informação (dado) é classificado:

Projetos Analytics – Conclusão

Como vimos, é de grande importância que as pessoas envolvidas nas iniciativas de análise de dados estejam a par das diferenças conceituais envolvidas, e na própria infra-estrutura de informação montada para tal. O não entendimento desses conceitos pode provocar dificuldades de alinhamento, expectativas e frustrações entre os times que operam dados transacionais e/ou analíticos.

Ao final vemos que o grande objetivo, ou o caminho que todos buscam em analytics, é chegar a sistemas híbridos cada vez mais autônomos para atender seus clientes, como o extraordinário caso da Netflix, que indiscutivelmente se enquadra no nível 5 de maturidade de dados da metodologia DCIM. Para que as empresas e os profissionais tenham uma visão dos níveis de maturidade das empresas brasileiras em termos de analytics, sugerimos conferir esta pesquisa que realizamos:

Pesquisa sobre a qualidade dos dados empresariais no Brasil.

O futuro da área de analytics é a automação de comportamentos inteligentes, apoiados por Inteligência Artificial em todos os setores onde há informação, gerando um nível de otimização e personalização dos serviços em grande escala, sem paralelos na história.

Assista aqui um Webinar sobre os impactos da Inteligência Artificial nos negócios.

Autores