Competições de previsão na era da inteligência artificial

A previsão é função essencial para as organizações. Serve de ponto de partida para diversas atividades realizadas nas empresas, por exemplo: planejamento do fluxo de caixa, planejamento da produção, planejamento energético, planejamento de vendas, controle de estoques, entre outras. Portanto, quanto maior o erro na previsão, maior é a dificuldade da empresa em se planejar nas diversas áreas funcionais que a compõem.  Esta dificuldade de planejamento nas diversas áreas impõe perdas financeiras às empresas, as quais podem advir de excesso de estoques, vendas perdidas, ineficiências no planejamento e controle da produção e problemas no fluxo de caixa,  reduzindo a competitividade das organizações.

Nesse contexto, é fundamental utilizar métodos de previsão quantitativos, mas a questão recorrente é: qual método utilizar? Qual deles pode apresentar o melhor resultado? Para responder a essas questões, foram criadas competições de previsão para medir a eficácia de diversos métodos e ajudar a evoluir esta área de conhecimento.

Competições de previsão

Para identificar os melhores modelos, os pesquisadores da área, desde os anos 1980, elaboram competições de previsão. Um dos pesquisadores pioneiro no assunto é o Prof. Spyros Makridakis, fundador e editor-chefe do Journal of Forecasting e International Journal of Forecasting, dois dos principais jornais da área. Além disso, ele criou a competição de previsão M (Makridakis), que foi realizada pela primeira vez no ano de 1982. Essas competições ocorreram em 5 edições ao longo de 4 décadas em que foram convidados pesquisadores, estudantes e profissionais da área para participarem.

Nas 3 primeiras edições da competição (entre 1980 a 2000), os melhores resultados foram obtidos com métodos estatísticos clássicos para série temporal, por exemplo: a suavização exponencial e o método theta. A seguir, um resumo das 3 primeiras edições.

• Competição M1 – realizada em 1982, com 1001 séries e 15 métodos de previsão. 

• Competição M2 – realizada entre 1987 e 1991, com 29 séries de dados.

• Competição M3 – realizada em 2000, com 3003 séries de dados e pela primeira vez pesquisadores da área de redes neurais. As séries possuem frequências anuais, trimestrais, mensais e outros de diversos setores, por exemplo: micro economia, indústria, macroeconomia, finanças, demográfica e outras. 24 métodos de previsão foram utilizados.

Frequência	Micro	Industria	Macro	Financças	Demográfica	Outra	Total
Anual	146	102	83	58	245	11	645
Trimestral	204	83	336	76	57	0	756
Mensal	474	334	312	145	111	52	1428
Outros	4	0	0	29	0	141	174
Total	828	519	731	308	413	204	3003

Competição M4

Na quarta edição (competição M4), ocorrida em 2018, foram utilizadas 100.000 séries, com frequências anuais, trimestrais, mensais, semanais, diárias e horárias, de diversos setores (micro economia, indústria, macroeconomia, finanças, demográfica e outras). Ela obteve uma ampla participação dos envolvidos, inclusive de cientistas de dados de empresas como a Uber, que elaborou o método de previsão vencedor da competição. Foi a primeira vez que um modelo híbrido, de série temporal (suavização exponencial) com machine learning, ganhou o primeiro lugar, mostrando assim o potencial destas novas abordagens utilizando inteligência artificial.

Frequência	Micro	Industria	Macro	Financças	Demográfica	Outra	Total
Anual	6538	3716	3903	6519	1088	1236	23000
Trimestral	6020	4637	5315	5305	1858	865	24000
Mensal	10975	10017	10016	10987	5728	277	48000
Semanal	112	6	41	164	24	12	359
Diária	1476	422	127	1559	10	633	4227
Horária	0	0	0	0	0	414	414
Total	25121	18798	19402	24534	8708	3437	100000

Competição M4 – realizada em 2018, com 100.000 séries e 49 métodos de previsão

Competições de previsão – M5

A última competição realizada foi a M5 em 2020, já utilizando a famosa plataforma de competições e séries de dados kagle. Nesta competição, foram utilizados 42.840 séries de dados diários (nível de sku), mas agora de uma única empresa, o Walmart. Por ter sido hospedada na plataforma, ela contou com mais de 6.000 participantes, número muito superior ao das competições anteriores. O melhor método nesta competição foi pela primeira vez um puro de machine learning (LightGBM).

O número de praticantes e de métodos de previsão vêm aumentando exponencialmente nos últimos 5 anos nesta área, mostrando assim que a evolução dos métodos com inteligência artificial está apenas começando. E o que podemos esperar nos próximos anos?

Competição M6 – Mercado Financeiro

Atualmente está ocorrendo a competição M6 (detalhes podem ser vistos aqui), que começou em março de 2022 e terminará em janeiro de 2023. Ela consiste em prever retornos (com consequentes estratégias de investimento) de 50 ações de empresas que pertencem ao S&P500 e 50 ETFs (fundos de investimentos). Mas quais serão os métodos mais eficientes nesta competição?

Conclusão – Competições de previsão

A melhoria constante das previsões é essencial para as organizações, ajudando assim no planejamento de várias atividades e redução de custos. Para isso, as competições são um excelente lugar para identificar como estão evoluindo os métodos de previsão. Durante quase 35 anos (entre os anos de 1980 até meados da década passada), os métodos mais utilizados e com maior assertividade foram os estatísticos clássicos para séries temporais, por exemplo: a suavização exponencial, ARIMA e outras variações dos mesmos. Entretanto, com o aumento da quantidade de dados disponíveis e capacidade computacional, novos métodos utilizando inteligência artificial (machine learning) passaram a ser uma realidade, não só em popularidade, como também apresentaram melhores resultados nas últimas duas competições (de 2018 e 2020). Com a adoção destes métodos pelas organizações, espera-se um grande salto em eficiência nos próximos anos.

Autor