Inteligência artificial tradicional e preparação de dados são essenciais na era da IA Generativa

“A inteligência vem dos dados e a precisão virá da engenharia aplicada e o impacto positivo ou não, virá da combinação desses fatores.”

Muito se fala dos avanços da IA generativa, como ChatGPT, Claude, Gemini, Perplexity, dentre outros. Realmente é impressionante a capacidade das ferramentas e modelos xLM de gerar textos, vídeos, imagens, interpretar comandos e construir análises robustas. As plataformas como Watsonx.data & AI, Databricks e outras trazem consolidação para engenharia e aplicação de métodos e tecnologia para potencializar o uso dos dados para negócio, como “nunca antes na história desse país” e do mundo. Em nossa experiência na MD2, a combinação inteligente dessas plataformas e das tecnologias maduras de integração, qualidade e preparação de dados trazem resultados surpreendentes quando aplicado a dados corporativo, para geração de insights e ações que trazem mais negócios ou melhor atendimento para atendimento a cliente, mas também a geração de novas idéias de ofertas.

MD2 Interactive Intelligence entra nesse cenário como uma aplicação de negócio que implementa casos de uso de IA com grandes volumes e silos de dados (estruturados e não estruturados) e explora a tecnologia de qualquer plataforma de dados & IA.

Assim, a inteligência dos modelos, os algoritmos e os casos de uso são implementados para os negócios, abstraindo o backend técnico, onde a combinação de IA tradicional, generativa, qualidade de dados, gestão de metadados e privacidade de dados garante o que os usuários do negócio podem e precisam ver, sem a complexidade e camadas técnicas.

Quando falamos de previsão de demanda, comportamento, risco ou operações, ainda existe uma base técnica que não pode ser ignorada que é a IA tradicional, um conjunto de métodos estatísticos e algoritmos de machine learning que usam dados históricos estruturados para prever o futuro. Como por exemplo ARIMA / SARIMA para séries com tendência e sazonalidade, GARCH para modelagem de volatilidade como do mercado financeiro, LSTM redes neurais para padrões complexos em dados sequenciais, e como destaque o Prophet que foi criado pelo Facebook, flexível e fácil de interpretar e modelos de suavização exponencial e regressões aditivas, mesmo para quem não possui grande conhecimento de estatística. Esses modelos são explicáveis, auditáveis e altamente eficazes quando bem-preparados.

“Sem bons atributos (features), nenhum modelo seja tradicional ou generativo conseguirá entregar valor.”

Então temos que falar em preparação de dados, feature engineering ou engenharia de atributos que é o processo que transforma dados brutos em variáveis relevantes e informativas, como dias desde a última compra, variação da média móvel, diferença em relação ao mês anterior, eventos externos, como campanhas de marketing, promoções, valor do dólar, número de vendedores, ou feriados, ou trazem redução de dimensionalidade, explicabilidade dos modelos e transparência.

Os melhores modelos geralmente não são os mais complexos, são aqueles com os melhores dados de entrada. Da mesma forma, a integração dos dados é um passo crítico. Dados isolados em silos, planilhas ou sistemas não conversam entre si. A construção de modelos unificados, confiáveis e com linha do tempo coerente exige um ETL bem-feito (extração, transformação e carga), modelagem de dados adequada para séries temporais, captação de dados eventos externos (clima, preços, concorrência, conversão do dolar,)

A qualidade dos dados e os metadados são os guardiões da previsibilidade, assim, dados ruins, irão oferecer previsões péssimas. Inconsistências, valores ausentes, registros duplicados ou fora de ordem prejudicam diretamente os modelos, e assim técnicas como interpolação, imputação e tratamento de outliers são essenciais.

Além disso, metadados ou seja, dados sobre os dados são fundamentais para garantir a rastreabilidade das previsões, entender a origem, frequência, granularidade e transformações dos dados e permitir governança e reuso confiável em múltiplos contextos analíticos

Existem inovações promissoras no campo da IA generativa para a previsões como TimeGPT, TFT e DeepAR que são modelos baseados em transformers voltados para previsões multivariadas. O próprio chatGPT pode explicar previsões, construir pipelines e sugerir atributos novos em linguagem natural, mas esses modelos requerem muito mais dados, são menos explicáveis e nem sempre se adaptam bem a ambientes regulados

Assim, certamente IA generativa é complementar ao processo de forma geral, porque permite que os próprios estatísticos e/ou usuários de negócio consigam desencadear os processos periféricos como a formulação de hipóteses sobre o comportamento dos dados, automatização da criação de consultas e análises exploratórias,  geração de scripts para tratamento, interpolação ou preparação de séries temporais, a criação assistida de modelos preditivos com base em critérios de negócio, a simulação de cenários com variações de premissas estratégicas, a documentação automática das análises realizadas e dos resultados obtidos e  até mesmo a explicação, em linguagem natural, dos padrões ou tendências detectadas nos dados.

Dessa forma, a IA generativa atua como um agente de ampliação da produtividade e da acessibilidade analítica, acelerando o ciclo de previsão com mais autonomia, menos dependência técnica e maior alinhamento com os objetivos de negócio.

www.md2consultoria.com.br

Adicionar aos favoritos o Link permanente.