A Databricks, uma das gigantes no cenário da inteligência artificial, acaba de lançar um guia e código aberto para a execução de cinco modelos de fundação tabulares. Esses modelos de IA são capazes de gerar previsões a partir de dados organizados em formato de planilha, eliminando a necessidade de treinamento específico para cada nova tarefa. A novidade foi divulgada em um post no blog da empresa, acompanhada de um código gratuito que permite comparar o desempenho desses cinco modelos.
Tradicionalmente, empresas que utilizam dados tabulares para prever riscos de crédito, rotatividade de clientes ou demanda, precisam desenvolver e retreinar um modelo distinto para cada uma dessas finalidades. A proposta dos modelos de fundação tabulares é diferente: eles são pré-treinados com milhões de conjuntos de dados sintéticos e, no momento da previsão, aprendem a partir das linhas de exemplo fornecidas pela empresa. Isso representa uma mudança significativa na forma como a IA interage com dados estruturados.
O Contexto da Inovação e Seus Custos
A ideia por trás desses modelos está ganhando força no mercado. A SAP, que mantém uma colaboração próxima com a Databricks, fechou um acordo de mais de 1 bilhão de euros em julho para adquirir a Prior Labs, criadora do modelo TabPFN. Além disso, a H2O.ai lançou seu próprio modelo em maio, indicando uma tendência crescente na área.
Contudo, a Databricks é transparente sobre as contrapartidas. A execução desses modelos em GPUs, por exemplo, acarreta um custo por previsão superior ao de um modelo XGBoost clássico rodando em um processador comum. O consumo de memória também aumenta proporcionalmente ao número de linhas, já que o modelo lê o conjunto de treinamento completo a cada previsão. É um trade-off entre agilidade e recursos computacionais.
Licenciamento e Capacidade Técnica
Outro ponto importante é o licenciamento. Dos modelos listados pela Databricks, TabICLv2, Mitra v2 e KumoTabular podem ser utilizados comercialmente. No entanto, TabFM e a versão mais recente do TabPFN exigem um acordo separado com seus desenvolvedores. Essa distinção é crucial para empresas que planejam integrar essas soluções em suas operações.
Essa oferta faz parte do AI Runtime da Databricks, um serviço de GPU pago conforme o uso, que está em fase de pré-visualização desde março. A Databricks afirma que seus chips Nvidia H100 podem executar o TabPFN-3 em tabelas com até 1 milhão de linhas e 200 colunas. Apesar do potencial, a empresa, avaliada recentemente em 190 bilhões de dólares, ainda recomenda que as empresas testem os modelos com seus próprios dados antes de uma implementação em larga escala.
O que isso muda para você
Para profissionais brasileiros que trabalham com dados e inteligência artificial, essa inovação da Databricks pode significar uma aceleração considerável no desenvolvimento de soluções preditivas. A capacidade de gerar previsões sem a necessidade de treinar um modelo do zero para cada tarefa específica pode liberar equipes de dados para focar em análises mais estratégicas, em vez de gastar tempo excessivo com o ciclo de treinamento e retreinamento.
No entanto, é fundamental considerar os custos operacionais e os requisitos de licenciamento. A maior demanda por GPUs e o custo por previsão podem impactar o orçamento de projetos de IA. Profissionais devem avaliar cuidadosamente o custo-benefício, testando os modelos com seus próprios dados para entender o impacto real e garantir que a eficiência ganha não seja superada pelos gastos adicionais. O próximo passo concreto é explorar o guia e o código aberto da Databricks para entender a aplicabilidade e os custos envolvidos para seus próprios casos de uso.
