A crescente adoção de agentes de inteligência artificial (IA) nas empresas brasileiras traz à tona um desafio crítico: a lacuna de avaliação. Um estudo recente com 157 organizações mostrou que, embora as empresas estejam concedendo mais autonomia aos seus agentes de IA, a confiança nas avaliações que garantem essa autonomia é alarmantemente baixa. Metade das empresas que participaram da pesquisa já lançou um agente que, apesar de ter passado nas avaliações internas, falhou em situações reais com clientes.
A pesquisa revelou que apenas 5% das empresas confiam plenamente nas avaliações automatizadas. A principal crítica é que essas avaliações não refletem adequadamente os resultados do mundo real. Isso gera um descompasso significativo entre a autonomia concedida aos agentes e a confiança nas ferramentas de avaliação. Em um cenário onde dois terços das organizações estão permitindo ou planejando permitir a implementação de mudanças em agentes de IA sem supervisão humana, a situação se torna ainda mais preocupante.
Um dos pontos centrais do estudo é que a maioria das empresas ainda utiliza ferramentas de avaliação fragmentadas e imaturas. Os métodos mais comuns de avaliação são as avaliações nativas dos provedores de modelos, mas muitas empresas não possuem ferramentas dedicadas para isso. Apenas cerca de um quarto das organizações realiza verificações de qualidade em tempo real no tráfego de produção, o que é essencial para garantir que os agentes funcionem como esperado.
Esse cenário é particularmente relevante para o mercado brasileiro, onde a transformação digital está em plena expansão. As empresas precisam estar atentas a essa lacuna de avaliação, pois a confiança excessiva em avaliações automatizadas pode levar a falhas que impactam diretamente a experiência do cliente. O desafio é encontrar um equilíbrio entre a inovação e a segurança, garantindo que os agentes de IA sejam realmente eficazes antes de serem liberados para o público.
Os líderes técnicos devem repensar suas abordagens de avaliação e considerar a implementação de processos que integrem feedback humano nas avaliações. Isso não apenas aumentaria a confiança nas ferramentas de avaliação, mas também ajudaria a alinhar as expectativas com os resultados reais. A transparência nas avaliações e a comunicação clara sobre as limitações dos agentes de IA são passos cruciais para mitigar riscos.
Em suma, a lacuna de avaliação representa um risco significativo para as empresas que estão rapidamente adotando a IA. Para evitar falhas dispendiosas e danos à reputação, é imperativo que as organizações reavaliem suas práticas de avaliação e busquem um alinhamento mais próximo entre a autonomia dos agentes e a confiança nas suas capacidades. O futuro da IA nas empresas brasileiras depende disso.
