Há um movimento de parte do mercado que segue abandonando modelos de interação passiva em favor de equipes coordenadas de agentes. Processos esses que gerenciam ciclos de vida inteiros de aplicações, desde a concepção até a manutenção.

O principal motivo para essa mudança refletir nos projetos reside na capacidade desses sistemas de reduzir o tempo de entrega de meses para dias. Essa mudança trás vários benefícios, mas o que gosto de destacar é que especialistas foquem na estratégia e na arquitetura. A parte operacional, e muitas veze repetitiva, é realizada por ferramentas especializadas nestas tarefas.

Da lógica determinística à fluidez da GenAI

O desenvolvimento de software tradicional sempre se baseou em uma lógica determinística, onde entradas específicas geram saídas previsíveis através de regras rígidas. De maneira análoga, os projetos de dados evoluíram para organizar grandes volumes de informação, buscando padrões claros para suportar decisões de negócio. Contudo, a introdução de ferramentas de Inteligência Artificial mudou essa dinâmica, movendo a computação para um campo onde a flexibilidade dos dados substitui as regras engessadas nas camadas de negócios.

Fazendo uma rápida linha do tempo, há poucos anos, interagimos com chatbots passivos. Estes eram limitados a fluxos de perguntas e respostas pré-programadas que frequentemente frustravam o usuário por sua falta de contexto. Mais recentemente, surgiram os chatbots conversacionais, que trouxeram maior fluidez na linguagem natural e uma interação mais humana.

Enquanto isso, projetos de Machine Learning consolidaram o paradigma probabilístico, focando em prever resultados com base em estatísticas e dados históricos. Atualmente, a IA Generativa representa o ápice desse interesse, sendo a tecnologia mais procurada por sua capacidade de criar conteúdo inédito e complexo.

Aplicações reais e a hierarquia da IA

A IA Generativa expandiu as fronteiras do possível, permitindo aplicações que vão desde a automação de revisões jurídicas até a criação de plataformas de B2B2C complexas. Para navegar nesse novo ecossistema, é fundamental distinguir as diferentes categorias de ferramentas disponíveis no mercado atual.

• Um Assistente de IA atua como um colaborador que sugere melhorias ou completa tarefas simples sob demanda direta;
• Já um Agente de IA possui maior autonomia, sendo capaz de planejar e executar fluxos de trabalho completos para atingir um objetivo;
• A evolução natural desse conceito nos leva à IA Multiagente, onde diferentes especialistas digitais trabalham em paralelo, coordenados por um orquestrador central;
• Por fim, a IA Agêntica descreve sistemas de longo prazo que operam por dias ou semanas, mantendo a coerência e adaptando-se a falhas sem intervenção constante.

Conhecer essa estrutura de ferramentas permite que engenheiros atuem como orquestradores, focando em “o que” construir, enquanto a IA cuida do “como” implementar. Esta mudança de papel aumenta o volume de entrega e permite que empresas corrijam pequenas falhas que antes seriam ignoradas por falta de tempo.

Já falei disso outras vezes, mas nunca é demais relembrar. A IA é uma ferramenta, trate ela como tal. Dependendo do tipo de projeto que está desenvolvendo, é fundamental ter um Human-in-the-Loop para “aprovar” ou “rejeitar” uma determinada ação que a ferramenta tomou. Volto a falar destas questão de risco mais pra frente neste texto.

A Importância das métricas e do ROI

Para que esses projetos agênticos tragam resultados positivos, a implementação de métricas de acompanhamento rigorosas são prioridades estratégicas. Não basta medir apenas a velocidade de execução, as organizações precisam avaliar a autonomia do agente e a precisão de suas decisões.

Um estudo da Harvard Busines Review (que está referenciado no relatório da Anthropic) mostrou que, embora a IA seja usada em 60% do trabalho, a taxa de delegação total (% de quanto os devs delegam para IA fazer) ainda é baixa, variando entre 0% e 20%. Isso reforça a necessidade de métricas que quantifiquem a eficácia da colaboração humano-IA e o tempo economizado por interação.

A atenção deve estar voltada para a criação de sistemas de controle de qualidade que identifiquem vulnerabilidades antes que elas cheguem à produção. Empresas que ignoram essa etapa correm o risco de criar gargalos técnicos ou introduzir falhas de segurança críticas em seus sistemas.

Monitorar o volume de tarefas “totalmente delegadas” versus tarefas “colaborativas” ajuda a ajustar as expectativas de produtividade do time. Inclusive, recomendo a leitura deste outro material da Anthropic, Measuring AI agent autonomy in practice.

Preocupações críticas de segurança e supervisão humana

Voltando ao ponto dos riscos, a implementação de agentes exige uma postura de segurança em primeiro lugar, dado que a tecnologia possui natureza de uso duplo. O mesmo agente que automatiza defesas pode, se mal configurado, ser explorado por atacantes para escalar ameaças em velocidade de máquina.

Além disso, a supervisão humana não deve ser negligenciada, mas sim escalada através de sistemas de revisão automatizados. O objetivo é fazer com que a expertise humana conte onde ela é mais valiosa: em decisões estratégicas e casos de complexos.

Outra preocupação essencial é evitar que a autonomia dos agentes crie uma “caixa preta” organizacional, onde ninguém compreende as decisões tomadas pelo sistema. Agentes sofisticados devem ser projetados para reconhecer incertezas e pedir ajuda quando o impacto nos negócios for elevado. Sem esse guardrail, o risco operacional pode anular os ganhos de produtividade obtidos com a automação.

O impacto na sociedade e no mercado

A IA vai tomar meu emprego? Bom, já falei disso algumas vezes. Te convido a ler o que penso sobre o assunto aqui neste post.

A transição para sistemas agênticos não é apenas uma mudança de ferramenta, mas uma reconfiguração da economia do desenvolvimento de software. Projetos que antes eram inviáveis devido ao alto custo de manutenção ou débito técnico acumulada, agora tornam-se factíveis através do trabalho autônomo de agentes.

Isso democratiza o acesso à tecnologia, permitindo que área de negócios que são especialistas de domínios como jurídico, marketing e vendas construam suas próprias soluções sem depender exclusivamente de equipes de engenharia, que muitas vezes, estão atolados até o pescoço em demandas represadas.

Para os desenvolvedores, o impacto é uma evolução forçada para o papel de arquiteto e orquestrador. A capacidade de aprender novos contextos em horas, em vez de semanas, permite uma alocação de talentos muito mais dinâmica e resiliente.

Na sociedade, isso se traduz em serviços digitais mais eficientes, como triagens em poucas horas e respostas jurídicas quase em tempo real. A medição de sucesso, contudo, dependerá de como as empresas gerenciam o paradoxo da colaboração: usar a IA para o trabalho tático enquanto preservam o julgamento humano para o que realmente importa.

Não precisamos de agentes para “tudo”, mas sim para as tarefas que escalam nossa capacidade de resolver problemas reais. O grande desafio de negócio não é a substituição do capital humano, mas a superação da ineficiência operacional que consome o tempo estratégico das lideranças.

Pense nisso!

Imagem de capa feita utilizando Google Nano Banana, com o prompt: Crie uma imagem com qualidade de foto 4k, de retrato suave, com iluminação de estúdio. A composição deve ter uma aura de orquestra contendo 7 robôs regida por um ser humano. O humano e os robôs estão vestidos apropriadamente, só que ao invés de tocarem instrumentos os robôs estão realizando tarefas em uma linha de produção. Todos robôs estão conectados por fios em um computador a frente do regente humano. A foco é explicar a ideia de IA Agêntica

O post Agentes de IA em 2026 – A evolução da programação e autonomia apareceu primeiro em Diego Nogare.

Avaliar um único LLM já exige métricas robustas, porém um sistema multiagente adiciona ainda mais camadas de complexidade. Cada agente pode desempenhar papéis diferentes, interagir de formas variadas e impactar o resultado final do sistema.

Quero explorar, e te apresentar, por que a medição é fundamental, além de comentar sobre os desafios envolvidos e as diferenças entre um LLM isolado e um sistema multiagente, como também, falar das principais métricas de avaliação formais e também dos métodos empíricos.

Por que medir a eficiência de sistemas multiagentes?

Medir o desempenho de sistemas multiagentes baseados em LLMs é peça importante para validar sua eficácia em aplicações reais. Diferente de um único modelo de linguagem, um sistema multiagente pode envolver diversos componentes colaborativos. Contudo, se não forem avaliados corretamente, esses sistemas podem apresentar problemas como redundância, latência e inconsistências nos resultados.

Outro fator crítico é a otimização de recursos computacionais. Sistemas multiagentes podem consumir alto poder computacional, demandando otimização para evitar desperdício de capacidade de processamento, e afinal, jogar dinheiro fora.
O impacto na experiência do usuário também é relevante. Chatbots avançados, assistentes de IA e automação de processos já usam sistemas multiagentes. Se a colaboração entre agentes não for fluida e eficaz, os usuários podem enfrentar respostas incoerentes, atrasos ou falhas no fluxo da interação. Além dos riscos que citei no  finalzinho do primeiro parágrafo.

Desafios na avaliação de sistemas multiagentes

Um dos principais desafios é a complexidade das interações entre agentes. Ao contrário de um LLM isolado, um sistema multiagente precisa considerar não apenas a precisão das respostas, mas, também, a fluidez da comunicação entre os agentes. Existem várias estratégias que ajudam a criar sistemas multiagentes.

Outro desafio é a variabilidade dos cenários de teste. Diferentes aplicações exigem diferentes abordagens de avaliação. Por exemplo, a consistência das respostas e capacidade de adaptação ao contexto devem ser testados em sistemas voltados para atendimento ao cliente. Já agentes usados para geração de código precisam ser avaliados pela exatidão e eficiência na colaboração além de entregar código que compila.

A escalabilidade também é um ponto crítico, contudo, a medida que mais agentes são adicionados no fluxo, o desempenho pode ser impactado de maneiras imprevisíveis. Uma medição eficaz precisa metrificar como a escalabilidade afeta latência, uso de memória e qualidade das respostas.

Diferenças entre medir um único LLM e um sistema de multiagentes

A avaliação de um único LLM geralmente se concentra na precisão das respostas, fluência textual e eficiência computacional, contudo, deixa outras métricas de fora. Por exemplo, as métricas tradicionais incluem perplexidade, Bilingual Evaluation Understudy (BLEU) e Metric for Evaluation of Translation with Explicit Ordering (METEOR), que analisam a qualidade do texto gerado. No entanto, esses critérios não são suficientes para um sistema multiagente.

Em um sistema de agentes colaborativos, a interdependência entre agentes deve ser considerada. Isso significa que métricas como tempo de resposta em interações múltiplas, coerência global da conversa e resiliência a falhas se tornam mais importantes. Se um agente falha ou gera uma resposta inconsistente, a avaliação precisa medir como o sistema como um todo reage e compensa essas falhas.
Além disso, o comportamento emergente é um fator relevante. Em sistemas multiagentes, os agentes podem desenvolver padrões de interação que não foram necessariamente previstos. Garantir a adaptabilidade do sistema é essencial para assegurar que as respostas geradas sejam úteis e confiáveis.

Mas afinal, e as métricas de avaliação?!

Principais métricas para avaliação formal

Diferentes métricas são utilizadas para avaliação de sistemas multiagentes de LLM, contudo, algumas das mais relevantes são:

• Latência: Mede o tempo de resposta do sistema ao longo de múltiplas interações.
• Coerência conversacional: Avalia se as respostas entre diferentes agentes mantêm um fluxo lógico e coerente.
• Taxa de erro: Identifica falhas na comunicação e respostas inconsistentes geradas pelos agentes.
• Uso de recursos computacionais: Monitora a eficiência em termos de  poder computacional, medindo consumo de CPU, GPU, memória, etc.
• Capacidade de Escalabilidade: Analisa como o desempenho do sistema se altera conforme novos agentes são adicionados.
• Resiliência: Avalia a capacidade do sistema de se adaptar a falhas de agentes individuais.

Métodos para avaliação empírica

As avaliações empíricas consistem principalmente em testes simulados e avaliações em ambientes reais, e em algumas situações pontuais, podem considerar benchmarks específicos de nicho.

Os testes simulados permitem modelar interações entre agentes em cenários controlados, entretanto, esses testes ajudam a identificar falhas antes da implementação prática.

Já a avaliação em ambiente real é usada para validar a aplicabilidade e integração do sistema. Testes com usuários reais, análise de feedback e monitoramento contínuo ajudam a garantir que o desempenho se mantem adequado ao longo do tempo.

Por fim, os benchmarks específicos de nicho oferecem comparações padronizadas entre diferentes soluções de vários outros sistemas, permitindo identificar os pontos fortes e fracos de cada abordagem, possibilitando comparar a avaliação de sistemas multiagentes de LLM que você está fazendo com outros sistemas do mesmo contexto.

Para encerrar

É fundamental lembrar que não existe uma única métrica mágica que resolva tudo! Você tem as métricas formais, como correspondência exata e distâncias de string, que são ótimas para obter medições claras e objetivas, especialmente quando você precisa verificar se uma resposta é factualmente correta ou quão próximos dois textos estão.

Depois, também tem as métricas empíricas, que mergulham nas coisas mais interpretativas, como o quão bem uma IA segue instruções, quão relevantes e coerentes são suas respostas e até mesmo se ela está usando linguagem tóxica.

Como estamos falando de sistemas multiagentes, você pode até mesmo colocar uma IA como jurada para fazer as coisas rapidamente. Mas mesmo assim, é importante estar ciente de que até os agentes de IA podem ter vieses e impactar seu projeto!

Para aprofundar nas coisas que escrevi no texto, recomendo a leitura do capítulo 12 do livro Generative AI on Google Cloud with LangChain; e o Capítulo 3 do livro AI Engineering;

Imagem de capa criada com Grok, a partir do prompt: “Gere uma imagem onde o Agente Smith do filme Matrix está fazendo uma avaliação em um tablet, ele está com expressão de preocupado. Utilize o cenário apropriado, destaque o rosto do agente e dê ênfase para a avaliação que ele está fazendo. Utilize estilo de ilustração digital de cartoon”

O post Avaliação de agentes e sistemas multiagentes de LLM apareceu primeiro em Diego Nogare.

Para criar soluções robustas, é essencial entender as metodologias, ferramentas e frameworks que possibilitam sua implementação. Além disso, é necessário lidar com desafios de coordenação entre agentes, segurança e escalabilidade. Neste texto, trago algumas das principais técnicas, recursos disponíveis no mercado e casos práticos públicos que ilustram o potencial e as dificuldades do desenvolvimento de sistemas de agentes e multiagentes baseados em LLM.

Construção de agentes e sistemas multiagentes

A criação de sistemas de agentes e multiagentes exige técnicas robustas que garantam que vários agentes interajam de forma eficiente e coordenada. Entre as abordagens mais comuns, é possível encontrar:

• Aprendizado por Reforço MultiAgente (MARL): Essa técnica permite que os agentes aprendam por meio de interações com o ambiente e uns com os outros. Li (desculpe, não lembro onde foi) que sistemas como o Google DeepMind utilizam MARL para coordenar múltiplos agentes em jogos e simulações.
• Planejamento Distribuído: Usado em situações onde os agentes devem trabalhar em conjunto para atingir objetivos comuns. Isso é visto em sistemas como redes de drones, que inclusive são lindos. Se não sabe do que estou falando, veja esse vídeo de um show recente em BH com direito a queijo e cafézin!
• Teoria dos Jogos: Frequentemente aplicada para modelar e prever comportamentos de agentes em cenários competitivos ou cooperativos.
• NLP Avançado: Modelos como GPT-4, Llama e demais LLMs de mercado facilitam a interação linguística entre agentes, permitindo comunicação clara e compreensão contextual.

Essas técnicas, apesar de algumas não serem exclusivamente pertencentes à sistemas de agentes ou multiagentes, permitem criar projetos que não apenas funcionam de forma independente, mas também colaboram para resolver problemas complexos.

Ferramentas e frameworks populares

O ecossistema de ferramentas para construir sistemas de agentes e multiagentes com LLM é diversificado, existem váriuas opções para estudar, o que incluem:

• LangChain: Este framework é amplamente usado para criar cadeias de agentes que processam e interpretam dados com base em LLMs.
• Hugging Face: Fornece uma ampla biblioteca de modelos de linguagem prontos para integração em sistemas.
• OpenAI API: Acessar modelos como o GPT-4 via API permite desenvolver agentes personalizados com capacidades linguísticas sofisticadas.

Desafios no desenvolvimento de agentes e multi-agentes

Apesar dos avanços, criar agentes ou sistemas multiagentes baseados em LLM ainda apresenta desafios significativos:

• Coordenação de agentes: Garantir que os agentes trabalhem em harmonia, sem redundâncias ou conflitos, afinal, é um problema complexo de se resolver.
• Custo computacional: O treinamento e a execução de sistemas com LLM exigem recursos computacionais caros, o que, definitivamente, pode ser uma barreira para startups e pequenos desenvolvedores.
• Segurança: Agentes mal projetados podem ser vulneráveis a ataques ou mal uso, comprometendo a privacidade e a integridade dos dados e atividades que são planejados para realizar.
• Interpretação e transparência: Garantir que as decisões dos agentes sejam compreensíveis é peça chave para aplicações críticas, como as áreas da saúde ou setor financeiro.

Casos práticos de sucesso

Diversos projetos públicos demonstram o potencial dos sistemas multiagentes com LLM:

• AlphaStar (DeepMind): Esse sistema multiagente usa LLM e aprendizado por reforço para jogar StarCraft II em nível profissional. Ele destaca o poder da coordenação entre agentes em cenários complexos.
• Assistentes Virtuais (Microsoft 365 Copilot): Utilizando sistemas multiagentes para compreender comandos e executar tarefas em aplicativos do pacote office que ajudam a melhorar a produtividade em atividades do cotidiano.
• Aplicativos de Saúde (PathAI): Agentes colaboram para analisar dados médicos, auxiliando no diagnóstico de doenças.

Para encerrar

Só pra resumir tudo… primeiramente, a construção de agentes e sistemas multiagentes com LLM representam um dos maiores avanços na automação e inteligência artificial destes últimos tempos, muito influenciado pelas tecnologias de GPT.

Em segundo lugar, ao combinar aprendizado por reforço, ferramentas apropriadas, boas práticas de NLP/LLM e um problema bem definido, é possível superar desafios e criar soluções transformadoras.

No entanto, não podemos deixar de lado aspectos como transparência, segurança e escalabilidade para garantir a adoção ampla e confiável dessas tecnologias.

Quer fazer um Agente usando LangGraph e API da OpenAI? Este link tem um tutorial que ensina o passo-a-passo.

Bons estudos!

Imagem de capa: Fiz um recorte do filme Matrix Reloaded, onde os clones do Agente Smith estão enfrentando o desafio de lutar todos contra Neo

O post Estratégias de construção de agentes e sistemas multiagentes com LLM apareceu primeiro em Diego Nogare.

Mas o que são, de fato, esses agentes? Em sua essência, agentes são entidades autônomas projetadas para realizar tarefas específicas em um ambiente dinâmico. Quando integrados em sistemas multiagentes, eles colaboram para atingir objetivos mais amplos e complexos. Neste texto, quero compartilhar contigo características desses agentes, como autonomia, reatividade, proatividade e capacidade de socialização, além de destacar aplicações em sistemas de recomendação, simulações, logística e otimização.

Características dos Agentes

Autonomia

A autonomia é uma característica que dá vida aos agentes. Um agente autônomo trabalha de forma independente, tomando decisões sem necessariamente a intervenção humana. Por exemplo, em um sistema de recomendação, o agente pode analisar o histórico do usuário e sugerir conteúdo relevante automaticamente (muito parecido como um modelo a priori, né!). Essa independência não apenas reduz a necessidade de supervisão, mas também aumenta a eficiência, permitindo que o sistema se adapte rapidamente a novas condições.

Talvez esse exemplo da recomendação não tenha sido o melhor, mas imagine um agente trabalhando como um revisor de código em Python. Limite a sua atuação de forma automática para revisar um código que um dev enviou para garantir que segue as regras de codificação da empresa. Ele terá esse, e apenas esse, papel. Nada a mais, nada a menos.

Os modelos de linguagem, com tecnologias de GPT, são outros excelentes exemplos de agentes autônomos. Eles conseguem gerar respostas contextualizadas com base em entradas textuais, sem necessitar de comandos específicos para cada situação. Além disso, a autonomia desses agentes pode ser ajustada para se alinhar a diferentes objetivos de negócios ou necessidades dos usuários.

Reatividade

Reatividade se refere à habilidade do agente de perceber e responder a mudanças em seu ambiente. Isso é fundamental para tarefas que exigem interação em tempo real, como a otimização logística. Imagine um sistema que gerencia o transporte de mercadorias. Um agente reativo pode ajustar rotas com base em trânsito ou condições climáticas em tempo real, otimizando custos e tempo de entrega.

Modelos de LLM podem atuar como agentes reativos ao analisar grandes volumes de dados em tempo real e fornecer insights acionáveis. Por exemplo, em um cenário de simulação de comportamento humano, esses modelos podem ajustar os comportamentos de diferentes entidades virtuais para refletir novas informações ou eventos inesperados.

Proatividade

A proatividade (em contrapartida da reatividade) é a capacidade de um agente de antecipar necessidades ou problemas e agir antes que eles ocorram. Em sistemas de recomendação, por exemplo, a proatividade permite que um agente sugira produtos antes mesmo que o usuário perceba a necessidade. Esse recurso melhora significativamente a experiência do usuário, criando um ambiente mais intuitivo.

No âmbito da IA, a proatividade muitas vezes depende de algoritmos preditivos e análise de dados. Um agente em um sistema logístico pode prever aumentos na demanda e preparar os recursos necessários, evitando atrasos e interrupções.

Capacidade de Socialização

A capacidade de socialização permite que os agentes interajam e colaborem com outros agentes e sistemas, formando redes inteligentes. Essa característica é essencial em sistemas multiagentes, onde o trabalho em equipe pode aumentar a eficiência e resolver problemas mais complexos.

Um exemplo claro está na simulação de comportamentos humanos. Agentes podem interagir de maneira realista, recriando dinâmicas de grupos e comunidades. Isso é útil em estudos de urbanismo, economia e psicologia. Em um nível mais próximo da nossa realidade, LLMs podem ser integrados para facilitar a comunicação entre diferentes sistemas, criando um sistema computacional mais fluído.

A socialização (socialização sistêmica, oi?!), é mais fácil de entender quando estamos pensando em cada agente realizando parte de uma determinada tarefa e passando a demanda para frente, onde outro agente pega aquilo e faz a sua parte. Para exemplificar, pense em um time multidisciplinar que desenvolve modelos. Um agente pode fazer o trabalho de recuperar os dados, outro agente faz o trabalho de preparar os dados, outro faz a exploração… assim segue até um agente colocar o modelo em produção e outro agente ficar monitorando o comportamento do modelo publicado.

Pra fechar!

Os agentes e sistemas multiagentes baseados em LLM estão transformando várias áreas, e, por nossa sorte, não é exclusividade de TI. Características como autonomia, reatividade, proatividade e socialização tornam esses sistemas flexíveis, fluídos e eficazes.

Com avanço de IA e ML, o céu não é mais o limite. No entanto, também é preciso abordar questões éticas e garantir que esses sistemas sejam usados de forma responsável. O futuro dos agentes de LLM promete ser tão fascinante quanto desafiador, exigindo um esforço conjunto entre pesquisadores, desenvolvedores e usuários.

Imagem de capa: Fiz um recorte do filme Matrix, onde os três agentes estão conversando sobre a humanidade com o Morpheus preso no prédio antes de ser resgatado de helicóptero

O post O que são agentes e sistemas multiagentes de LLM? apareceu primeiro em Diego Nogare.