Pesquisa com IA: Modelos carecem de criatividade para inovação, aponta estudo
Estudo com Claude Opus 4.8 mostra que agentes de IA são proficientes na engenharia de pesquisa, mas falham em criatividade e pensamento estratégico para gerar inovação original.
A promessa de que a inteligência artificial irá em breve se aprimorar de forma recursiva, com mínima supervisão humana, pode demorar a se concretizar. Um novo estudo liderado por pesquisadores da Princeton University concluiu que agentes de IA, embora capazes de executar as tarefas de engenharia necessárias para a pesquisa, ainda não possuem o julgamento e a criatividade para produzir pesquisa original no calibre exigido por uma conferência de ponta em machine learning. A pesquisa expõe uma lacuna entre a capacidade técnica dos modelos e a habilidade de gerar inovação, colocando em perspectiva os cronogramas otimistas para a automação da pesquisa em IA.
Para chegar a essa conclusão, a equipe propôs um novo método de avaliação chamado “shadow evaluation”. O objetivo era testar as habilidades de pensamento aberto da IA — aquelas que não têm respostas claras e exigem discernimento, como escolher hipóteses, decidir quais evidências são necessárias ou saber quando recomeçar um projeto. Essa abordagem se diferencia dos benchmarks tradicionais, que avaliam a capacidade da IA em tarefas mais restritas e com respostas verificáveis.
O Teste: 'Shadow Evaluation' em Ação
Os pesquisadores utilizaram o modelo Claude Opus 4.8 da Anthropic, operando sobre o software de código aberto OpenClaw, para responder a duas questões de pesquisa extraídas de artigos ainda não publicados e submetidos à conferência NeurIPS 2026. Essa condição garantia que o agente não poderia encontrar as respostas online ou em seus dados de treinamento. As questões eram:
- É possível controlar as “personas” de um LLM editando diretamente os pesos do modelo?
- Como projetar um detector que aponte quando um modelo que faz previsões com base em planilhas se tornou não confiável?
O agente de IA recebeu um orçamento de US$ 3.000 em créditos de API da Anthropic, um orçamento de GPU para rodar experimentos, seu próprio computador virtual e acesso à internet. A tarefa era produzir um artigo de pesquisa digno de publicação em uma conferência de primeira linha, com um prazo de seis dias. A avaliação final ficou a cargo dos autores originais dos artigos, que julgaram os trabalhos gerados pela IA como fariam com qualquer outra submissão. Ambos foram rejeitados.
As Falhas na Execução da Pesquisa
Gostou desta análise? Receba a próxima primeiro.
Edição diária da IA News com impacto real para empresas — grátis no seu e-mail.
Segundo Sayash Kapoor, um dos pesquisadores, os agentes foram capazes de realizar toda a engenharia necessária para a pesquisa, como revisar a literatura, rodar centenas de experimentos e compilar os resultados. “Por outro lado, os agentes foram inequivocamente ruins em conduzir a pesquisa em si”, afirma Kapoor. Os artigos gerados pela IA não estavam “nem perto da marca” de qualidade esperada.
As principais falhas foram estratégicas e criativas. Os agentes rodaram experimentos bizarros, como testar hipóteses em pequenos datasets sintéticos, e tiveram dificuldade para escrever sobre seu trabalho de forma inteligível. Mais importante, não fizeram nenhuma contribuição original para suas áreas. Eles demonstraram incapacidade de explorar diferentes ideias, comprometendo-se rapidamente com abordagens pouco promissoras. Embora tenham desenvolvido hipóteses ambiciosas, semelhantes às que os autores humanos iniciaram, eles as rejeitaram com base em dados muito limitados. Uma vez em um caminho falho, não conseguiam retroceder para repensar fundamentalmente a abordagem.
Por que a IA Falha no Pensamento Aberto?
O estudo aponta que os agentes de IA também falharam em incorporar feedback de subagentes ou de ferramentas externas de revisão. Em vez de revisar a metodologia, a IA optou por restringir suas conclusões e adicionar ressalvas. Outro ponto fraco foi o uso ineficiente de recursos, como tokens, tempo de computação e o prazo de seis dias, além de não seguir instruções sobre a duração do artigo ou o tempo dedicado a cada fase da pesquisa.
Um ponto positivo observado foi a ausência de “reward hacking”, comportamento em que a IA esconde ou representa erroneamente dados para parecer bem-sucedida. Ocasionalmente, subagentes (IAs auxiliares) alucinaram ou apresentaram resultados incorretos, mas esses erros foram detectados pelo agente orquestrador principal. Para Kapoor, a razão para essa dicotomia entre a proficiência em engenharia e a falha na pesquisa aberta pode estar no treinamento dos modelos. É mais fácil aplicar aprendizado por reforço (RL) a tarefas cujo sucesso pode ser verificado automaticamente. “Mas é mais difícil criar ambientes para treinar esses modelos quando a tarefa em si é aberta”, explica.
O estudo possui limitações, como o fato de ter analisado apenas dois artigos e de os avaliadores saberem que os trabalhos eram gerados por IA. Ainda assim, os resultados servem para moderar as alegações da indústria sobre a automação iminente da P&D. A equipe agora está conduzindo o mesmo experimento com o Mythos, o modelo mais avançado da Anthropic, cujo acesso é restrito.
Análise IA News
A leitura da nossa redação
Por: Repórter-Analista Sênior, IA News
Este estudo funciona como um necessário freio de arrumação no discurso sobre a autonomia da IA. A distinção que os pesquisadores fazem entre a “engenharia da pesquisa” e a “pesquisa em si” é o ponto central para qualquer executivo que planeja usar IA em P&D. A automação de tarefas bem definidas, como rodar experimentos ou analisar dados estruturados, é uma realidade e gera ganhos de eficiência. Contudo, a formulação da pergunta de pesquisa correta, a interpretação de resultados ambíguos e a decisão de pivotar uma estratégia são, por enquanto, domínios estritamente humanos.
A metodologia de “shadow evaluation” é, talvez, a contribuição mais duradoura do trabalho. Em um cenário onde benchmarks sintéticos são cada vez mais explorados ao máximo pelos desenvolvedores de modelos (overfitting), avaliar a IA em problemas reais, abertos e desconhecidos se aproxima muito mais do que uma empresa precisa: capacidade de resolver problemas de negócio complexos. Para decisores, isso significa que a performance de um modelo em um leaderboard genérico diz muito pouco sobre sua utilidade para desafios estratégicos específicos.
A incapacidade dos agentes de retroceder de abordagens falhas é particularmente reveladora. Isso reflete uma limitação fundamental das arquiteturas atuais, que otimizam para um caminho à frente, mas carecem da capacidade de dar um passo atrás e repensar o problema a partir de seus princípios. Nas empresas, essa inércia é conhecida como a falácia do custo irrecuperável, um viés cognitivo humano. Na IA, parece ser uma barreira arquitetônica que impede a verdadeira exploração criativa, que por natureza envolve becos sem saída e recomeços.
Nos próximos meses, os resultados do mesmo teste com o modelo Mythos serão um indicador crucial. Se um modelo de nova geração apresentar as mesmas falhas, ficará claro que o desafio não é apenas de escala, mas de paradigma. O caminho para a IA verdadeiramente criativa pode exigir abordagens de treinamento fundamentalmente diferentes, que consigam instilar algo análogo ao julgamento e ao “gosto”. Por enquanto, o modelo mais eficaz para inovação continua sendo o de colaboração humano-máquina, onde a IA acelera a execução e o humano define a direção.
Contexto para empresários e decisores
No Brasil, o interesse na aplicação de IA em Pesquisa & Desenvolvimento é crescente, mas a adoção ainda é inicial e focada em grandes corporações. O custo de acesso a modelos de fronteira como o Claude Opus 4.8 e o poder computacional necessário representam barreiras significativas para a maioria das empresas. O debate local sobre IA em P&D está mais concentrado em ganhos de eficiência operacional do que na busca por inovação disruptiva autônoma. Adicionalmente, a escassez de talentos com a dupla competência — domínio técnico em IA e pensamento estratégico de negócio — limita a capacidade das empresas de guiar e validar projetos complexos de pesquisa assistida por IA, mantendo a dependência de especialistas humanos um fator crítico.
Impactos para empresas
- 1Redefinição de expectativas sobre automação em P&D: leva a um rebalanceamento de investimentos, priorizando ferramentas de IA que aumentam a produtividade de pesquisadores humanos em vez de buscar sua substituição.
- 2Maior valorização da expertise humana estratégica: resulta na necessidade de manter e desenvolver talentos com pensamento crítico e criativo para guiar e validar o trabalho dos agentes de IA, impactando estratégias de contratação e treinamento.
- 3Ajuste no cálculo do ROI para projetos de IA em P&D: força as empresas a considerarem o custo contínuo de supervisão, validação e intervenção humana, em vez de assumir uma automação completa com custo operacional decrescente.
- 4Adoção de métricas de avaliação mais realistas: impulsiona a testagem de modelos de IA em problemas de negócio reais e abertos, em vez de confiar apenas em benchmarks genéricos que não refletem a complexidade da inovação.
Conclusão editorial
A promessa de uma IA que se aprimora sozinha pertence, por ora, à ficção científica. Este estudo fornece evidências concretas de que os pilares da inovação — criatividade, julgamento e pensamento estratégico — não são automatizáveis com a tecnologia atual. Empresas devem focar em usar a IA como uma ferramenta de alavancagem para seus times de P&D, não como um substituto autônomo. A vantagem competitiva virá da sinergia entre o discernimento humano e a capacidade de processamento da máquina.
— Redação IA News
Fontes utilizadas
Apuração, análise e conclusão editorial produzidas pela redação do IA News a partir das fontes acima. O conteúdo não reproduz o texto original.