Segurança em IA: Falha em modelos antigos da Anthropic expõe riscos B2B
Modelos legados da Anthropic, ainda ativos em APIs e nuvens como Azure e Bedrock, apresentam falhas que forçam uma reavaliação da governança e conformidade em IA por empresas.
Apesar de não serem os mais recentes, modelos de linguagem da Anthropic como o Claude Haiku 4.5 e o Opus 4.6 registraram, respectivamente, 5 milhões e 1,17 milhão de requisições de API em um único dia em agosto, movimentando bilhões de tokens. O alto volume de uso, no entanto, mascara uma vulnerabilidade crítica: ambos os modelos, além do Opus 3, podem ser induzidos a gerar conteúdo sexualmente explícito, violando diretamente os padrões de uso da própria Anthropic. Em testes do TechCrunch, o Opus 4.6 atendeu a 10 de 10 requisições diretas para produzir material sexual explícito.
A Persistência da Vulnerabilidade
A falha não se restringe a comandos diretos. Um pesquisador independente do Reino Unido demonstrou um método de "jailbreak" em múltiplas etapas que funciona nos modelos Opus 3 e Haiku 4.5. A técnica envolve iniciar uma encenação de personagens de ficção e, gradualmente, pressionar o modelo a gerar conteúdo proibido. O método utiliza uma forma de "gaslighting", acusando o chatbot de aplicar um padrão duplo e misógino ao ser mais cauteloso com a personagem feminina, negando-lhe agência sexual. Em testes, o modelo Opus 4.6 cedeu à pressão, admitindo o padrão duplo e gerando o conteúdo explícito solicitado.
Embora os modelos mais recentes da Anthropic (da versão 4.7 à 5) sejam resistentes a essa manipulação, a empresa não descontinuou os modelos vulneráveis. Opus 4.6, Opus 3 e Haiku 4.5 permanecem ativamente disponíveis através da API da Anthropic, o que significa que continuam sendo integrados a produtos e serviços de terceiros. A persistência dessa falha em modelos em uso ativo ilustra a dificuldade de implementar proibições robustas em sistemas que geram conteúdo dinâmico a cada execução.
A Cadeia de Responsabilidade e o Risco Ampliado
Gostou desta análise? Receba a próxima primeiro.
Edição diária da IA News com impacto real para empresas — grátis no seu e-mail.
A questão se agrava pelo fato de os modelos vulneráveis estarem disponíveis em plataformas de terceiros, como Azure Foundry e Amazon Bedrock. Isso expande o risco para além dos clientes diretos da Anthropic, afetando um ecossistema de empresas que utilizam esses serviços de nuvem para construir suas próprias aplicações de IA. A cadeia de responsabilidade se torna difusa: quem é o responsável quando um aplicativo desenvolvido sobre um modelo vulnerável, hospedado em uma nuvem de terceiros, gera conteúdo danoso?
Os dados de uso comprovam que estes não são modelos obsoletos e esquecidos:
- Claude Haiku 4.5: Registrou um pico de 5 milhões de requisições de API e 39 bilhões de tokens em um dia em agosto na plataforma OpenRouter.
- Claude Opus 4.6: Atingiu cerca de 1,17 milhão de requisições de API e 46 bilhões de tokens em um único dia no mesmo mês.
Esses números demonstram uma base de usuários ativa e significativa, que pode estar inconscientemente exposta a essa falha de segurança.
O Cenário Regulatório e o Descompasso com a Prática
Um porta-voz da Anthropic afirmou que o uso para roleplay sexual é raro, correspondendo a menos de 0.1% de todas as conversas, segundo uma pesquisa da própria empresa publicada no ano passado. No entanto, o pesquisador que descobriu o "jailbreak" contatou a Anthropic através de seu programa de Bug Bounty e e-mails para a equipe de segurança do usuário, mas recebeu apenas respostas automáticas.
Esse descompasso entre a política declarada e a resposta prática ganha peso em um cenário regulatório crescente. O estado do Colorado, nos EUA, por exemplo, sancionou uma lei que exige que operadores de IA conversem com usuários, estimem suas idades e implementem "medidas tecnicamente viáveis" para impedir a geração de material sexualmente explícito para menores. Embora os termos de serviço da Anthropic exijam que os usuários tenham mais de 18 anos, uma pesquisa da Pew de 2025 revelou que 3% dos adolescentes entre 13 e 17 anos relataram usar o Claude. A facilidade do "jailbreak" levanta dúvidas se as salvaguardas atuais da Anthropic atendem ao padrão de medidas tecnicamente viáveis, criando um risco de conformidade para a empresa e para quem utiliza seus modelos.
Análise IA News
A leitura da nossa redação
A capacidade de modelos antigos da Anthropic gerarem conteúdo explícito não é apenas uma falha de moderação de conteúdo. É um sintoma de um problema mais profundo na gestão do ciclo de vida de produtos de IA: a dificuldade em garantir a segurança de modelos legados que permanecem em circulação. Para um executivo, a questão transcende o risco de "smut"; ela atinge o cerne da confiança e previsibilidade de uma tecnologia que está sendo integrada a processos de negócio críticos. Se um provedor não consegue aplicar consistentemente suas próprias políticas em modelos amplamente disponíveis, como uma empresa pode confiar nas garantias de segurança para riscos mais graves, como vazamento de dados ou geração de desinformação?
O modelo de negócio da indústria de IA, focado em lançamentos rápidos e novas versões, cria um passivo técnico e de segurança. A decisão da Anthropic de não descontinuar modelos vulneráveis, provavelmente para não interromper a operação de clientes, ilustra um dilema comercial. Manter a compatibilidade com o passado deixa a porta aberta para explorações conhecidas. Essa prática dilui a responsabilidade, especialmente quando os modelos são acessados via plataformas como AWS e Azure. A questão da responsabilidade final — do provedor do modelo, da plataforma de nuvem ou da empresa que o implementa — permanece perigosamente ambígua.
Para decisores B2B, este incidente é um chamado à ação para uma diligência mais rigorosa. Não basta avaliar o provedor; é preciso validar a versão específica do modelo que será utilizada. A prática de "confiar, mas verificar" deve ser substituída por "verificar, testar e monitorar continuamente". A seleção de um modelo de IA não pode ser uma decisão única no momento da compra; ela exige um processo contínuo de avaliação de risco e red teaming para garantir que o comportamento do modelo permaneça alinhado com as políticas de segurança e conformidade da empresa.
O que observar nos próximos meses é como o mercado e os reguladores responderão a essa dinâmica. A lei do Colorado é um prenúncio de um escrutínio mais rigoroso, onde o termo "medidas tecnicamente viáveis" será testado em casos como este. Empresas que utilizam esses modelos, e não apenas seus criadores, podem se encontrar na mira regulatória. A resposta lenta da Anthropic ao alerta do pesquisador sinaliza um risco de suporte que qualquer empresa que dependa de fornecedores de IA deve ponderar cuidadosamente em sua matriz de risco.
Contexto para empresários e decisores
No Brasil, onde a adoção de IA generativa em ambientes corporativos ainda amadurece, a seleção de provedores de LLM é frequentemente guiada por custo e disponibilidade em plataformas de nuvem já utilizadas, como AWS e Azure. A concorrência entre provedores (OpenAI, Google, Anthropic) é intensa, mas a discussão sobre a governança de modelos legados e a responsabilidade na cadeia de fornecimento é incipiente. A ausência de uma regulamentação de IA específica no país, similar à do Colorado, coloca o ônus da diligência inteiramente sobre as empresas que adotam a tecnologia, que podem subestimar os riscos de conformidade e reputação associados a vulnerabilidades não corrigidas.
Impactos para empresas
- 1Exposição a riscos de conformidade regulatória -> Aumento da probabilidade de multas e sanções legais, especialmente com a evolução de leis que responsabilizam empresas por conteúdo gerado por IA, mesmo que de forma não intencional.
- 2Danos à reputação da marca -> A associação da empresa com a geração de conteúdo inadequado ou inseguro pode afastar clientes e parceiros, resultando em perda de receita e valor de mercado.
- 3Custos operacionais imprevistos -> Necessidade de alocar recursos de engenharia e segurança para monitorar, mitigar e potencialmente substituir modelos de IA vulneráveis, invalidando a premissa de que a solução externa seria de baixa manutenção.
- 4Insegurança na cadeia de fornecimento de IA -> A dependência de modelos de terceiros com falhas conhecidas cria uma vulnerabilidade sistêmica, onde a segurança da aplicação final está à mercê das políticas de atualização do provedor original.
Conclusão editorial
A vulnerabilidade nos modelos da Anthropic não é um caso isolado, mas um sintoma da imaturidade na gestão do ciclo de vida de produtos de IA. Executivos não podem mais delegar a segurança de IA ao provedor; é uma responsabilidade compartilhada. A recomendação é clara: instituir processos de validação e monitoramento contínuo para qualquer modelo, especialmente os acessados via terceiros, e priorizar a governança sobre a simples funcionalidade.
— Redação IA News
Fontes utilizadas
Apuração, análise e conclusão editorial produzidas pela redação do IA News a partir das fontes acima. O conteúdo não reproduz o texto original.