LLMs: A batalha pela próxima geração de IA começa com novas arquiteturas
A arquitetura Transformer, pilar dos Large Language Models atuais, mostra sinais de esgotamento. Em meio a custos computacionais estratosféricos e desafios de escalabilidade, novas startups emergem com abordagens inovadoras para redefinir o futuro da IA generativa.
Em 2017, o Google lançava o artigo “Attention Is All You Need”, apresentando o Transformer, um tipo de rede neural que revolucionaria o processamento de linguagem natural. Nove anos depois, essa arquitetura é o motor por trás de todos os principais Large Language Models (LLMs) do mercado, moldando a indústria de IA. No entanto, o que foi a base do sucesso hoje se revela um gargalo, e a busca por alternativas mais eficientes e potentes já começou.
O calcanhar de Aquiles dos Transformers
A força dos Transformers reside em um mecanismo chamado dense attention, que codifica o significado de um texto comparando cada palavra (ou token) com todas as outras. Essa abordagem é notavelmente precisa, mas a um custo elevado. À medida que o comprimento do texto aumenta, o número de cálculos cresce exponencialmente. Um documento de 10 mil palavras, por exemplo, pode exigir 50 milhões de multiplicações, tornando os LLMs intensivos em poder computacional e, consequentemente, caros.
Segundo o presidente da OpenAI, Greg Brockman, a empresa deve gastar cerca de US$ 50 bilhões em computação este ano. A Agência Internacional de Energia projeta que o consumo total de eletricidade pelos data centers dobrará até 2030, um indicativo da demanda crescente e insustentável dos modelos atuais.
Além dos custos, os Transformers enfrentam desafios significativos em sua capacidade de lidar com grandes volumes de informação simultaneamente. Eles não são eficazes em manter um contexto amplo, o que limita o desempenho dos modelos mais recentes, projetados para tarefas complexas que exigem processar uma biblioteca inteira de documentos, uma base de código completa ou interações extensas entre agentes de IA. A incapacidade de escalar o que é conhecido como "janela de contexto" impede que os LLMs atinjam seu potencial máximo, transformando a principal virtude da arquitetura em sua maior limitação.
A nova corrida do ouro: repensando a atenção
Gostou desta análise? Receba a próxima primeiro.
Edição diária da IA News com impacto real para empresas — grátis no seu e-mail.
Neste cenário, uma onda de startups está emergindo, propondo soluções inovadoras para transcender as limitações dos Transformers. O objetivo é criar LLMs mais rápidos, eficientes e, talvez, ainda mais inteligentes.
Uma das abordagens mais diretas é reimaginar o mecanismo de atenção. A sparse attention (atenção esparsa) busca reduzir o número de cálculos ao focar apenas em algumas combinações de palavras, em vez de todas. Embora a ideia não seja nova, o desafio sempre foi manter a precisão.
A Subquadratic, uma startup de Miami, afirma ter desenvolvido o primeiro mecanismo de atenção esparsa que se equipara aos LLMs convencionais em tarefas como busca e codificação. O modelo, batizado de SubQ, identifica dinamicamente quais palavras são relevantes para cada trecho de texto, eliminando cálculos desnecessários. A empresa reporta milhares de inscrições em sua lista de espera, sinalizando um grande interesse do mercado em sua proposta de redução de custos e aumento de eficiência.
Outra iniciativa promissora vem da Manifest AI, sediada em São Francisco, que propõe uma mudança radical: substituir a atenção por um mecanismo chamado power retention. Em vez de processar todo o contexto, o power retention armazena apenas as informações mais relevantes para uma tarefa específica, criando um resumo contínuo do contexto. Isso evita o "inchaço" de dados que os mecanismos de atenção tradicionais precisam gerenciar. O princípio da retenção existe há uma década, mas a Manifest AI o aprimorou para construir modelos que, pela primeira vez, podem competir com os baseados em Transformer.
A startup demonstrou a capacidade de sua tecnologia ao adaptar um LLM de código aberto (StarCoder) para usar power retention, resultando no PowerCoder. Além disso, lançou o Brumby, um modelo que, segundo a empresa, rivaliza com versões do Qwen da Alibaba. A Manifest AI visa posicionar sua tecnologia como a solução ideal para LLMs que precisam processar grandes volumes de dados, abrindo caminho para aplicações como análise de vídeos longos e agentes de IA que mantêm o foco por semanas.
Próximos passos: modelos menores e mais flexíveis
Enquanto algumas startups focam na otimização da atenção, outras buscam abordagens mais profundas, visando modelos inerentemente menores e mais adaptáveis. A Liquid AI, um spin-off do MIT, é um exemplo disso, explorando novos paradigmas para a construção de LLMs que vão além das fundações atuais, prometendo um futuro onde a inteligência artificial generativa será não apenas mais poderosa, mas também mais acessível e sustentável. Esta fase de inovação é crítica para democratizar o acesso à IA e impulsionar uma nova geração de aplicações empresariais.
Análise IA News
A leitura da nossa redação
A hegemonia da arquitetura Transformer nos Large Language Models, embora inegável, está se tornando um entrave para a próxima geração de IA. A análise dos custos computacionais e da complexidade energética envolvida na operação de LLMs baseados em Transformers, como os US$ 50 bilhões da OpenAI para este ano, sugere que o modelo atual é insustentável a longo prazo. Este cenário cria um terreno fértil para startups que, com menos a perder, podem apostar em abordagens radicais.
A busca por mecanismos de "atenção esparsa" e "retenção de poder" representa uma mudança fundamental de paradigma. Se a Subquadratic e a Manifest AI conseguirem provar a escalabilidade e a eficácia de suas propostas, elas não apenas otimizarão os LLMs existentes, mas poderão redefinir completamente a base tecnológica da IA generativa. O mercado deve observar com atenção a validação de suas tecnologias, pois o sucesso pode levar a uma disrupção na distribuição de poder entre os grandes players e novas empresas.
Nos próximos meses, a capacidade dessas startups de converter a promessa tecnológica em produtos utilizáveis e economicamente viáveis será o fator decisivo. A concorrência não será apenas sobre quem tem o modelo mais inteligente, mas quem consegue entregá-lo com maior eficiência de custo e menor pegada ambiental. Este é um momento de inflexão, onde as novas arquiteturas podem não só resolver problemas atuais, mas também abrir caminho para aplicações de IA inimagináveis hoje, reconfigurando a paisagem competitiva da IA global.
Contexto para empresários e decisores
Para executivos e decisores B2B no Brasil, a discussão sobre a próxima geração de LLMs não é meramente tecnológica, mas estratégica. Os custos operacionais dos LLMs atuais, dominados pela arquitetura Transformer, são um fator limitante para a adoção em larga escala, especialmente em um mercado com desafios de infraestrutura e custos de energia. A emergência de arquiteturas mais eficientes, com menor demanda computacional, pode democratizar o acesso a IA avançada, reduzir barreiras de entrada e acelerar a inovação local. Isso abre oportunidades para empresas brasileiras não apenas na utilização, mas potencialmente no desenvolvimento de soluções adaptadas à realidade regional, impactando a competitividade e a soberania tecnológica.
Impactos para empresas
- 1Redução de Custos Operacionais: Novas arquiteturas podem diminuir drasticamente o custo de execução de LLMs, tornando a IA generativa mais acessível para empresas de todos os portes.
- 2Expansão da Capacidade de Contexto: LLMs mais eficientes poderão processar e compreender volumes de dados muito maiores, habilitando aplicações mais complexas e sofisticadas, como análise de documentos extensos ou bases de conhecimento inteiras.
- 3Aumento da Velocidade de Desenvolvimento: Ferramentas e modelos mais flexíveis permitirão que as equipes de P&D inovem e implementem soluções de IA em um ritmo acelerado.
- 4Sustentabilidade e Compliance: A menor demanda energética dos novos modelos pode alinhar as empresas com metas de ESG e reduzir preocupações regulatórias relacionadas ao consumo de recursos.
Conclusão editorial
O IA News conclui que estamos à beira de uma mudança sísmica na arquitetura fundamental dos LLMs. A ineficiência dos Transformers não é mais uma barreira invisível; é um gargalo reconhecido que impulsiona a inovação. Empresas devem monitorar de perto as novas abordagens de atenção esparsa e retenção de poder, pois elas prometem desbloquear a próxima geração de aplicações de IA, tornando-as mais acessíveis e poderosas para todos os setores.
— Redação IA News
Fontes utilizadas
Apuração, análise e conclusão editorial produzidas pela redação do IA News a partir das fontes acima. O conteúdo não reproduz o texto original.