Pesquisadores da Stanford e da Universidade de Washington desenvolveram um modelo de IA de raciocínio que alcança desempenho semelhante aos modelos o1 da OpenAI e R1 da DeepSeek, utilizando menos de US$50 em créditos de computação em nuvem. O modelo foi treinado em apenas 1.000 questões, consumiu 26 minutos e utilizou 16 GPUs Nvidia H100. Essa inovação demonstra como novas abordagens no processo de treinamento podem reduzir significativamente os custos, possibilitando que desenvolvedores criem modelos de IA avançados com recursos limitados.Pesquisadores abrem caminho para modelos de IA avançados de baixo custo.
Uma equipe das universidades de Stanford e Washington surpreendeu o setor de tecnologia ao desenvolver um modelo de Inteligência Artificial (IA) de raciocínio com desempenho comparável aos modelos o1 da OpenAI e R1 da DeepSeek, utilizando menos de US$50 em créditos de computação em nuvem.
O modelo foi treinado com um conjunto de dados composto por apenas 1.000 questões cuidadosamente selecionadas, juntamente com rastros de raciocínio e respostas derivadas do modelo Gemini Thinking Experimental da Google.
O treinamento consumiu apenas 26 minutos e foi realizado em 16 GPUs Nvidia H100, conhecidas por sua eficiência em processamento de IA.
Niklas Muennighoff, pesquisador de Stanford, estimou o custo com base no tempo de execução das GPUs e no número de unidades utilizadas.
Esse feito destaca como novas abordagens no processo de pré e pós-treinamento podem reduzir significativamente os custos computacionais.
Com avanços como o da DeepSeek, desenvolvedores agora conseguem construir modelos de IA sofisticados a partir de modelos existentes, seja via APIs, acesso open-source ou até mesmo modelos de código fechado, destilando seus dados e reduzindo os custos ainda mais.
Segundo o artigo de pesquisa publicado pela equipe, o modelo, denominado s1, foi treinado utilizando respostas do Gemini Thinking Experimental, um modelo de IA da Google acessível por meio do AI Studio.
Embora seja um modelo de código fechado, os pesquisadores conseguiram aproveitar suas respostas para treinar seu próprio modelo.
Eles usaram um modelo pré-treinado disponibilizado pela Qwen, um laboratório pertencente à Alibaba, e realizaram um ajuste fino supervisionado em seu conjunto de dados customizado.
Para controlar o tempo de computação durante os testes, os pesquisadores criaram um orçamento de tokens, limitando a quantidade de processamento que o modelo poderia utilizar ao resolver um problema.
Caso o s1 excedesse esse limite, ele era interrompido e forçado a gerar a resposta com as informações já processadas.
Quando desejavam que o modelo dedicasse mais tempo e recursos a um problema, simplesmente instruíam o s1 a “esperar”, prolongando seu tempo de processamento e aumentando a precisão das respostas.
Ao controlar o tempo e os recursos computacionais dedicados a cada problema, os pesquisadores demonstraram que um maior tempo de “reflexão” leva a um desempenho melhorado.
O s1 é apenas um exemplo dos modelos de raciocínio de código aberto que estão sendo desenvolvidos por uma fração do custo dos modelos principais de empresas como Google e OpenAI.
Em janeiro, pesquisadores da Universidade da Califórnia em Berkeley lançaram o Sky-T1, um modelo de raciocínio de código aberto que custou US$450 para ser developed, demonstrando ser possível replicar capacidades de raciocínio de alto nível de forma acessível e eficiente.
Outros exemplos incluem o rStar-Math, modelo de raciocínio de código aberto de pesquisadores da Microsoft Asia, o Tulu 3, do instituto sem fins lucrativos Ai2, e a iniciativa da HuggingFace para replicar o R1 da DeepSeek.
Com a crescente acessibilidade e redução de custos de modelos de alta qualidade, observa-se uma mudança de poder das grandes empresas de IA para uma comunidade mais ampla de desenvolvedores e pesquisadores.
Essa democratização da tecnologia de IA abre oportunidades para inovação e colaboração, permitindo que mais profissionais contribuam com avanços significativos no campo.
