A Diffbot Technologies Corp., startup especializada em grafos de conhecimento (Knowledge Graph), está enfrentando o problema de alucinações em chatbots de inteligência artificial ao garantir a precisão de suas respostas.
Um Knowledge Graph é uma estrutura que organiza e conecta informações de forma semântica, permitindo relacionar diferentes entidades e conceitos
A empresa lançou uma versão aprimorada do Llama 3.3 da Meta Platforms Inc., afirmando que suas respostas são melhoradas por meio de uma nova técnica chamada geração aumentada por recuperação de grafos.
Ao contrário dos modelos de linguagem amplos (LLMs) típicos, que são treinados em bancos de dados extensos, o modelo da Diffbot é treinado em uma quantidade menor de dados e ensinado a buscar informações em seu vasto Knowledge Graph, que contém mais de 1 trilhão de fatos interconectados e é constantemente atualizado.
Por oito anos, o Knowledge Graph da Diffbot vem rastreando a internet pública, categorizando páginas em diferentes grupos, como pessoas, empresas, artigos e produtos.
Ele extrai as informações mais recentes desses sites usando processamento de linguagem natural e visão computacional para manter seu banco de dados atualizado.
Esse banco de dados é atualizado a cada quatro ou cinco dias com milhões de novos pontos de dados.
É essa fonte que alimenta o último modelo de IA da Diffbot, garantindo que suas respostas sejam baseadas nas informações mais recentes e precisas.
Diferentemente de outros LLMs que dependem de informações estáticas codificadas em seus dados de treinamento, o modelo da Diffbot busca dados atualizados.
Se questionado sobre um evento noticioso recente, ele busca no Knowledge Graph as atualizações mais recentes, extrai os dados mais relevantes e cita as fontes dessas informações ao usuário.
Isso torna o chatbot não apenas mais preciso, mas também mais transparente.
Mike Tung, fundador e CEO da Diffbot, disse ao VentureBeat que acredita que a indústria de IA irá se mover em direção a um padrão onde a maioria dos bots de raciocínio de propósito geral será destilada para cerca de 1 bilhão de parâmetros, em vez dos LLMs de múltiplos bilhões de parâmetros desenvolvidos hoje.
Ele argumenta que é insustentável tentar integrar todo o conhecimento mais recente dentro dos modelos de IA.
Em vez disso, é melhor ensinar os modelos a usar as ferramentas necessárias para buscar conhecimento externo.
A startup espera finalmente resolver a questão das “alucinações”, que ocorrem quando os modelos de IA não conseguem encontrar a resposta para a pergunta de um usuário e, em vez de dizer que não sabem, fabricam respostas.
Essa tendência torna arriscado implantar IA, e a Diffbot acredita que a solução é basear os sistemas de IA em fatos verificáveis, em vez de tentar inserir o máximo possível de conhecimento dentro deles.
Tung forneceu um exemplo de usuários que desejam saber a previsão do tempo mais recente em sua área.
“Em vez de gerar uma resposta baseada em dados de treinamento desatualizados, nosso modelo consulta um serviço meteorológico ao vivo e fornece uma resposta baseada em informações em tempo real”, explicou.
A Diffbot afirma que os benchmarks mostram que seu método é muito mais confiável.
Ele alcançou uma pontuação de 81% no benchmark FreshQA, projetado para testar modelos de IA em conhecimento factual em tempo real, superando tanto o Gemini quanto o ChatGPT.
Além disso, alcançou uma pontuação de 70,36% no MMLU-Pro, que testa modelos de IA quanto ao seu conhecimento acadêmico.
O melhor de tudo é que o modelo da Diffbot está sendo disponibilizado como código aberto, para que as empresas possam baixá-lo, executá-lo em suas próprias máquinas e ajustá-lo conforme suas necessidades.
Por exemplo, elas poderão customizá-lo para buscar em seus próprios bancos de dados, além do Knowledge Graph da Diffbot.
“Você pode executá-lo localmente em sua máquina”, disse Tung, acrescentando que isso também o torna superior do ponto de vista da privacidade.
“Não há como você executar o Google Gemini sem enviar seus dados para o Google e enviá-los para fora de suas instalações.”
A Diffbot espera que seu LLM seja usado por empresas para cargas de trabalho que exigem precisão excepcional e total responsabilidade.
A empresa já fez alguns progressos nesse sentido, fornecendo serviços de dados para Duck Duck Go Inc., Cisco Systems Inc. e Snap Inc.
Seu modelo pode ser baixado via GitHub agora, e há uma demonstração pública disponível em diffy.chat.
As empresas que desejam implantá-lo em seu próprio hardware podem escolher a menor versão de 8 bilhões de parâmetros, que pode ser executada em apenas uma unidade de processamento gráfico Nvidia A100.
O maior modelo, com 70 bilhões de parâmetros, requer duas GPUs H100.
