Um novo benchmark sobre o gov.uk acha que os chatbots respondem bem em geral e quase nunca dizem não sei
Tradução automática do original em inglês, publicada sem revisão humana. Em caso de dúvida, o inglês prevalece. Se um trecho soar errado, seleccione-o e sinalize-o no fim da página.
Pesquisadores extraíram 2.781 páginas do gov.uk e geraram delas 22.066 pares de pergunta e resposta, nove por página, escritos para soar como pessoas reais perguntando sobre benefícios, impostos ou imigração. Depois rodaram 11 modelos, entre eles Claude, Gemini, ChatGPT, Llama, Qwen e Kimi, sobre 7.355 desses pares, avaliando cada resposta dividida em afirmações factuais, cada uma conferida contra a página.
A maioria das respostas era boa. Os erros são o achado: as notas variam muito de pergunta para pergunta, e um pequeno número de respostas ruins puxa a média de cada modelo para baixo do seu desempenho típico. O Claude 4.5 Haiku teve a maior nota sem exemplos resolvidos e também escreveu mais. Modelos de pesos abertos como o Qwen acompanharam os comerciais. Todos os modelos ofereceram mais informação do que a página continha, e dar exemplos resolvidos não corrigiu isso, às vezes baixando a precisão.
Quase nenhum modelo disse “não sei”, e o Qwen3-32B não recusou uma única vez. O teste dificilmente poderia mostrar outra coisa. Cada pergunta foi gerada a partir de uma página que a responde, e o detector de recusas dos próprios autores erra cerca de uma vez em 150, mais do que quase todas as taxas de recusa que registrou. O que um modelo faz quando nenhuma página cobre a pessoa que pergunta está fora do que este teste consegue ver.
Os autores nomeiam eles mesmos o outro limite: as respostas de referência vêm do gov.uk como ele estava, e começam a envelhecer assim que as regras mudam.
Tiago C. Peixoto · English original · About