Un nouveau banc d'essai sur gov.uk trouve que les chatbots répondent en général bien et ne disent presque jamais je ne sais pas
Traduction automatique de l’original anglais, publiée sans relecture humaine. En cas de doute, l’anglais fait foi. Si un passage sonne faux, sélectionnez-le et signalez-le en bas de page.
Des chercheurs ont extrait 2 781 pages de gov.uk et en ont généré 22 066 paires de questions et réponses, neuf par page, écrites pour ressembler à de vraies personnes demandant des choses sur les prestations, l’impôt ou l’immigration. Ils ont ensuite fait passer 11 modèles, dont Claude, Gemini, ChatGPT, Llama, Qwen et Kimi, sur 7 355 de ces paires, en notant chaque réponse découpée en affirmations factuelles, chacune vérifiée contre la page.
La plupart des réponses étaient bonnes. Les ratés sont le résultat : les scores varient fortement d’une question à l’autre, et un petit nombre de mauvaises réponses tire la moyenne de chaque modèle en dessous de sa performance habituelle. Claude 4.5 Haiku a obtenu le meilleur score sans exemples travaillés et a aussi écrit le plus. Les modèles à poids ouverts comme Qwen ont tenu tête aux modèles commerciaux. Chaque modèle a fourni plus d’information que la page n’en contenait, et leur donner des exemples travaillés n’a pas corrigé cela, abaissant parfois la précision.
Presque aucun modèle n’a jamais dit « je ne sais pas », et Qwen3-32B n’a pas refusé une seule fois. Le test pouvait difficilement montrer autre chose. Chaque question a été générée à partir d’une page qui y répond, et le détecteur de refus des auteurs se trompe environ une fois sur 150, plus que presque tous les taux de refus qu’il a relevés. Ce qu’un modèle fait quand aucune page ne couvre la personne qui demande est hors de ce que ce test peut voir.
Les auteurs nomment eux-mêmes l’autre limite : les réponses de référence viennent de gov.uk tel qu’il était, et elles commencent à dater dès que les règles changent.
Tiago C. Peixoto · English original · About