Hallucination IA : vérifier les sourcesavant de publier un article

Le texte est propre, le ton est juste, et il cite une étude au titre parfaitement plausible. Vous cliquez sur le lien : page introuvable. Ou pire, la page existe mais ne dit pas du tout ce que l'article lui fait dire. C'est la forme la plus discrète de l'hallucination IA, et celle qui coûte le plus cher quand l'article part en ligne sous votre nom.

J'écris ce blog avec une machine de contenu que j'ai construite, et j'en fais tourner d'autres, dont celle de Moonworkers, mon entreprise. Vérifier les sources d'un texte produit par une IA n'y est pas une relecture de fin de parcours : c'est une série de règles posées avant même la rédaction. Voici pourquoi ces erreurs arrivent, où elles se cachent, et la méthode que j'applique, avec ses limites.

01Pourquoi une IA invente des sources qui ont l'air vraies

Un modèle de langage ne consulte pas une bibliothèque. Google le dit sans détour dans sa documentation : les modèles génératifs ne récupèrent pas de faits, ils prédisent une séquence de mots probable à partir de leurs données d'entraînement, d'où les inexactitudes qu'on appelle hallucinations (Google Search Central). Une référence bibliographique a une forme très régulière. Le modèle sait produire cette forme, même quand il ne connaît pas le fond.

OpenAI ajoute une explication que je trouve éclairante. Les évaluations classiques notent surtout l'exactitude, un peu comme un QCM où l'absence de réponse vaut zéro : un modèle qui tente sa chance obtient un meilleur score qu'un modèle qui avoue ne pas savoir. Et les faits rares et arbitraires, comme une date de naissance ou le titre d'une thèse, ne suivent aucune logique que le modèle pourrait apprendre. Leur exemple parle de lui-même : interrogé sur le titre de la thèse d'un de leurs chercheurs, un chatbot a donné trois titres différents, tous faux (OpenAI, aux origines des hallucinations).

Dans une vidéo de vulgarisation, une personne de l'équipe d'Anthropic souligne un effet pervers : comme les hallucinations deviennent plus rares, on prend l'habitude de ne plus vérifier (Anthropic, Why do AI models hallucinate?). Je m'en méfie pour moi-même : plus le texte est bon, plus on relâche l'attention.

02Où les hallucinations se glissent dans un article

D'après ce que je vois passer, elles se logent rarement dans le raisonnement général. Elles se logent dans les détails précis, ceux qu'un lecteur pressé ne vérifie pas. La vidéo d'Anthropic cite les mêmes zones à risque : faits précis, statistiques, citations, sujets rares ou très récents, dates et noms (Anthropic, Why do AI models hallucinate?).

Dans un article de blog, cela donne :

• le chiffre rond sans source (« la majorité des projets échouent… ») qui ne vient de nulle part ;
• l'étude au titre crédible, avec un auteur réel, mais qui n'a jamais été publiée ;
• la vraie source citée pour une affirmation qu'elle ne contient pas, ou dont la conclusion a été retournée ;
• le lien interne vers une page de votre propre site qui n'a jamais existé ;
• les métadonnées : titre SEO, description, texte alternatif de l'image.

Ce dernier point surprend souvent. Google demande pourtant de vérifier l'exactitude de tout contenu généré avant publication, y compris la balise title, la meta description, les données structurées et les textes alternatifs (Google Search Central).

Et il ne suffit pas de « brancher l'IA sur des documents ». Des chercheurs de Stanford ont testé des outils de recherche juridique bâtis sur ce principe (le RAG, où le modèle lit des documents avant de répondre), présentés par leurs éditeurs comme sans hallucination. Deux d'entre eux donnaient une information fausse dans plus de 17 % des cas, un troisième dans plus de 34 %. C'était tout de même mieux que les chatbots généralistes, qui se trompaient entre 58 % et 82 % du temps sur ces questions (Stanford HAI, AI on Trial).

03Ma règle : aucune source n'entre sans avoir été lue

Dans ma machine, la vérification commence avant la rédaction. Chaque article part d'un brief que j'ai décrit dans mon article sur la machine de contenu et la relecture humaine. Ce brief contient un registre de sources, et c'est lui qui fixe ce que le texte a le droit de citer.

Lue, avec ce qu'elle soutient

Une source n'entre au registre qu'avec deux champs : la mention qu'elle a été lue, et son apport, c'est-à-dire l'affirmation précise qu'elle soutient. Une page illisible, bloquée par un paywall ou qui refuse l'accès, ne se cite pas. Pour cet article, j'ai ouvert chaque page citée, et la vidéo d'Anthropic a été lue par sa transcription, pas devinée à partir de son titre.

Un extrait copié tel quel

Sur la version la plus stricte de ma machine, chaque source porte en plus un extrait copié mot pour mot, que l'outil va retrouver dans la page. Un extrait reformulé bloque. Une conclusion retournée aussi : si l'étude dit que l'effet est nul et que le texte dit « modeste », le contrôle échoue. Cette règle attrape les erreurs d'interprétation, pas seulement les liens morts.

Des titres identifiés, et aucune IA comme source

Chaque source a un titre au format « Organisme, titre de la page ». Un titre paraphrasé de mémoire est souvent faux, et une liste de liens nus ne dit rien au lecteur. Ma liste noire exclut aussi les assistants conversationnels comme source : ce qu'un modèle dit de lui-même ou d'un sujet ne prouve rien. Sur l'IA, je cite la documentation de l'éditeur.

J'applique la même logique ailleurs que dans les articles. Chez Moonworkers, les calculateurs gratuits du site ont été vérifiés un par un contre les outils officiels. Et un « oracle » écrit à partir des textes du HMRC a rejoué des centaines de cas de cotisations : il a trouvé quatre erreurs d'un penny, dues à une règle d'arrondi. La source de vérité est le texte officiel, pas la sortie du modèle.

04Ce que l'outil vérifie seul, et ce qu'il ne voit pas

Une partie du travail se mécanise très bien. Mon contrôle final, que j'appelle le gate, relit l'article contre son brief :

• tout lien externe absent du registre de sources est bloquant : il faut lire la page, l'ajouter, revalider ;
• en mode réseau, l'outil ouvre chaque lien : une page en 404 bloque, une page qui refuse les robots ressort à justifier ;
• un pourcentage ou un effectif sans lien dans le même paragraphe est signalé ;
• les liens internes sont comparés à la liste des pages qui existent vraiment sur le site.

Voici la limite, et je préfère la dire. Sur la plupart de mes machines, la mention « lue » reste une déclaration. Le contrôle réseau prouve qu'une page existe, pas qu'elle contient ce qu'on lui fait dire. Seul l'extrait copié, quand il est exigé, s'en approche, et il ne vérifie qu'une phrase. Le jugement reste donc humain : relire l'apport de chaque source en face de la phrase de l'article. C'est pour ça que chaque article publié passe ensuite par ma relecture.

Côté modèle, la documentation de Claude propose des techniques que j'utilise aussi : autoriser le modèle à dire qu'il ne sait pas, lui faire extraire des citations exactes avant d'écrire, et lui demander de retirer toute affirmation pour laquelle il ne trouve pas de citation. Anthropic précise que ces techniques réduisent les hallucinations sans les éliminer (Anthropic, documentation de Claude). J'en parle plus en détail dans mon prompt de rédaction d'article.

05La checklist que je passe avant de publier

Vous n'avez pas besoin d'une machine pour appliquer le principal. Voici l'ordre que je suis, que l'article soit écrit par une IA ou à la main.

1. Listez toutes les sources citées, liens externes et internes compris.
2. Ouvrez chaque lien vous-même. Une page en erreur, un paywall ou une page sans rapport : la source sort.
3. Pour chaque source, retrouvez dans la page la phrase qui soutient l'affirmation. Si vous ne la trouvez pas, réécrivez ou supprimez l'affirmation.
4. Vérifiez que la conclusion n'a pas été durcie ou adoucie (« peut » devenu « va », « nul » devenu « modeste »).
5. Chaque chiffre garde son lien dans le même paragraphe. Un chiffre d'éditeur de logiciel se présente comme tel.
6. Remplacez le titre de chaque source par celui qui figure vraiment sur la page, avec l'organisme.
7. Relisez le titre SEO, la description et le texte alternatif de l'image avec le même soin que le corps.
8. Retirez toute citation dont la seule origine est une conversation avec un assistant.

Cette liste prend du temps, souvent plus que le premier jet du modèle. Je ne connais pas de raccourci honnête.

06Par où commencer lundi

Prenez le dernier article publié avec l'aide d'une IA et passez-lui les points 2 et 3 de la checklist. Si une seule source ne tient pas, vous savez où mettre la règle suivante : dans le brief, avant la rédaction, plutôt que dans une relecture de dernière minute.

Si vous voulez aller plus loin, le plus utile est souvent d'écrire ces règles quelque part où un outil peut les relire. C'est ce que je fais en mission, et vous trouverez quelques exemples de projets dans le portfolio. Pour en parler à partir de votre situation, tout est sur la page des services. Et si vous utilisez Claude au quotidien, mon article sur Claude pour le marketing complète celui-ci.