Hallucination IA

Définition courte

Une Hallucination IA est une réponse générée par un modèle de langage (LLM) qui semble plausible mais est factuellement incorrecte, inventée ou incohérente avec les données d'entraînement. Le modèle « invente » des informations avec une confiance totale, citant parfois des sources inexistantes, des statistiques fausses, ou des événements qui n'ont jamais eu lieu. Taux moyen : 15-20% sur des questions factuelles pour GPT-4.

Définition complète

Une Hallucination IA se produit quand un LLM génère du contenu qui n'est pas ancré dans ses données d'entraînement ou qui contredit les faits connus. Trois types distincts : (1) Factuel — chiffres, dates, noms erronés (dire « la Révolution française a eu lieu en 1789 » = correct ; « en 1799 » = hallucination) ; (2) Configurationnel — le modèle crée des configurations logiques impossibles ou contradictoires ; (3) Référentiel — citations de sources inexistantes (« selon une étude de Stanford 2024… » sans source réelle). Le mécanisme根源 : les LLM génèrent le token suivant selon la distribution de probabilité la plus likely — pas selon la vérité. Plus la temperature est élevée, plus l'aléatoire introduit de créativity et donc de risque d'hallucination. Les modelos spécialisés (Claude 3 Opus, GPT-4o) ont des taux plus bas grâce au RLHF et au Constitutional AI.

Pensée simple

Une hallucination, c'est comme un étudiant qui récite un cours qu'il n'a pas vraiment compris. Il a retenu des mots, des structures, le ton professoral — mais les faits sont mélangés. Plus il improvise, plus il est convaincant et plus il a faux. Et il ne vous dira jamais « je ne sais pas » — il invente avec assurance.

Les 3 piliers des Hallucinations IA

Biais des données d'entraînement (Training Data)

Les LLM apprennent des patterns dans des milliards de textes. Ils stockent des corrélations, pas des vérités. Si un concept apparaît souvent dans le training data, le modèle le répète avec confiance — même si c'est obsolète ou matériellement faux. Le knowledge cutoff (date limite de connaissances) crée des « trous » : le modèle ne sait pas ce qui s'est passé après sa date d'entraînement et peut « deviner » des événements plutôt que d'avouer son ignorance. Les training data contiennent aussi des biais systématiques (gender, race, politique) que le modèle reproduit fidelement.

Mécanisme de génération par sampling (Sampling)

Les LLM génèrent du texte token par token en sampillant la distribution de probabilité. Avec temperature=0, le modèle choisit toujours le token le plus probable (greedy decoding) — moins créatif mais plus prévisible. Avec temperature>0, le modèle introduit de l'aléatoire — plus créatif mais plus risqué d'halluciner. Le « chain-of-thought » (raisonnement étape par étape) réduit les hallucinations car il force le modèle à montrer son raisonnement, révélant les incohérences logiques avant la réponse finale. Les modèles avec higher logprobs (certitude) ont typiquement moins d'hallucinations.

Absence de vérification的事实基础 (No Grounding)

Un LLM standard n'a pas accès à l'information temps réel et ne peut pas vérifier ses réponses contre une source fiable. Il ne distingue pas « je suis sûr » vs « je suppose ». Les modelos comme GPT-4 ont un knowledge cutoff fin 2023 — il ne sait pas que Taylor Swift a sorti un nouvel album en 2024. Les systèmes RAG (Retrieval-Augmented Generation) réduisent les hallucinations de -60 à -80% en ancrant les réponses dans des documents检索és en temps réel depuis une base de connaissances vérifiable.

Le cycle de détection et réduction

1. Évaluation : Identifiez les réponses qui contiennent des faits vérifiables (dates, chiffres, noms, URLs).
2. Vérification croisée : Cross-checkez avec des sources fiables (Wikipedia API, documents officiels, base de connaissances interne).
3. Calibration des prompts : Ajustez les instructions pour forcer le modèle à exprimer son incertitude (« Si tu ne sais pas, dis-le »).
4. Enrichissement RAG : Ajoutez un système de retrieval pour ancrer les réponses dans des documents vérifiables.
5. Validation humaine : Review systématique des réponses sensibles (médical, juridique, financier) avant publication.

Exemple concret

Une entreprise SaaS B2B (340K utilisateurs, logiciel de comptabilité) déployait un chatbot GPT-4 pour le support client. Un utilisateur demande « Quelle est la durée de garantie du module X ? ». Le modèle répond « Votre module X bénéficie d'une garantie de 5 ans ». En réalité, le X a une garantie de 2 ans. 12 clients achètent des extensions de garantie inutiles (89€/client). Coût total : 1 068 € + insatisfaction client. Solution RAG : (1) indexing de la base de connaissances produit (spécs, garanties, politik de retour) dans Pinecone, (2) GPT-4o avec retrieval des 3 documents les plus pertinents, (3) prompt « Cite toujours la source documentaire ». Résultat : 0% d'hallucinations sur les questions de garantie, satisfaction client support +18%, réduction des tickets escaladés de -45%.

Applications concrètes

• Support client : Intégrez une base de connaissances produit pour éviter les réponses erronées sur les garanties, specs, prix. Réduction de 70% des tickets de niveau 1.
• Rédaction de contenu : Vérifiez systématiquement les dates, chiffres, URLs, et références citées avec des outils de fact-checking.
• Génération de code : Les LLM génèrent parfois du code avec des syntax errors ou des APIs inexistantes — testez toujours en sandbox avant production.
• Recherche juridique : Ne jamais utiliser un LLM pour des conseils juridiques sans validation humaine et ancrage documentaire.
• Contexte médical : Les hallucinations dans un contexte médical peuvent être dangereuses — gardez toujours un humain clinicien dans la boucle.

Métriques clés