Chaîne de Pensée et Auto-Cohérence

1. La limite du raisonnement direct

Un modèle de langage génère des jetons (tokens) de gauche à droite. Chaque nouveau jeton est conditionné par tous les jetons précédents. Dans un prompt standard ("raisonnement direct"), vous demandez au modèle de passer directement de l'énoncé du problème à la réponse finale.

Le problème est architectural : le modèle dispose d'un nombre fixe d'opérations de calcul par jeton généré. Si un problème nécessite 20 étapes logiques mais que vous demandez la réponse en un seul jeton (par exemple, un nombre ou un choix multiple), le modèle doit tenter de compresser tout ce raisonnement dans le calcul de ce seul jeton. S'il échoue, il produit une hallucination logique — une réponse qui a l'air correcte mais dont le fondement est erroné.

L'exemple arithmétique est assez simple pour que les deux chemins parviennent à la même réponse. Sur des problèmes véritablement multi-étapes — inférence logique, analyse de documents multiples, planification avec contraintes — le chemin direct produit des taux d'erreur nettement plus élevés car le modèle manque de jetons intermédiaires qui contraindraient sa distribution de réponses vers la région correcte.

2. La découverte originale et ce qu'elle a réellement montré

Wei et al. (2022) ont introduit la chaîne de pensée dans un article qui reste l'un des plus cités dans le domaine.^#Wei Ils ont montré que pousser les modèles à produire des étapes de raisonnement intermédiaires avant une réponse finale améliorait les performances sur ces benchmarks par une marge importante — souvent 40 % ou plus — sur les modèles de taille suffisante.

Deux aspects de cette découverte sont fréquemment mal compris et méritent d'être énoncés avec précision.

Dépendance à l'échelle. Le prompting CoT dégrade les performances sur les petits modèles. Wei et al. ont découvert que la technique n'améliore de manière fiable la précision qu'au-dessus d'environ 100 milliards de paramètres dans l'étude originale. L'effet était "émergent" — il apparaissait de manière discontinue à une certaine échelle plutôt que de s'améliorer progressivement. Ce seuil a depuis considérablement baissé à mesure que les méthodes d'entraînement s'amélioraient : des modèles beaucoup plus petits aujourd'hui (7B–13B paramètres) montrent des avantages CoT, mais le principe général tient — la CoT nécessite un modèle avec une capacité suffisante pour exploiter le raisonnement intermédiaire. Sur les très petits modèles, la CoT peut réellement nuire en ajoutant un bruit confus.^#Wei

Dépendance au type de tâche. La CoT améliore les performances sur les tâches qui nécessitent un raisonnement compositionnel — des tâches où une série d'étapes discrètes doivent être enchaînées correctement pour produire la réponse. Elle offre peu ou pas d'avantage sur les tâches qui relèvent essentiellement de la récupération (en quelle année X s'est-il produit ?) ou les tâches où le raisonnement est à étape unique. La technique n'est pas un booster de performance universel ; c'est une intervention ciblée pour une classe spécifique de tâches.

L'article a introduit le few-shot CoT — chaque exemple montrait à la fois la question et une solution étape-par-étape annotée. Kojima et al. (2022) ont ensuite démontré que la variante zero-shot plus simple — ajouter "Réfléchissons étape par étape" à un prompt — était suffisante pour susciter la majeure partie de l'avantage sans nécessiter d'exemples annotés.^#ZeroShot

3. Sept variantes de CoT — et quand utiliser chacune

Depuis Wei et al. (2022), une famille de variantes CoT a été développée, chacune ciblant un mode d'échec différent de la chaîne de pensée de base. L'étude de Schulhoff et al. (2024) catalogue systématiquement ces variantes à travers 1 565 articles.^#Survey Sept variantes ont un solide soutien empirique et des cas d'utilisation clairs en production.

Zero-shot CoT

La forme la plus simple. Ajoutez une phrase de déclenchement au prompt qui instruit le modèle de raisonner avant de conclure. Aucun exemple n'est requis. Kojima et al. (2022) ont montré que la phrase "Réfléchissons étape par étape" surpasse toutes les alternatives testées, y compris des formulations plus élaborées — sa brièveté et sa franchise semblent faire partie de son efficacité.^#ZeroShot

— Performance la plus élevée (Kojima et al. 2022)
  Réfléchissons étape par étape.
  
  — Plus fort pour les tâches structurées
  Réfléchis à ceci attentivement, une étape à la fois.
  
  — Plus fort pour le raisonnement causal / diagnostique
  Avant de répondre, travaille sur le problème à partir des
  principes fondamentaux. Montre ton raisonnement.

À utiliser quand : aucun exemple étiqueté n'est disponible, la tâche est nouvelle ou variée, ou vous avez besoin d'une amélioration rapide de la base de référence avec un minimum de surcharge de prompt. Le Zero-shot CoT est la bonne première expérience avant d'investir dans des exemples few-shot.

Few-shot CoT

La formulation originale de Wei et al. Chaque exemple few-shot comprend non seulement l'entrée et la réponse finale, mais aussi la trace de raisonnement complète qui les relie. Le modèle apprend à la fois quoi produire et comment raisonner pour y parvenir.

Question : Le chiffre d'affaires d'une entreprise est passé
  de 2,4 M£ à 3,1 M£ d'une année sur l'autre. Quel a été le
  taux de croissance, arrondi à une décimale ?
  
  Raisonnement :
  Croissance = 3,1 M£ − 2,4 M£ = 0,7 M£
  Pourcentage = (0,7 / 2,4) × 100 = 29,166... %
  Arrondi à une décimale : 29,2 %
  
  Réponse : 29,2 %
  
  ---
  
  Question : {{votre question ici}}
  Raisonnement :

À utiliser quand : la tâche a une structure cohérente, vous avez accès à des exemples corrects avec des chemins de raisonnement connus, et le zero-shot CoT produit des styles de raisonnement incohérents entre les exécutions. Le Few-shot CoT calibre simultanément le format et le modèle de raisonnement.

La qualité des exemples est critique. Un exemple avec une trace de raisonnement défectueuse — même s'il parvient à la bonne réponse — conditionne le modèle vers un raisonnement défectueux similaire dans le cas cible. Vérifiez toujours la justesse logique de chaque étape de vos exemples few-shot, pas seulement la réponse finale.

Prompting Step-back

Introduit par Zheng et al. (2023), le prompting step-back ajoute une étape d'abstraction préliminaire avant le raisonnement spécifique à la tâche.^#StepBack Avant de résoudre le problème spécifique, on demande au modèle d'identifier le principe sous-jacent ou la catégorie de problème auquel il appartient. Cela active des connaissances de plus haut niveau issues du pré-entraînement avant que le modèle ne les applique au cas spécifique.

— Phase 1 : abstraction
Avant d'analyser cette clause contractuelle spécifique, identifie :
Quel principe juridique général régit ce type de clause ?
Quel est le cadre de risque standard pour l'évaluer ?

— Phase 2 : application (se nourrit de la sortie de la Phase 1)
Applique maintenant ces principes à la clause suivante
et identifie les risques spécifiques pour un fournisseur SaaS :

{{texte de la clause}}

À utiliser quand : la tâche nécessite l'application de connaissances générales du domaine à des cas spécifiques — analyse juridique, raisonnement de diagnostic médical, analyse technique des causes racines. Le Step-back surpasse la CoT standard sur les tâches où le modèle a besoin de récupérer des connaissances approfondies du domaine avant de raisonner sur l'instance spécifique.

Prompting Plan-and-solve

Wang et al. (2023) ont identifié un mode d'échec spécifique du zero-shot CoT : le modèle génère parfois des étapes de raisonnement plausibles dans le mauvais ordre, ou saute des étapes qu'il ne devrait pas.^#PlanSolve Le Plan-and-solve résout ce problème en divisant le déclencheur CoT en deux phases explicites : planifier d'abord, puis exécuter le plan.

Comprenons d'abord le problème et élaborons un plan pour le résoudre.
Ensuite, exécutons le plan étape par étape et résolvons le problème.

À utiliser quand : la tâche implique une planification à étapes multiples ou des décisions séquentielles — rédaction d'un document stratégique, conception d'un système, débogage d'un pipeline. Le Plan-and-solve réduit le taux d'erreurs d'ordre des étapes par rapport à la CoT non structurée.

CoT Tabulaire

Jin et al. (2023) ont introduit Tab-CoT, qui structure la trace de raisonnement sous forme de tableau plutôt que de prose libre.^#Tabular Chaque ligne représente une étape de raisonnement, avec des colonnes pour le contenu de l'étape, la conclusion intermédiaire et un indicateur de confiance ou de vérification. Le format structuré empêche le modèle de générer des chaînes de raisonnement verbeuses et sinueuses qui perdent la trace des résultats intermédiaires.

Raisonne sur le problème en utilisant un tableau avec trois colonnes :
| Étape | Raisonnement | Résultat intermédiaire |

Complète chaque ligne avant de passer à la suivante.
Après le tableau, énonce ta réponse finale en une phrase.

À utiliser quand : les chaînes de raisonnement ont tendance à devenir longues et à perdre en cohérence, ou quand la tâche implique de suivre plusieurs variables simultanément. La CoT tabulaire est particulièrement efficace pour l'analyse financière, l'optimisation multi-variables et le raisonnement sur l'éligibilité ou la conformité.

Raisonnement Analogique

Yasunaga et al. (2023) ont montré que pousser le modèle à identifier et décrire d'abord un problème analogue qu'il a déjà vu — puis à transposer le raisonnement de ce cas analogue au problème actuel — améliore les performances sur les nouvelles tâches pour lesquelles aucun exemple few-shot direct n'est disponible.^#Analogical

Avant de résoudre ce problème :
1. Identifie un problème plus simple ou plus familier qui a
   la même structure sous-jacente.
2. Décris comment tu résoudrais ce problème analogue.
3. Transpose cette approche de solution au problème actuel
   et résous-le.

À utiliser quand : la tâche est véritablement nouvelle ou atypique, qu'aucun exemple few-shot spécifique au domaine n'est disponible et que vous avez besoin que le modèle exploite des schémas généraux de résolution de problèmes plutôt que des modèles mémorisés.

CoT Contrastif

Chia et al. (2023) ont démontré que l'inclusion d'une trace de raisonnement correcte et d'une trace de raisonnement explicitement incorrecte dans les exemples few-shot — l'incorrecte étant clairement étiquetée — améliore encore la précision par rapport aux exemples corrects uniquement.^#Contrastive Voir où le raisonnement échoue, et comment, aide le modèle à apprendre les frontières de décision de la tâche plus précisément.

Question : 17 est-il un nombre premier ?

✗ Raisonnement incorrect (étiqueté)
17 est impair. Les nombres impairs sont premiers. Par conséquent, 17 est premier.
Erreur : la prémisse "les nombres impairs sont premiers" est fausse (9, 15, 25…)

✓ Raisonnement correct (étiqueté)
17 n'est divisible que par 1 et lui-même.
Vérification : 17 ÷ 2 = 8,5, 17 ÷ 3 = 5,67, 17 ÷ 4 = 4,25 — aucun ne divise exactement.
Aucun facteur n'existe entre 1 et √17 ≈ 4,12. Par conséquent, 17 est premier. ✓

À utiliser quand : la tâche présente des modes d'échec courants ou des modèles d'erreur systématiques — tâches de classification avec des catégories facilement confondues, inférence logique avec un sophisme courant, extraction de données où un champ spécifique est systématiquement mal identifié. Le CoT contrastif cible directement ces modes d'échec au niveau de l'exemple.

4. Auto-cohérence — échantillonnage de plusieurs chemins de raisonnement

Wang et al. (2022) ont identifié une limitation fondamentale de la CoT gloutonne (greedy CoT) : lorsque le modèle génère une seule chaîne de raisonnement, la qualité de la réponse finale dépend entièrement de la justesse de cette chaîne particulière.^#Majority Les erreurs au début de la trace de raisonnement s'accumulent ; le modèle n'a aucun mécanisme pour détecter qu'il s'est trompé.

L'auto-cohérence résout ce problème en échantillonnant plusieurs chaînes de raisonnement indépendantes à partir du même prompt — à une température non nulle — et en prenant la réponse majoritaire parmi les chaînes comme sortie finale. L'intuition : si dix chemins de raisonnement différents parviennent tous à la même réponse, cette réponse est plus susceptible d'être correcte qu'un seul chemin pris isolément. Différentes chaînes font des erreurs différentes ; les chemins corrects partagent une destination commune.

Wang et al. ont montré des améliorations de 17,9 points de pourcentage sur GSM8K (mathématiques de niveau primaire), 11,0 points sur SVAMP (problèmes arithmétiques textuels) et 12,2 points sur AQuA (algèbre) par rapport à la CoT standard, en utilisant PaLM 540B.^#Majority L'amélioration est plus prononcée sur les tâches ayant une seule réponse correcte que plusieurs chemins de raisonnement valides peuvent atteindre.

Le compromis sur le coût

L'auto-cohérence multiplie votre coût API et votre latence par N. Ce n'est pas une technique pour chaque appel — c'est un investissement ciblé pour les décisions à enjeux élevés où la fiabilité justifie le coût. Les cas d'utilisation canoniques sont :

• Classification à conséquences élevées (triage médical, évaluation des risques juridiques, détection de fraude)
• Raisonnement quantitatif à étapes multiples où une seule erreur serait coûteuse
• Systèmes de décision automatisés où aucun examen humain n'est disponible en aval
• Évaluation d'autres prompts — utiliser l'auto-cohérence comme étalon-or par rapport auquel les prompts plus simples sont comparés

5. Tree of Thoughts — étendre la CoT à la recherche délibérée

La CoT standard et l'auto-cohérence sont toutes deux linéaires dans le temps : elles génèrent une séquence de jetons du début à la fin. Yao et al. (2023) ont introduit Tree of Thoughts (ToT) comme une architecture fondamentalement différente : une recherche sur un arbre de raisonnement possible, le modèle agissant à la fois comme générateur et évaluateur à chaque nœud.^#Tree

Dans ToT, le modèle génère plusieurs "pensées" candidates (étapes de raisonnement partielles) à chaque point de bifurcation. Une étape d'évaluation séparée — soit un autre appel au modèle, soit le même modèle utilisé comme évaluateur — note chaque candidat. Seules les branches les mieux notées sont explorées plus avant. Le résultat est une recherche délibérée, structurée en arbre, sur l'espace de raisonnement, plutôt qu'une seule passe de gauche à droite.

Yao et al. ont démontré ToT sur le Jeu de 24 (trouver une expression arithmétique utilisant quatre nombres qui est égale à 24), l'écriture créative avec des contraintes structurelles et un benchmark de mini-mots croisés. Le GPT-4 standard avec CoT a résolu 4 % des problèmes du Jeu de 24 ; ToT avec GPT-4 en a résolu 74 %.^#Tree

ToT en production : les contraintes réelles

Les gains de performance sont réels. Le coût l'est aussi : ToT nécessite N × K × profondeur appels au modèle par tâche, où N est le nombre de nœuds évalués, K est le facteur de branchement et la profondeur est celle de l'arbre. Une configuration ToT modeste (profondeur 3, K = 3, 3 appels d'évaluation par nœud) nécessite environ 30 à 40 appels au modèle par tâche. Cela place fermement ToT dans la catégorie des tâches de raisonnement hors ligne — traitement par lots, pipelines de recherche, planification à long terme — et non des applications temps réel faisant face à l'utilisateur.

Le schéma de déploiement pratique consiste à utiliser ToT pour générer des sorties de haute qualité hors ligne, qui sont ensuite mises en cache, stockées ou utilisées comme exemples few-shot pour des modèles en ligne plus légers. Traitez ToT comme un processus de génération coûteux dont les sorties sont des actifs, pas comme une stratégie d'inférence au moment de l'exécution.

6. Les modèles de raisonnement changent l'équation

La sortie de l'o1 d'OpenAI en septembre 2024, suivie de l'o3, de l'o4-mini et du Claude Sonnet 4.6 / Opus 4.6 d'Anthropic avec réflexion étendue (extended thinking), a introduit une nouvelle catégorie de modèles qui apporte un changement critique au tableau de la CoT : la chaîne de raisonnement est générée en interne, avant que la sortie visible du modèle ne commence.

Ces modèles effectuent un raisonnement par chaîne de pensée étendu dans un brouillon (scratchpad) caché — une séquence de jetons générée mais non renvoyée dans la réponse API standard. Le modèle raisonne sur le problème, revient en arrière si nécessaire, explore des approches alternatives, et seulement ensuite produit la réponse finale. La sortie visible est la conclusion d'un processus de raisonnement que l'utilisateur ne voit pas.

La documentation d'Anthropic pour Claude Sonnet 4.6 / Opus 4.6 note explicitement que demander un raisonnement étape par étape explicite dans le tour de l'utilisateur est inutile et peut produire des résultats moins bons que de laisser la réflexion étendue du modèle s'exécuter sans interruption.^#Extended Les conseils d'OpenAI pour les modèles o1, o3 et o4-mini font la même recommandation : évitez les instructions de type CoT dans le prompt ; concentrez-vous sur une spécification de tâche claire.

La valeur de l'auto-cohérence diminue également sur les modèles de raisonnement, car la recherche interne explore déjà plusieurs chemins de raisonnement au cours d'une seule génération. L'échantillonnage de N réponses apporte toujours un certain gain, mais le rendement marginal par échantillon supplémentaire est inférieur à celui des modèles standards. Le compromis coût-bénéfice change en conséquence.

7. Quand ne pas utiliser la chaîne de pensée

La CoT est souvent appliquée par réflexe à toute tâche qui semble "difficile". C'est une erreur. Quatre conditions rendent la CoT contre-productive.

Tâches simples ou à étape unique

La CoT ajoute des jetons, de la latence et du coût. Sur les tâches qui ne nécessitent aucune chaîne de raisonnement — rechercher un fait, formater une chaîne, extraire une entité nommée d'une phrase — la CoT produit une sortie verbeuse sans avantage de précision. Les étapes intermédiaires sont du remplissage, pas du raisonnement. Utilisez le zero-shot avec une spécification de format serrée à la place.

Modèles sous-dimensionnés

Sur les modèles inférieurs à environ 7B paramètres (entraînement post-2024), la CoT peut réduire les performances en générant des étapes de raisonnement à l'apparence plausible mais incorrectes qui conditionnent la réponse vers une région erronée. Le modèle manque de capacité pour exploiter les étapes intermédiaires comme des contraintes significatives. Si vous travaillez avec un petit modèle rapide, testez soigneusement la CoT par rapport à votre base de référence — ne supposez pas qu'elle aide.

Applications sensibles à la latence

Saisie semi-automatique en temps réel, post-traitement de transcription vocale, chatbots interactifs avec des exigences de réponse inférieures à la seconde — ceux-ci ne peuvent pas absorber les jetons supplémentaires que nécessitent les chaînes de raisonnement CoT. Pour les chemins critiques en termes de latence, utilisez le prompting direct avec une spécification de format très serrée et acceptez le compromis sur la précision. Réservez la CoT pour le traitement par lots ou les pipelines de pré-génération où la latence n'est pas la contrainte.

Modèles de raisonnement (comme établi plus haut)

Pousser l'o1, l'o3, l'o4-mini ou le Claude Sonnet 4.6 / Opus 4.6 avec réflexion étendue à "réfléchir étape par étape" dans le tour de l'utilisateur interfère avec le processus interne du modèle. C'est l'erreur la plus courante que font les praticiens lors de la migration des modèles standards vers les modèles de raisonnement. La sortie visible aura l'air plus verbeuse, mais la qualité est souvent inférieure car l'instruction CoT du tour utilisateur entre en concurrence avec — plutôt qu'elle n'augmente — le raisonnement interne du modèle.

8. Guide de décision — choisir la bonne variante de CoT

Le choix de la variante de CoT doit être dicté par le type de tâche, le modèle et les contraintes de coût. Ce tableau répertorie les scénarios de production les plus courants et la technique appropriée.

La leçon 04 passe des techniques de raisonnement individuelles au niveau architectural : comment concevoir et évaluer des chaînes de prompts, quand diviser une tâche sur plusieurs appels au modèle, et comment structurer les passages de relais entre eux afin que les erreurs d'une étape ne se propagent pas silencieusement dans le pipeline.

Références

1. #Wei Wei, J., et al. (2022). Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. L'article original sur la CoT. NeurIPS 2022. arXiv:2201.11903
2. #ZeroShot Kojima, T., et al. (2022). Large Language Models are Zero-Shot Reasoners. A introduit "Réfléchissons étape par étape" comme déclencheur CoT zero-shot. NeurIPS 2022. arXiv:2205.11916
3. #Survey Schulhoff, S., et al. (2024). The Prompt Report: A Systematic Survey of Prompting Techniques. Co-rédigé avec OpenAI, Stanford, Microsoft, Princeton, Google et 26 autres institutions. Dernière mise à jour février 2025. arXiv:2406.06608
4. #StepBack Zheng, H. S., et al. (2023). Take a Step Back: Evoking Reasoning via Abstraction in Large Language Models. Introduit le prompting step-back ; montre des améliorations cohérentes sur les tâches STEM et celles gourmandes en connaissances. ICLR 2024. arXiv:2310.06117
5. #PlanSolve Wang, L., et al. (2023). Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models. Identifie les erreurs d'ordre des étapes dans la CoT zero-shot ; introduit le déclencheur planifier-puis-exécuter. ACL 2023. arXiv:2305.04091
6. #Tabular Jin, Z., et al. (2023). Tab-CoT: Zero-shot Tabular Chain of Thought. Structure le raisonnement sous forme de tableau ; réduit la verbosité et les erreurs de suivi des étapes. ACL Findings 2023. arXiv:2305.17812
7. #Analogical Yasunaga, M., et al. (2023). Large Language Models as Analogical Reasoners. Démontre les analogies auto-générées comme une augmentation de la CoT. ICLR 2024. arXiv:2310.01714
8. #Contrastive Chia, Y. K., et al. (2023). Contrastive Chain-of-Thought Prompting. Montre que l'inclusion d'exemples de raisonnement incorrect étiquetés aux côtés d'exemples corrects améliore encore la précision. arXiv:2311.09277
9. #Majority Wang, X., et al. (2022). Self-Consistency Improves Chain of Thought Reasoning in Language Models. Introduit l'échantillonnage par vote majoritaire sur plusieurs chaînes de CoT. ICLR 2023. arXiv:2203.11171
10. #Tree Yao, S., et al. (2023). Tree of Thoughts: Deliberate Problem Solving with Large Language Models. Introduit la recherche structurée en arbre sur les états de raisonnement ; 74 % contre 4 % sur le Jeu de 24 avec GPT-4. NeurIPS 2023. arXiv:2305.10601
11. #Extended Anthropic. (2025). Extended Thinking — Claude API Documentation. Couvre le paramètre de réflexion étendue, les budgets de réflexion et les conseils sur la conception des prompts pour les modèles de raisonnement. platform.claude.com/docs/en/build-with-claude/extended-thinking