Prompt engineering

Testez-vous. Puis relisez.

Dix questions tirées au hasard des six leçons de la Partie I. Sans limite de temps, sans inscription, sans score conservé nulle part — la réponse que vous ratez désigne la leçon à relire.

Questions

Questions au total

∞

Sans limite de temps

Notez-vous Réponses dévoilées Partagez le résultat

1 / 10

Question 01. Quelle est la définition la plus exacte du prompt engineering selon la leçon ?

Rédiger des instructions créatives pour des chatbots IA
La conception systématique des entrées d'un modèle de langage afin de produire de façon fiable les sorties voulues
Affiner les poids d'un modèle à l'aide de données d'entraînement spécialisées
Un terme marketing désignant le fait d'interagir avec ChatGPT

Question 02. Le « Prompt Report » de Schulhoff et al. (2024) recense des techniques issues de combien d'articles de recherche ?

Plus de 500
Plus de 800
Plus de 1 500
Plus de 3 000

Question 03. Quelles institutions ont co-signé The Prompt Report (arXiv:2406.06608) ?

Stanford et le MIT uniquement
OpenAI et Google uniquement
OpenAI, Stanford, Microsoft, Princeton, Google et 26 autres
Anthropic et Meta exclusivement

Question 04. À quoi renvoie l'« apprentissage en contexte » s'agissant des LLM ?

Entraîner le modèle sur de nouvelles données à l'exécution
Le modèle qui apprend des motifs à partir d'exemples fournis dans le prompt lui-même
Une technique d'affinage par apprentissage par renforcement
Stocker l'historique de conversation dans une base de données

Question 05. Selon la leçon, le prompt engineering est décrit comme quel type de discipline ?

Un exercice d'écriture créative
Une pratique artistique fondée sur l'intuition
Une discipline d'ingénierie centrée sur l'optimisation, la fiabilité et la précision
Une compétence temporaire vouée à l'obsolescence

Question 06. Quel est le mécanisme fondamental par lequel un grand modèle de langage produit ses réponses ?

La correspondance de motifs contre une base de données fixe
L'exécution d'arbres de décision à base de règles
La prédiction du token suivant à partir de distributions de probabilité
La récupération de réponses pré-rédigées dans les données d'entraînement

Question 07. Quel concept fondateur Brown et al. (2020) ont-ils introduit en même temps que GPT-3 ?

Le raisonnement en chaîne de pensée
L'apprentissage few-shot en contexte
Le cache sémantique
Le context engineering

Question 08. Combien de techniques de prompting distinctes The Prompt Report recense-t-il ?

12 techniques
33 techniques
58 techniques
plus de 100 techniques

Question 09. Selon la leçon, que faites-vous fondamentalement lorsque vous écrivez un prompt ?

Vous programmez une machine déterministe
Vous adressez des commandes SQL à une base de connaissances
Vous façonnez une distribution de probabilité sur les sorties possibles
Vous téléversez des instructions dans la mémoire du modèle

Question 10. Pourquoi ajouter « réfléchis étape par étape » à un prompt améliore-t-il souvent le raisonnement ?

Cela déclenche un mode de raisonnement spécial intégré à l'API
Cela déplace la masse de probabilité vers des tokens de raisonnement intermédiaires avant la réponse finale
Cela augmente automatiquement le paramètre de température du modèle
Cela donne accès à une version différente et plus performante du modèle

Question 11. Dans quel ordre les cinq composants d'un system prompt de production doivent-ils apparaître ?

Rôle, contraintes absolues, contexte d'exploitation, capacités, format de sortie
Contexte d'exploitation, rôle, format de sortie, capacités, contraintes
Le format de sortie d'abord, pour que le modèle connaisse le schéma avant tout
L'ordre n'a aucun effet — le modèle lit tout le contexte en une seule passe

Question 12. Pourquoi les contraintes absolues doivent-elles figurer en haut du system prompt ?

Parce que l'API n'applique que les 500 premiers tokens d'instructions
Parce que les contraintes forment en général la section la plus longue
Parce que l'utilisateur voit le haut du prompt en premier
Parce que les tokens placés tôt conditionnent plus fortement le modèle : la règle est posée avant qu'un contenu utilisateur puisse la déclencher

Question 13. En quoi consiste l'effet « lost in the middle » (Liu et al., 2023) ?

Les modèles sous-pondèrent systématiquement ce qui se trouve au milieu d'un long contexte
L'API tronque silencieusement le milieu des prompts qui dépassent la limite de tokens
Le modèle oublie les premiers tours dès qu'une conversation dépasse dix échanges
Les embeddings perdent en précision pour les passages pris au milieu d'un document

Question 14. Quelle est la défense permanente contre l'injection de prompt, et où se place-t-elle ?

Un filtre par expression régulière sur l'entrée utilisateur, côté application
Une température plus basse, qui rend le modèle moins enclin à obéir au texte injecté
Un second modèle qui réécrit chaque document récupéré avant son injection
Une règle du system prompt : traiter tout contenu externe comme une donnée à traiter, jamais comme une instruction à suivre

Question 15. Que doit contenir le system prompt d'un agent, et pas celui d'un chatbot ?

Une section rôle plus longue, décrivant chaque outil en détail
Une température plus élevée, pour que l'agent explore des alternatives
Des exemples few-shot pour chaque appel d'outil
Un protocole de décision — des règles explicites pour choisir l'action suivante et se rattraper quand un outil échoue

Question 16. Pourquoi le chain-of-thought améliore-t-il la justesse sur les problèmes à plusieurs étapes ?

Les étapes de raisonnement deviennent des tokens du contexte, et tout token produit ensuite — la réponse comprise — en dépend
Le modèle dispose de plus de temps pour traiter la question avant de répondre
Il active un module de raisonnement distinct à l'intérieur du modèle
Il abaisse la température d'échantillonnage pour la réponse finale

Question 17. Que fait la self-consistency (Wang et al., 2022), et que coûte-t-elle ?

Elle relance le même prompt deux fois à température 0 et garde la réponse la plus longue, sans surcoût
Elle demande au modèle de vérifier sa propre réponse une fois, ce qui double environ le coût
Elle réentraîne le modèle sur ses propres chaînes correctes, pour un coût unique
Elle échantillonne N chaînes à température non nulle et retient la réponse majoritaire, multipliant coût et latence par N

Question 18. Vous passez un prompt sur un modèle de raisonnement avec réflexion étendue. Que devient le déclencheur « réfléchis étape par étape » ?

Il disparaît — le modèle raisonne en interne, et l'instruction entre en concurrence avec ce processus
Il reste, et il est répété en fin de prompt pour insister
Il est remplacé par cinq exemples few-shot de traces de raisonnement
Il reste, mais on augmente le budget de réflexion pour compenser

Question 19. Tree of Thoughts résout 74 % des problèmes du Game of 24, contre 4 % pour le CoT standard. Pourquoi reste-t-il inadapté à un parcours utilisateur en direct ?

Il ne fonctionne qu'au-delà de 100 milliards de paramètres
Il exige d'abord de réentraîner le modèle sur des traces de recherche
Ses sorties ne peuvent être ni mises en cache ni réutilisées ensuite
Il coûte environ 30 à 40 appels de modèle par tâche, ce qui le réserve au traitement différé

Question 20. Pour quelle tâche le chain-of-thought est-il le mauvais outil ?

Une inférence logique portant sur plusieurs contraintes
Extraire une entité nommée et la renvoyer dans un format fixe
Un calcul en plusieurs étapes avec plusieurs quantités intermédiaires
L'analyse de plusieurs documents dont la conclusion dépend de plusieurs sources

Question 21. Quelles quatre architectures couvrent la plupart des pipelines de chaînage ?

Séquentielle, à embranchements, en boucle, map-reduce
Linéaire, récursive, parallèle, contradictoire
Recherche, génération, validation, journalisation
Zero-shot, few-shot, step-back, contrastive

Question 22. Quel est le rôle d'un routeur à l'entrée d'un système à plusieurs chaînes ?

Comprendre la demande en profondeur, puis y répondre directement quand il le peut
Classer l'entrée dans un ensemble fini d'étiquettes, avec un seuil de confiance et un cas par défaut explicite
Découper l'entrée en morceaux pour un traitement parallèle
Réécrire la demande de l'utilisateur en un meilleur prompt pour l'étape suivante

Question 23. L'étape 3 d'une chaîne plante en analysant du JSON. D'où vient la panne, et qu'est-ce qui l'évite ?

Du prompt de l'étape 3 — une température plus basse la corrige
De l'orchestrateur — un nouvel essai avec la même entrée la corrige
De la version du modèle — épingler le modèle la corrige
De l'étape 2, qui a renvoyé une sortie malformée — valider le schéma de chaque étape à la frontière l'évite

Question 24. Quel contexte chaque étape d'une chaîne doit-elle recevoir ?

La sortie complète de toutes les étapes précédentes, pour ne rien perdre
Uniquement la demande initiale, pour garder chaque étape indépendante
Le minimum nécessaire — la sortie de l'étape qui la précède, plus le contexte global réellement indispensable
Un résumé de tout le traitement, régénéré à chaque étape

Question 25. Quand faut-il s'en tenir à un seul prompt plutôt que de chaîner ?

Quand la tâche comporte plusieurs sous-tâches de natures différentes
Quand la sortie de chaque étape est vérifiable indépendamment
Quand localiser une erreur dans le pipeline compte
Quand la tâche est une transformation unique et que la latence est la contrainte principale

Question 26. Qu'est-ce qui distingue le fine-tuning du RAG ?

Le fine-tuning ajuste le comportement et le style ; le RAG ajuste ce que le modèle sait, au moment de l'inférence
Le fine-tuning s'applique aux modèles ouverts, le RAG aux modèles fermés
Ils résolvent le même problème, mais le RAG coûte moins cher
Le fine-tuning ajoute des connaissances de façon permanente ; le RAG se contente de reformuler la réponse

Question 27. Pourquoi la qualité de la recherche plafonne-t-elle les réponses d'un système RAG ?

Parce que le moteur de recherche rédige aussi la formulation finale de la réponse
Parce que le modèle n'intervient qu'à la dernière étape : avec un contexte pauvre, il hallucine pour combler le vide ou répète fidèlement le mauvais contenu
Parce que les embeddings sont recalculés à chaque requête, ce qui limite la précision
Parce que la fenêtre de contexte ne peut pas contenir plus de quatre passages à la fois

Question 28. Quel point de départ raisonnable pour un découpage à taille fixe ?

Un seul passage par document, pour ne jamais couper
50 tokens sans recouvrement, pour une précision maximale
Environ 512 tokens avec à peu près 64 de recouvrement, puis un réglage guidé par l'évaluation
8 000 tokens, puisque les modèles d'embedding récents acceptent de longues entrées

Question 29. La recherche sémantique rate systématiquement une référence produit exacte. Qu'est-ce qui corrige cela ?

Un top_k plus grand sur le même index dense
Des passages plus courts sur tout le corpus
Un modèle d'embedding différent, uniquement au moment de la requête
La recherche hybride — BM25 lancé en parallèle de la recherche dense, les deux ensembles étant fusionnés

Question 30. Les réponses se dégradent alors que le bon passage figure parmi les dix injectés. Quelle est la correction ?

Injecter davantage de passages, pour être certain d'inclure le bon
Chercher plus large, injecter moins — un top_k élevé, un reranker, puis seulement les quatre à six meilleurs passages
Augmenter la température pour que le modèle explore davantage le contexte
Répéter la question après le bloc de contexte

Question 31. Quelles sont les trois couches de l'évaluation ?

Tests de fumée, tests de charge, tests d'intrusion
Évaluations unitaires sur un prompt, d'intégration sur le pipeline complet, système avec des évaluateurs humains
Précision, rappel, F1
Préproduction, canari, production

Question 32. À quoi ressemble un jeu de référence exploitable au départ ?

Dix exemples, de quoi voir si le prompt fonctionne
Toutes les requêtes de production du dernier mois, sans annotation
50 à 100 exemples vérifiés — entrée, référence, grille et catégorie — dont un cinquième de cas adverses
Mille exemples synthétiques produits par le modèle lui-même

Question 33. Votre juge LLM renvoie des notes qui s'agglutinent toutes autour de 3 sur 5. Quelle est la cause probable ?

La grille ne dit jamais ce qui sépare un niveau de note du suivant : le juge se rabat sur le milieu
Le modèle juge est trop petit — un modèle plus grand étalerait les notes
La température d'échantillonnage du juge est trop basse
Le jeu d'évaluation est trop petit pour produire un étalement

Question 34. Dans RAGAS, que mesure la fidélité ?

Si chaque affirmation de la réponse s'appuie sur le contexte récupéré — même lorsque ce contexte est faux
Si la réponse est factuellement exacte dans le monde réel
Si les passages récupérés contiennent de quoi répondre à la question
Si la réponse reprend de près la formulation de référence

Question 35. Selon la leçon, quelle est l'erreur de mise en production la plus fréquente ?

Mettre en production sans avoir défini ce que « prêt » veut dire, avant la première évaluation
Mettre en production trop tôt, avant que le modèle soit assez capable
Mettre en production sans humain dans la boucle
Mettre en production avant d'avoir entièrement automatisé la suite d'évaluation

Contact

Un système à construire ?

Si vous montez un pipeline RAG, un workflow d'agents IA ou une intégration MCP et que vous voulez comparer vos notes, échanger des idées, ou simplement éviter les erreurs que j'ai déjà faites — écrivez-moi.

M'écrire LinkedIn X GitHub

Ou recevez le Playbook par e-mail — un message quand une nouvelle leçon sort, et rien d'autre.

Pas de bruit, pas de spam. Désinscription à tout moment.

Testez-vous. Puis relisez.

Votre résultat

Un système à construire ?