Pourquoi une seule réponse de ChatGPT ne prouve rien
Une capture d'écran de ChatGPT montre ce que l'outil a répondu une fois, à une personne, à un moment donné. Elle ne dit pas ce qu'il répond en général. Posez la même question une deuxième fois et la liste des marques recommandées sera, la plupart du temps, différente. Pour savoir si une marque est « citée par ChatGPT », il faut compter sur de nombreuses réponses, et dire sur combien.
Cet article rassemble ce que l'on sait de façon vérifiable sur cette variabilité, puis en tire une règle pratique.
Ce que montrent les mesures
Moins d'une chance sur 100 d'obtenir deux fois la même liste
L'étude la plus citée sur le sujet a été publiée en janvier 2026 par SparkToro, avec Gumshoe, un éditeur d'outils de suivi (le conflit d'intérêts est déclaré par l'auteur). 600 volontaires ont posé 12 questions de recommandation à ChatGPT, Claude et Google AI (AI Overviews ou AI Mode), 2 961 fois au total, avec leurs réglages habituels (SparkToro).
Les résultats, repris par Search Engine Land et Search Engine Journal :
- moins d'1 chance sur 100 d'obtenir deux fois la même liste de marques, quel que soit l'outil ;
- environ 1 chance sur 1 000 d'obtenir la même liste dans le même ordre ;
- le nombre de marques citées varie aussi : parfois 2 ou 3, parfois 10 ou plus.
L'auteur, qui partait de l'hypothèse que le suivi de visibilité était inutile, conclut autrement sur un point : le taux d'apparition d'une marque sur des dizaines d'exécutions est assez stable pour être une mesure raisonnable. Dans un de ses exemples, une agence apparaît dans 85 réponses sur 95. En revanche, une « position dans l'IA » n'a selon lui aucun sens.
L'étude n'est pas une publication scientifique relue par des pairs, et ses questions datent de fin 2025. Elle donne un ordre de grandeur, pas une constante.
Même à température zéro, les modèles ne répètent pas
On pourrait penser que la variabilité vient seulement du réglage « température », qui ajoute volontairement du hasard. Ce n'est pas le cas.
- Des chercheurs de Penn State ont testé cinq modèles configurés pour être déterministes (température 0, graine fixe) sur huit tâches, 10 exécutions chacune. Ils observent des écarts de précision allant jusqu'à 15 % d'une exécution à l'autre, et aucun modèle ne produit des sorties identiques de façon régulière (arXiv 2408.04667).
- Une autre étude, publiée en janvier 2026, mesure qu'à température 0 gpt-4o-mini produit une réponse différente dans environ 24 % des répétitions exactes du même prompt ; à température 0,7, presque chaque exécution donne une réponse nouvelle (arXiv 2601.19934).
Les assistants grand public ne tournent pas à température 0. Et quand la recherche web est activée, une deuxième source de variation s'ajoute : les pages récupérées ne sont pas toujours les mêmes.
Deux utilisateurs ne voient pas le même ChatGPT
La variabilité n'est pas seulement aléatoire. Elle dépend aussi de qui pose la question et comment.
- OpenAI indique que ChatGPT réécrit la question avant de l'envoyer à ses fournisseurs de recherche, qu'il utilise une localisation approximative dérivée de l'adresse IP et, si la mémoire est activée, des souvenirs de l'utilisateur pour réécrire la requête (aide OpenAI).
- L'agence RESONEO a rejoué les mêmes questions dans plusieurs configurations de ChatGPT (gratuit, payant, réponse rapide, réflexion). Deux configurations ne partagent qu'environ un tiers des marques citées (similarité de 0,25 à 0,37) ; entre l'application et l'API, la similarité tombe à 0,23–0,27 (Search Engine Land, 17/08/2026).
Autrement dit, la capture que le dirigeant d'un client a faite sur son téléphone, avec son historique, en mode gratuit, ne correspond pas forcément à ce que voit son acheteur.
Ce qu'une réponse peut dire, et ce qu'elle ne peut pas dire
Une réponse unique est utile pour une chose : montrer qu'une citation est possible. Si la marque apparaît, elle fait partie des réponses que le moteur peut produire. Si un concurrent apparaît, il en fait partie aussi.
Elle ne permet pas de dire :
- à quelle fréquence la marque est citée ;
- si elle est citée plus ou moins qu'un concurrent ;
- si un changement (nouvelle page, article de presse, avis) a fait bouger quoi que ce soit. Une différence entre deux captures prises avant et après peut n'être que du hasard.
Combien de réponses faut-il ?
La bonne question n'est pas « est-ce que la marque est citée ? » mais « dans quelle proportion des réponses ? ». Et toute proportion mesurée sur un échantillon a une marge d'erreur.
Un outil standard pour calculer cette marge sur une proportion est l'intervalle de Wilson (présentation des intervalles de proportion binomiale). Voici ce qu'il donne à 95 % pour quelques cas typiques :
| Réponses où la marque est citée | Intervalle à 95 % |
|---|---|
| 0 sur 3 | 0 % à 56 % |
| 1 sur 3 | 6 % à 79 % |
| 3 sur 3 | 44 % à 100 % |
| 2 sur 5 | 12 % à 77 % |
| 17 sur 30 | 39 % à 73 % |
| 30 sur 60 | 38 % à 62 % |
| 50 sur 60 | 72 % à 91 % |
Trois lectures :
- Avec 3 réponses, on ne sait presque rien. Une marque citée une fois sur trois peut, en réalité, être citée dans 6 % ou dans 79 % des cas.
- Avec 30 réponses par moteur, on commence à pouvoir comparer. Une fourchette de ±15 à ±20 points reste large, mais permet de distinguer « rarement » de « souvent ».
- Avec 60 réponses, on peut écrire un chiffre défendable sur le total, à condition de l'accompagner de sa fourchette. SparkToro recommande même 60 à 100 exécutions par question quand on veut connaître l'ensemble des marques recommandées.
Une précaution : l'intervalle de Wilson suppose des tirages indépendants et de même probabilité. Quand on mélange plusieurs questions différentes, la probabilité varie d'une question à l'autre. Le chiffre global reste utile, mais il faut aussi regarder le détail par question, en sachant qu'à 5 tirages par question la fourchette est large.
Une règle pratique
Pour une agence qui doit parler de visibilité IA à un client ou à un prospect :
- Ne jamais présenter une capture comme une mesure. La montrer comme un exemple, en le disant.
- Compter. « Cité dans 17 réponses sur 30 » est un fait vérifiable. « Score de visibilité 62 » ne l'est pas si l'on ne sait pas sur quoi il repose.
- Donner la fourchette. Elle évite de sur-interpréter un écart de quelques points.
- Garder les réponses brutes. Si le client conteste, on ouvre la réponse.
- Comparer à instrument constant. Même questions, même moteurs, même pays, même nombre de tirages, avant et après.
- Ne parler ni de classement ni de garantie. L'ordre des marques est presque aléatoire, et personne ne contrôle ce qu'un modèle répondra.
Ce que fait AskedAgain
AskedAgain applique cette règle : 6 questions d'acheteur, sans nommer la marque, posées 5 fois chacune à ChatGPT et à Claude, recherche web activée, via leurs API officielles, dans la langue et le pays de la marque. Soit 60 réponses. Le rapport donne le taux de citation avec sa fourchette à 95 %, le détail par question, les marques citées à la place, les sources consultées, et toutes les réponses en annexe. Il ne garantit rien : il mesure.
Une limite à connaître : une API n'est pas l'application ChatGPT d'un utilisateur précis (voir l'étude RESONEO plus haut). On mesure ce que répondent les modèles dans des conditions constantes, ce qui permet de comparer dans le temps, pas de reproduire l'écran de chaque acheteur.
Vous pouvez voir le phénomène par vous-même avec le test gratuit : une question, posée 3 fois à Claude, les trois réponses côte à côte. Il suffit en général à montrer pourquoi une seule réponse ne prouve rien.
Sources - SparkToro, « New Research: AIs are highly inconsistent when recommending brands or products », 01/2026 : https://sparktoro.com/blog/new-research-ais-are-highly-inconsistent-when-recommending-brands-or-products-marketers-should-take-care-when-tracking-ai-visibility/ - Search Engine Land, 28/01/2026 : https://searchengineland.com/ai-recommendation-lists-rarely-repeat-study-468076 - Search Engine Journal, 30/01/2026 : https://www.searchenginejournal.com/ai-recommendations-change-with-nearly-every-query-sparktoro/566242/ - Atil et al., « Non-Determinism of "Deterministic" LLM Settings », arXiv 2408.04667 : https://arxiv.org/abs/2408.04667 - Nicholson, « Quantifying non deterministic drift in large language models », arXiv 2601.19934 : https://arxiv.org/abs/2601.19934 - OpenAI, « Searching the web with ChatGPT » : https://help.openai.com/en/articles/9237897-searching-the-web-with-chatgpt - O. de Segonzac (RESONEO), Search Engine Land, 17/08/2026 : https://searchengineland.com/chatgpt-retrieval-stack-index-cache-pages-485036 - Intervalle de Wilson : https://en.wikipedia.org/wiki/Binomial_proportion_confidence_interval
Mis à jour le 19/11/2026.
Mesurer la visibilité d’une marque dans ChatGPT et Claude : commander un audit (29 €) ou lire un rapport réel.