Stabilité de la citation LLM : pourquoi « aucun signal » ne veut pas dire la même chose selon le moteur

Le résultat : un moteur reproduit, l’autre rejoue

Deux appels au même moteur, sur la même requête, à quelques secondes d’intervalle. On compare les deux listes de sources citées. Deux mesures : le renouvellement (part de sources qui changent) et la rétention (part de sources conservées).

Lecture directe. Perplexity conserve près de neuf sources sur dix d’un appel à l’autre. Gemini en rejoue près des deux tiers.

Mesure faite sur 198 paires de réplications Perplexity et 461 Gemini. Profondeur de citation contrôlée : écart maximal de deux citations entre les deux appels d’une paire.

L’écart résiste à tout

Un écart pareil, on se méfie. On a cherché ce qui pourrait le fabriquer artificiellement. Rien ne le fait tomber.

• La profondeur de citation. L’écart subsiste strate par strate : +0,29 sur les listes de 6 à 10 citations, +0,57 sur celles de 16 à 20.
• La métrique. Renouvellement et rétention sont deux calculs indépendants. Ils concordent.
• Le modèle et le prompt. model_name et prompt_version constants sur toute la période, pour chaque moteur.
• La période. L’écart tient sur la fenêtre commune aux deux moteurs.
• Le secteur. Présent dans les six secteurs à effectif suffisant. Sans exception.
• Les artefacts de collecte. Les exclure ne change rien : Perplexity inchangé, Gemini bouge de 0,009.
• Le chemin technique. Même mécanisme d’insertion pour les deux moteurs. Aucune boucle de reprise différenciée.

L’écart n’est pas un accident de mesure. Il décrit un comportement crucial des LLM.

Gemini rejoue toutes ses citations, pas seulement la queue

On aurait pu imaginer un moteur qui garde ses trois premières sources et remanie le reste de sa réponse. Ce n’est pas ce que fait Gemini.

Le renouvellement est uniforme sur toute la liste. Rangs 1 à 3 : 0,800. Rangs 4 à 10 : 0,833. Rangs 11 et au-delà : 0,875. Pas de noyau conservé. Le moteur rejoue l’ensemble.

Ce sont d’autres sources, pas d’autres adresses

Autre hypothèse à écarter : et si c’étaient les mêmes sites, sous des URL légèrement différentes ? Non plus.

L’écart entre le grain URL et le grain domaine est faible : 0,028 pour Perplexity, 0,057 pour Gemini. Le renouvellement porte sur des sources différentes, pas sur des variantes d’adresse d’un même site.

Deux régimes inversés selon la profondeur

Détail qui sépare franchement les deux moteurs. Chez Perplexity, plus la liste est longue, plus elle est stable : renouvellement de 0,333 sur les listes de 6 à 10 citations, 0,138 sur celles de 16 à 20. Chez Gemini, l’inverse.

Ce ne sont pas deux degrés du même phénomène. Ce sont deux comportements de nature différente.

Ce que cette instabilité fait aux mesures d’accord entre moteurs

Voici l’implication la plus large. Deux moteurs ne peuvent pas s’accorder davantage que chacun ne s’accorde avec lui-même.

La rétention médiane de Gemini est de 0,556. Donc tout accord mesuré entre Gemini et un autre moteur est plafonné à cet ordre de grandeur. Pas parce qu’ils divergent sur le fond. Parce que l’un des deux ne se reproduit déjà pas lui-même.

Cette borne de 56 % n’est pas un accord observé. C’est un plafond théorique déduit de la stabilité des données. On ne l’a pas mesuré : on le calcule à partir du renouvellement.

La conséquence est méthodologique, et elle nous concerne. Un désaccord observé entre deux moteurs n’établit pas qu’ils sélectionnent selon des critères différents. Il peut refléter l’instabilité d’un seul. Notre propre chiffre de 2,4 % de consensus inter-moteurs, publié le 14 juillet, doit se lire ainsi : une part de ce non-consensus est de l’instabilité intra-moteur, pas de la divergence de fond.

Deux moteurs, deux jeux différents

L’instabilité de Gemini n’est pas isolée. Elle va de pair avec l’endroit où le moteur va chercher ses sources. Là où les moteurs de recherche classiques renvoient une page de résultats ordonnée et stable, ces moteurs puisent différemment.

Perplexity re-classe majoritairement le top Google. Gemini va chercher ailleurs dans plus de huit cas sur dix. Un espace de sources plus large, moins contraint par le classement Google, alimenté en temps réel à chaque requête. Cohérent avec sa volatilité : plus l’espace exploré est vaste, plus la sélection a de latitude pour changer d’un appel à l’autre. Rien ne garantit que les sources retenues soient les plus fiables : elles sont seulement celles que le moteur a rejouées cette fois-ci.

Pourquoi « aucun signal » ne se lit pas pareil selon le moteur

C’est ici que l’affaire devient intéressante. Et c’est ici qu’on corrige une thèse qu’on avait posée trop large.

Le 14 juillet, on écrivait qu’une fois une page candidate, c’est l’autorité de domaine qui décide de la citation. Les mesures de la semaine montrent que cet énoncé ne tient pas pour Perplexity.

Perplexity : ni le contenu ni l’autorité ne discriminent

Sur Perplexity, à rang Google contrôlé, on ne trouve aucun signal discriminant. Trois mesures indépendantes convergent : le delta d’autorité de domaine tombe autour de 0,03, le delta de contenu maximum atteint 0,124, sous le seuil de 0,15.

La raison est mécanique. Sur les deux secteurs pilotes, l’immobilier et la santé/bien-être, 42,7 % et 45,4 % des domaines cités sont aussi présents dans la population de contrôle. Ce sont largement les mêmes domaines des deux côtés. Difficile de discriminer entre deux groupes qui se recouvrent à ce point.

Cette mesure repose sur un relevé figé, collecté une fois le 28 juin, stable au recalcul du 22 juillet. Ce n’est pas un résultat de mesure isolée. Elle n’a toutefois été validée que sur ces deux secteurs.

La citation Perplexity est donc un re-classement du top Google. Le contenu compte pour entrer dans le pool, c’est le terrain du SEO classique. Une fois dedans, rien d’observable ne départage les pages : ni le contenu, ni l’autorité.

L’autorité, elle, ne vaut que pour Gemini, et pas partout

Le rôle de l’autorité, tel qu’on l’énonçait le 14 juillet, tient pour Gemini. Uniquement. Et seulement sur la fraction de ses citations située dans le top 20 Google, soit 14 à 18 % selon le périmètre. Sur le reste de ses citations, aucune mesure de ce type n’existe encore.

Un mot de prudence sur ce point. Les deltas d’autorité mesurés pour Perplexity (environ 0,03) et pour Gemini (0,53) ne sont pas comparables à design constant. Pour Perplexity, on oppose les sources citées aux non-citées du top 20 Google de la requête. Pour Gemini, on les oppose aux non-citées du SERP de ses propres recherches internes, soit environ 16,5 % de ses citations seulement. Ce ne sont pas deux mesures de même nature. Le contraste 0,03 contre 0,53 ne dit pas « Perplexity ignore l’autorité, Gemini la suit » : il compare deux terrains différents.

L’asymétrie qui compte vraiment

Reste le point le plus original, et il découle directement de la stabilité.

« Aucune propriété ne discrimine » ne veut pas dire la même chose selon le moteur qui le produit.

Chez Perplexity, qui reproduit sa sélection à 89 %, cette absence de signal reflète une sélection réellement indifférente au contenu et à l’autorité, à rang égal. Si un facteur discriminant existait, la stabilité du moteur le laisserait apparaître.

Il n’apparaît pas parce qu’il n’y est pas.

Chez Gemini, qui rejoue 56 % de ses citations, la même absence de signal peut mêler deux choses : une vraie indifférence au contenu, ou simplement le bruit de génération qui noie tout signal éventuel. Les deux explications ne sont pas départageables en l’état.

Ce bruit de génération est documenté en amont. Des mesures indépendantes de reproductibilité, menées à température nulle sur plusieurs modèles, montrent que deux appels identiques ne produisent pas toujours la même sortie. Deux niveaux à ne pas confondre : la stabilité des jetons produits et la stabilité de la liste de sources citées ne se mesurent pas de la même façon. Notre mesure porte sur la seconde.

Un signal peut exister chez Gemini sans qu’on le voie, masqué par l’instabilité. Chez Perplexity, s’il n’apparaît pas, c’est qu’il n’y est pas. Même résultat brut, deux interprétations opposées. La stabilité du moteur est ce qui les sépare.

Ce que cette mesure ne dit pas

Ces limites ne sont pas des précautions de style. Elles bornent ce qu’on a le droit de conclure.

• Réplications trouvées, pas provoquées. Les paires viennent de requêtes rejouées par le collecteur, pas d’un protocole de réplication délibéré. Une mesure sur réplications volontaires, avec N appels contrôlés sur échantillon stratifié, serait plus solide. Elle reste à faire.
• Effectif Perplexity limité. 198 paires contre 461 pour Gemini.
• Une seule version de chaque modèle. sonar et gemini-2.5-flash. Rien n’est dit des autres modèles ni des versions ultérieures.
• Aucun test statistique. La structure des données ne s’y prête pas sans travail préalable. Les écarts sont décrits, pas testés.
• Cause non établie. Modèle, couche de récupération ou API : on ne sait pas d’où vient l’instabilité. Les causes techniques possibles du non-déterminisme des moteurs IA sont décrites ailleurs ; on ne tranche pas ici. On ne spécule pas.
• Périmètre francophone. Requêtes informationnelles en français, 26 secteurs. Les mesures d’autorité et de domaines partagés sont bornées aux deux secteurs pilotes.

Ce qu’on retient

La reproductibilité de la citation n’est pas une propriété du paysage des sources. Ni du contenu.

C’est une propriété du moteur. D’un moteur IA à l’autre, elle change du tout au tout.

Deux moteurs reçoivent la même requête, au même moment, avec le même web disponible. L’un reproduit sa sélection. L’autre la rejoue. Rien dans les sources ne l’explique : la différence est dans la machine.

Et la prochaine fois qu’une étude vous annonce que deux moteurs de réponse ne sont pas d’accord, posez-vous la question avant de conclure. Sont-ils en désaccord ? Ou l’un des deux n’est-il simplement pas d’accord avec lui-même ?

Références internes : mesure principale de la stabilité intra-moteur, delta d’autorité par moteur.