Nous avions raison d’exclure Bing. Pour une mauvaise raison.

On a mesuré le recouvrement entre les résultats Google et Bing sur notre corpus de requêtes informationnelles françaises. Le score était quasi nul. La conclusion s’est imposée d’elle-même : l’index Bing FR est structurellement pauvre, inutilisable pour une analyse GEO sérieuse.

« Sauf que ce n’était pas Bing le problème.

C’était notre instrument de mesure. »

Cet article n’est pas un article sur Bing. C’est un article sur le biais qui fait le plus de dégâts en analyse de données, celui qu’on ne remarque jamais, parce qu’il nous donne exactement raison.

Un résultat trop propre pour être vrai

Notre corpus : 1 042 requêtes informationnelles françaises sur 26 secteurs. Pour chaque requête, on compare les domaines présents dans le top-10 Google et le top-10 Bing. L’indicateur : le coefficient de Jaccard, le ratio entre l’intersection et l’union des deux ensembles.

Résultat initial : environ 1,6 % de recouvrement domaine. En clair, sur dix résultats Bing, presque aucun n’apparaissait chez Google. Et inversement.

On a conclu à un index Bing défaillant. Mesure faite, décision prise, Bing sorti du périmètre.

La conclusion était confortable. C’est ça, le signal d’alarme qu’on n’a pas entendu.

Le piège du résultat attendu

Dans le milieu SEO, « l’index Bing FR est faible » n’est pas une hypothèse (requête ou bing ne . C’est une conviction partagée. Elle circule dans les forums, les newsletters, les retours d’expérience d’agences. Tout le monde a croisé des SERPs Bing décevantes sur des requêtes locales ou de niche.

« Comment réussir calendrier maquillage : tutoriel étape par étape
La requête vise clairement un calendrier de l’Avent maquillage (tutoriel pas à pas). Perplexity et Google comprennent ça.
Bing, lui, renvoie du maquillage générique, « dans quel ordre se maquiller », routine visage, etc.
Quand une mesure confirme ce qu’on croit déjà, elle passe les filtres sans frottement. On ne cherche pas à la falsifier.« 

C’est précisément là que le biais de confirmation fait son travail le plus discret. Ce ne sont pas les résultats surprenants qui passent sans vérification, on les questionne, on les re-teste. Ce sont les résultats attendus. Ceux qui semblent évidents parce qu’ils s’inscrivent dans ce qu’on sait déjà.

Un résultat à 1,6 % quand on s’attendait à « peu de chevauchement », c’est précisément ça, dangereux.

La fissure et pourquoi un seul écart suffit

Le doute n’est pas venu d’une théorie. Il est venu d’un écart entre la donnée et ce qu’on voyait à la main.

Sur certaines requêtes du corpus, les résultats fournis par notre source de données Bing semblaient incohérents. Pas seulement faibles en recouvrement, sémantiquement étranges. Peu représentatifs de ce qu’un utilisateur trouverait réellement sur Bing.fr dans un navigateur.

Un seul cas ne prouve rien. Mais il suffit à rouvrir une question fermée trop vite.

On a alors posé la question différemment : et si le problème n’était pas Bing, mais ce qu’on appelait « les résultats Bing » ?

Le second instrument même corpus, autre source

On a re-mesuré. Même corpus, mêmes requêtes, même définition du Jaccard. Seul l’instrument change : une source SERP différente de celle utilisée initialement. Échantillon : 169 requêtes exploitables, stratifié par secteur.

Résultat : le recouvrement Google↔Bing passe à environ 11–12 %. Un ordre de grandeur de différence avec la mesure précédente.

Mais le chiffre n’est pas le plus intéressant. Ce qui l’est, c’est la qualité des résultats Bing re-mesurés : des sites français pertinents, institutionnels et éditoriaux, cohérents avec les requêtes. Sur une requête climatique, on trouve des domaines .gouv.fr, des sites météo reconnus, des encyclopédies. Bing fonctionne. Il indexe correctement le web francophone.

Ce qu’on avait mesuré avant n’était pas Bing. C’était un artefact de la chaîne de collecte.

Nommer l’erreur sans sur-nommer le coupable

On sait que le défaut était côté instrument de mesure. On ne sait pas exactement à quelle étape : paramétrage marché/langue, endpoint appelé, version de l’index interrogé. L’analyse ne nous permet pas de certifier la cause technique précise.

On ne nommera donc pas de fournisseur. Pas par politesse, parce que l’article sur la rigueur de mesure ne peut pas accuser sans preuve. Ce serait exactement l’erreur qu’il dénonce.

Ce qu’on peut dire : le fournisseur en question est par ailleurs fiable sur d’autres périmètres. Le problème était localisé. Ce n’est pas un verdict global sur un outil ou une API SERP. C’est un rappel que tout instrument a des conditions d’usage, et que hors de ces conditions, il produit des artefacts silencieux.

Le test qui sauve l’honnêteté intellectuelle

Réaction naturelle après une telle découverte : suspecter toutes les données. Si la source Bing était défaillante, pourquoi la source Google serait-elle fiable ?

On a fait l’inverse de la panique. On a borné le problème.

On a soumis notre corpus Google, le socle de toute l’analyse GEO publiée dans cette série méthodologique, exactement au même contrôle : re-mesure via le second instrument, sur le même échantillon. Résultat : Jaccard 0,73, et 6,3 domaines sur 10 au même rang. Les deux sources Google sont cohérentes.

L’artefact était localisé à la source Bing. Le corpus principal est sain.

C’est ça, la rigueur en pratique : pas jeter tout après une erreur, mais délimiter précisément ce qu’elle contamine, et ce qu’elle ne contamine pas.

Ce que Bing vaut vraiment et la vraie raison de l’exclure

Bing fonctionne. Mais ça ne change pas la décision finale : Bing reste exclu du périmètre de mesure GEO de Semawriter sur ce corpus.

Ce qui change, c’est la raison. Et c’est la raison qui importe, parce qu’elle sert à construire la suite.

• Ancienne raison (fausse) : l’index Bing FR est structurellement pauvre.
• Nouvelle raison (mesurée) : Bing marche, mais il est très largement redondant avec Google sur ce corpus.

Les chiffres :

• 82 % des domaines captés via Perplexity∩Bing sont déjà présents dans le top-20 Google. Bing apporte peu que Google ne couvre pas déjà.
• 18 % seulement sont complémentaires, soit environ 40 domaines sur 169 requêtes, soit 0,24 domaine exclusif par requête.
• Recouvrement re-mesuré Google↔Bing : ~11–12 % (Jaccard), faible, mais plausible et cohérent avec ce que d’autres analyses ont documenté sur des corpus similaires.

On exclut Bing parce qu’il ajoute peu de signal non-Google à l’analyse. Pas parce qu’il est cassé.

Ce n’est pas le même argument. Si demain on réouvre la question, sur un autre moteur LLM, sur des requêtes commerciales, sur un corpus élargi, c’est la raison correcte qui permettra de recalibrer. Une bonne décision sur un mauvais fondement reste fragile.

Ce que ça change pour votre propre analyse

Ce corpus porte sur des requêtes informationnelles françaises, ~170 requêtes, avec Perplexity comme moteur LLM de référence. On ne généralise pas au transactionnel, au multi-LLM, ni à d’autres marchés linguistiques.

Mais la discipline est transférable. Trois points concrets :

• Un résultat extrême n’est pas une conclusion tant qu’un second instrument ne l’a pas confirmé. Surtout s’il confirme ce que vous pensiez déjà, c’est précisément là que la vérification manque le plus souvent.
• Quand vous sourcez vos SERP via une API : DataForSEO, SerpApi, Semrush, Ahrefs, vous mesurez l’instrument autant que le terrain. Ces outils ont des paramètres de marché, de langue, d’endpoint. Vérifiez qu’ils correspondent à ce que vous croyez mesurer.
• Bornez l’erreur avant de jeter les données. Une anomalie localisée ne contamine pas tout le corpus, mais il faut le vérifier, pas l’assumer dans un sens ou dans l’autre.

L’instrument n’est pas le territoire

On avait raison d’exclure Bing. Pour une mauvaise raison.

Ce n’est pas une nuance. C’est la différence entre une décision reproductible et une décision fragile.

La donnée la plus dangereuse n’est pas celle qui vous surprend. C’est celle qui vous donne raison, parce que personne ne la vérifie. Votre outil SERP, votre API de collecte, votre script de comparaison : aucun n’est le territoire. Ils en sont tous une représentation partielle, avec leurs propres biais de construction.

« La question à poser après chaque mesure n’est pas « qu’est-ce que ça dit ? ». C’est : « qu’est-ce que mon instrument était en train de mesurer quand il m’a dit ça ? »

Vous l’avez posée sur votre dernier run, cette question ? »