Synthèse IA : quand un prospect vous lit sans vous lire

Vérifier une réponse sur des faits

1. Une réponse peut venir des connaissances du modèle, d’informations fournies dans la question ou de sources récupérées au moment de la requête.
2. L’accès au web, les sources citées et la formulation de la question varient selon l’outil et sa version.
3. Une réponse obtenue une fois constitue un relevé daté ; la répétition du test mesure sa stabilité.
4. L’analyse porte sur des faits vérifiables : activité, offres, zones, établissements, auteurs, réalisations et sources citées.

Une personne peut demander à ChatGPT, Gemini, Perplexity ou à un autre outil de résumer votre entreprise avant de consulter votre site. La réponse obtenue peut présenter correctement votre activité, rester très générale ou reprendre une information ancienne.

Si vous demandiez aujourd’hui à une IA de décrire votre entreprise, obtiendriez-vous une version exacte, ou une approximation ?

Un modèle de langage compose sa réponse à partir du contexte dont il dispose ¹. Selon le service et le mode utilisé, il peut aussi rechercher des pages ou des documents avant de répondre ². C’est pourquoi nous relevons, pour chaque test, l’outil, la date, l’accès au web et les sources affichées.

Nous relevons d’abord ce que l’outil affirme, s’il a consulté le web et les sources qu’il indique.

Quand l’erreur arrive dans les premiers échanges

Une synthèse imprécise se retrouve vite dans les premiers échanges : il faut réexpliquer l’activité, écarter une demande hors zone ou corriger une offre ancienne. Les questions posées et la qualification des contacts montrent ce que la réponse a laissé de côté.

D’où vient la réponse ?

Avant d’évaluer la réponse, il faut distinguer trois situations :

• l’outil répond sans afficher de recherche ni de source ;
• l’outil consulte le web et cite des pages ;
• l’utilisateur lui fournit lui-même un document ou une adresse à analyser.

Dans le deuxième cas, les pages du site, les profils publics, les annuaires, les partenaires ou les mentions dans la presse peuvent faire partie des sources consultées. Leur sélection varie selon la question et l’outil.

La réponse peut également varier selon la formulation de la question et l’exécution du système ³. Nous parlons donc d’un relevé daté plutôt que d’une « position IA ».

Une entreprise, plusieurs versions

La comparaison des réponses avec les sources publiques fait généralement ressortir l’un de ces écarts :

• une activité formulée différemment selon le site, LinkedIn ou les annuaires ;
• un périmètre variable selon les pages : zones couvertes, clients ou offres prioritaires ;
• des réalisations et des chiffres présents en interne, mais absents des pages publiques ;
• une source tierce ancienne encore citée ;
• une fiche publique incomplète ou une catégorie imprécise ;
• une réponse sans source qui attribue à l’entreprise une information invérifiable.

Corriger les sources avant de juger la réponse

La correction commence sur les supports que l’entreprise maîtrise. Les formulations peuvent varier d’une page à l’autre ; les faits, eux, doivent rester exacts et concordants.

1. Fixer les informations de référence

Définir les informations qui doivent rester constantes : raison sociale ou nom public, métier, établissements, zones, offres et coordonnées. Leur formulation peut varier selon le support tant que les faits restent concordants.

Les informations de référence comprennent :

• métier précis
• zone géographique réelle
• spécialités concrètes
• preuves vérifiables (références, résultats, ancienneté)
• dénominations cohérentes d’un support à l’autre.

Ces informations deviennent la référence commune pour corriger une ancienne offre, une zone erronée ou des coordonnées dépassées.

2. Reprendre les supports consultés

Le site reste la source que l’entreprise maîtrise le mieux. Les profils du cabinet et de ses dirigeants, les fiches locales, les annuaires utiles à l’activité et les pages de partenaires peuvent ensuite être comparés à cette référence.

Nous reprenons en priorité :

• les pages consacrées aux offres, aux expertises et aux études de cas ;
• les pages À propos, Méthode et les publications ;
• les profils publics du cabinet et de ses dirigeants ;
• les fiches locales, les annuaires utiles à l’activité et les pages de partenaires qui présentent encore l’entreprise.

3. Publier des preuves vérifiables

Une réalisation, un chiffre ou une méthode gagne à préciser son contexte, son périmètre et sa source. Les tests montrent ensuite lesquels de ces éléments sont repris et comment ils sont résumés.

Un protocole de contrôle réaliste

Le premier relevé doit rester assez court pour pouvoir être reproduit après correction :

1. choisir cinq informations vérifiables sur l’entreprise : activité, offre prioritaire, zone, établissement et réalisation ;
2. préparer cinq à huit questions proches de celles d’un prospect ;
3. tester deux ou trois outils en notant la date, la version visible, l’accès au web et la formulation exacte ;
4. enregistrer la réponse et les sources citées ;
5. classer chaque information : exacte, absente, imprécise, obsolète ou inventée.

Après correction des sources maîtrisées, le même relevé est reproduit. Une amélioration reste attachée aux outils, aux questions et à la date du contrôle. Les relevés suivants en mesurent la continuité.

Conclusion

Une synthèse produite par une IA peut précéder la visite du site. Nous pouvons relever ce qu’elle affirme, les sources qu’elle cite et les erreurs qui reviennent.

Après correction des informations publiques, le même jeu de questions montre ce qui a changé dans les réponses.

Sources

1. Brown et al. (2020) - Language Models are Few-Shot Learners
2. Lewis et al. (2020) - Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
3. Atıl et al. (2024) - Non-Determinism of “Deterministic” LLM System Settings… (arXiv)