Protocole de la méthode INFERENCE

Définir le périmètre de la mission

Le cadrage précise les objectifs, les publics, les situations de décision, les entités concernées, les langues, les territoires et les systèmes étudiés.

Il fixe les livrables, le calendrier, les responsabilités et les conditions d’accès aux informations. Il distingue le travail de diagnostic et de recommandation, la préparation des actions et leur réalisation.

Chaque mission est pilotée par Grégoire BERTHOU, fondateur du cabinet et expert en communication stratégique. Des experts techniques participent systématiquement au diagnostic dans leurs domaines de compétence. Leur contribution à l’accompagnement dépend ensuite des problèmes identifiés et des actions retenues.

Les observations portent principalement sur des informations publiques. L’utilisation de documents non publics suit les modalités convenues avec l’organisation.

Décrire les personnes et les situations de décision

Chaque public prioritaire est décrit à travers un ou plusieurs personas placés dans des situations précises. Cette démarche s’appuie sur la notion de contexte d’utilisation, qui relie les utilisateurs, leurs objectifs, leurs tâches, leurs ressources et leur environnement.^[10]

La fiche de chaque situation précise :

• la fonction de la personne, son niveau de connaissance et sa connaissance préalable de l’organisation ;
• le besoin qui déclenche la consultation ;
• la décision ou le jugement préparé ;
• les critères de choix et les contraintes pertinentes ;
• la question initiale et les demandes complémentaires plausibles ;
• l’usage envisagé de la réponse ;
• les conséquences possibles pour l’organisation.

Ces fiches sont établies à partir des entretiens, des questions reçues par les équipes, des documents commerciaux, des études de publics et des autres informations disponibles.

Une situation construite par le cabinet reste une hypothèse d’usage tant qu’elle n’a pas été confrontée à des observations de publics réels. Les résultats des tests décrivent le comportement des outils dans les situations examinées. Ils ne mesurent pas la fréquence de ces comportements dans la population.

Choisir les systèmes et documenter les conditions d’observation

Les outils et les configurations sont choisis selon les usages des publics étudiés et les décisions retenues.

Le registre des configurations conserve le fournisseur, le produit, l’interface, la version visible, les fonctions de recherche disponibles, le type de compte, la langue, la localisation pertinente et les dates d’observation. Il indique également le modèle de langage utilisé lorsque cette information est accessible.

Les paramètres susceptibles d’influencer les réponses sont consignés lorsqu’ils peuvent être observés, notamment l’historique de conversation, la mémoire et la personnalisation du compte. Une information technique inaccessible est indiquée comme inconnue.

Les observations réalisées dans une application destinée au public sont distinguées de celles obtenues par une interface de programmation. Ces conditions d’accès ne sont pas supposées produire des résultats équivalents.

Un système peut combiner des connaissances acquises pendant son entraînement et des informations recherchées au moment de la demande.^[2] La disponibilité d’une fonction de recherche ne prouve pas son utilisation dans chaque réponse. Son déclenchement est relevé lorsqu’il est visible ou attesté ; sinon, il reste indéterminé. Les documentations des fournisseurs précisent les possibilités de configuration et de déclenchement de ces fonctions.^[3]

Lorsque la mission comprend des systèmes capables d’agir, les tests distinguent la sélection proposée, la décision déléguée et l’action exécutée. Les essais susceptibles de produire une action externe sont limités au périmètre expressément autorisé.

Établir les faits de référence

Le registre des faits rassemble les informations nécessaires à la mission : activités, compétences, offres, réalisations, statuts, autorisations, événements et informations sensibles.

Chaque entrée précise l’entité concernée, la portée de l’affirmation, sa date, les sources et les preuves disponibles, ainsi que la fonction habilitée à la valider.

Les faits établis, les déclarations attribuées, les objectifs et les convictions sont distingués. Une affirmation insuffisamment documentée peut conduire à rechercher des preuves complémentaires, à préciser sa portée ou à revoir sa formulation.

Les qualités que l’organisation souhaite faire reconnaître sont reliées aux critères des situations étudiées. Les limites, les informations défavorables et les controverses pertinentes figurent également dans le référentiel.

Le registre distingue les informations publiques, celles dont la publication peut être envisagée et celles qui doivent rester confidentielles.

Examiner les sources et leur indépendance

Pour chaque information prioritaire, le cabinet examine les sources qui la publient, la confirment ou la contredisent.

L’analyse porte sur leur compétence, leur précision, leur actualité, leur accessibilité, l’attribution des informations et leurs relations de dépendance.

Elle distingue :

• la publication initiale d’une information ;
• les reprises qui s’appuient sur cette publication ;
• les confirmations issues d’une vérification, d’une mesure ou d’une expertise distincte.

Une publication de l’organisation peut établir directement certains faits. Une appréciation indépendante apporte un autre type d’information. La valeur de chaque source est examinée au regard de ce qu’elle permet effectivement d’établir.

La carte des sources couvre les informations favorables comme les informations critiques, y compris les documents extérieurs au contrôle de l’organisation.

Préparer les questions et les conversations

Les questions correspondent aux usages utiles à la mission : découvrir des acteurs, établir une sélection, comparer des solutions, demander une recommandation, vérifier une information, présenter l’organisation ou examiner les risques qui lui sont associés.

Les demandes de découverte ne nomment pas l’organisation lorsque la situation étudiée suppose que la personne ne la connaît pas encore. Elles sont analysées séparément des demandes qui la désignent explicitement.

Les parcours de conversation peuvent comprendre des précisions, des objections, une comparaison complémentaire, une demande de source ou une demande de conclusion. Les travaux consacrés aux usages de Claude illustrent notamment la place des ajustements et des reformulations dans les échanges entre une personne et un outil.^[57]

Les questions et les principales relances sont définies avant la collecte de référence. Les explorations ajoutées ensuite sont identifiées séparément.

Le cabinet observe d’abord les réponses des outils sans leur fournir les faits et les preuves réunis pour la mission. Il compare ensuite ces réponses aux informations validées par l’organisation, afin d’identifier les erreurs, les omissions et les écarts à traiter.

Des essais complémentaires peuvent examiner la réaction d’un outil à une précision, une contradiction ou une preuve fournie dans la conversation. Ils sont distingués des observations réalisées sans cet apport.

Définir le volume et la répartition des observations

Une première exploration permet d’apprécier la diversité des réponses et d’ajuster le plan de collecte.

Ce plan précise :

• les situations et les configurations retenues ;
• le nombre de formulations et de répétitions ;
• les parcours de conversation ;
• les périodes de collecte ;
• les conditions justifiant des observations supplémentaires.

Le volume dépend de l’enjeu, de la diversité des usages, de la variabilité observée et de la précision nécessaire aux décisions. Les travaux sur la mesure de la visibilité dans les réponses génératives soulignent l’intérêt des répétitions et des variations de formulation.^{[5] [61]}

Le plan distingue le nombre de conversations, le nombre de réponses et le nombre de répétitions. Les réponses successives d’une même conversation partagent un contexte. Elles ne sont pas présentées comme autant d’observations indépendantes.

Les volumes retenus sont des choix de dimensionnement justifiés pour la mission. Ils ne constituent pas, à eux seuls, une garantie de représentativité ou de précision statistique.

Une contradiction susceptible de modifier une priorité, une couverture insuffisante ou un écart sensible peut justifier une extension. Toute modification du plan est consignée avec son motif. La collecte de référence ne s’arrête pas dès qu’une réponse favorable est obtenue.

Conserver les observations

Le journal d’observation rassemble les questions, les réponses, les conversations, les dates, les configurations et les sources citées. Il conserve les éléments nécessaires pour retrouver chaque constat dans son contexte.

Les absences de mention, les listes vides et les refus sont conservés comme résultats. Les échecs techniques sont identifiés séparément.

Les observations issues du plan de référence restent distinctes des explorations complémentaires.

Qualifier les écarts et examiner leurs causes possibles

Les réponses sont comparées aux faits validés et aux critères des situations étudiées.

Les écarts peuvent concerner l’identité de l’organisation, ses activités, une qualité, une sélection, une comparaison, une recommandation, une source, un risque ou une information réglementaire.

Un écart de sélection ou de recommandation est apprécié au regard des besoins de la personne, des critères de choix et des avantages démontrables de l’organisation.

La grille d’analyse en cinq fonctions présentée sur la page consacrée à la méthode guide les vérifications : connaissances acquises par le modèle, recherche d’informations externes, identification des entités, sélection et synthèse des éléments, formulation de la réponse.

Cette grille n’offre pas un accès au fonctionnement interne d’un système propriétaire. Une source citée peut éclairer une réponse sans expliquer toute sa production. De même, les justifications formulées par le modèle restent des éléments de sa réponse.

La priorité d’un écart dépend de ses conséquences possibles, de sa gravité, de sa récurrence dans les tests, du niveau de preuve disponible et des possibilités d’action. L’exposition réelle des publics est appréciée séparément de la fréquence mesurée dans les observations.

Choisir les positions et les narratifs

Le diagnostic conduit à examiner les narratifs associés aux sujets prioritaires, les critères employés par les systèmes et les acteurs qui y occupent une place.

Le cabinet détermine les positions que l’organisation peut défendre, les narratifs qu’elle peut préempter, les preuves à réunir, les reconnaissances à rechercher et les risques à traiter.

Ces choix reposent sur les compétences et les réalisations de l’organisation, les besoins des publics et les éléments qu’elle peut faire valoir. Ils précisent les sujets prioritaires et les moyens qu’il est pertinent de leur consacrer.

Choisir les actions adaptées au diagnostic

Les recommandations peuvent porter sur :

• la clarification de l’identité, des activités et des relations entre les entités ;
• l’organisation du site et la création ou la révision de pages de référence ;
• la publication de données, d’études, de notes techniques et de réalisations documentées ;
• la mise en valeur de certifications, de brevets ou de références pertinentes ;
• les relations presse, les contributions professionnelles et les prises de parole expertes ;
• la correction d’informations anciennes ou erronées ;
• l’actualisation des registres concernés ;
• la présentation du contexte et de l’issue d’une controverse ;
• la clarification du cadre réglementaire ;
• l’accessibilité technique et l’optimisation des contenus.^{[8] [9]}

Les actions de GEO sont retenues lorsque le diagnostic justifie leur emploi. Les études citées rapportent des gains dans certains dispositifs expérimentaux, avec des résultats variables selon les méthodes, les contenus et les systèmes.^{[8] [9]} Ces résultats ne suffisent pas à établir un effet général et durable sur la présence d’une organisation dans les réponses.^[5]

Chaque action est évaluée selon son utilité propre, sa contribution attendue, son coût, son délai et ses risques. Le diagnostic peut conclure qu’une clarification ou une correction suffit, sans production de contenu supplémentaire.

Préparer le plan d’action

Chaque action précise :

• le public et la situation concernés ;
• l’écart ou l’objectif auquel elle répond ;
• le résultat attendu et les raisons pour lesquelles elle peut y contribuer ;
• les faits, les preuves et les validations nécessaires ;
• les productions attendues ;
• les responsables et les intervenants ;
• le calendrier et les moyens estimés ;
• les dépendances et les risques ;
• les critères de réalisation et de réexamen.

Le plan distingue les corrections immédiates, les actions à 90 jours et la trajectoire à 12 mois.

Une action peut être engagée malgré une incertitude résiduelle lorsque son utilité, son coût et ses risques le justifient. Cette incertitude et les conditions de réexamen sont explicitées.

Répartir les responsabilités

L’organisation fixe les objectifs, arbitre les priorités et désigne les personnes habilitées à valider les faits, les budgets et les publications.

INFERENCE Consulting conduit le diagnostic, formule la stratégie, prépare les briefs et organise les contributions prévues dans la mission.

Les équipes internes apportent les informations, valident les faits relevant de leur domaine et réalisent les actions qui leur sont confiées. Les prestataires existants interviennent dans leurs spécialités.

Lorsque l’organisation ne dispose pas des compétences nécessaires en relations presse, en production éditoriale ou en GEO, le cabinet peut proposer un accompagnement opérationnel. Le périmètre, les intervenants, le budget et les critères de validation sont alors précisés. L’organisation conserve un interlocuteur contractuel unique.

Les décisions et les validations importantes sont consignées.

Organiser l’accompagnement annuel

L’accompagnement annuel suit la stratégie et son exécution. Il ne reproduit pas chaque mois le diagnostic initial.

Définir les indicateurs et leurs règles de calcul

Les indicateurs sont choisis selon les objectifs de la mission. Ils sont rattachés à des situations et à des configurations identifiées.

Pour chaque proportion, le rapport précise ce qui est compté au numérateur et au dénominateur, ainsi que le volume d’observations.

Une absence de mention, une absence de recommandation ou un refus ne sont pas retirés du calcul de présence ou de recommandation au motif qu’ils seraient défavorables. Les échecs techniques sont rapportés séparément.

Les règles sont adaptées à l’objet de chaque indicateur. Une réponse sans affirmation factuelle ne reçoit pas, par défaut, une note d’exactitude de 100 %. Un dénominateur nul donne lieu à la mention « non calculable ». Les informations indéterminées sont signalées.

Les résultats sont présentés par situation et par configuration. Une éventuelle agrégation indique ses pondérations et conserve l’accès aux résultats détaillés. Elle n’est assimilée ni à une part de marché ni à une fréquence d’usage dans la population.

La tonalité des réponses est relevée à titre descriptif. L’analyse porte sur l’exactitude, la pertinence et la proportion des représentations.

À l’issue de l’exploration, le plan de collecte précise, pour chaque situation et chaque configuration, le nombre de formulations, les répétitions prévues, les parcours de conversation et les périodes d’observation. Ces éléments sont convenus avec l’organisation avant la collecte de référence. Toute extension ultérieure est motivée et son incidence sur le calendrier et les moyens est précisée.

Comparer les observations dans le temps

Un ensemble stable de situations et de formulations sert de référence. Les questions nouvelles sont identifiées séparément.

Les changements de produit, de configuration, d’offre ou de contexte susceptibles d’affecter les comparaisons sont consignés. Lorsque les conditions ont trop changé, le rapport précise les limites de la comparaison ou établit une nouvelle référence.

Les résultats conservent les variations entre les observations. Une réponse isolée ne suffit pas à caractériser durablement le comportement d’un système.^[61]

Relier les observations aux actions

L’évaluation distingue trois éléments : la réalisation d’une action, l’évolution des réponses et la possibilité d’attribuer cette évolution à l’action.

Une conclusion causale exige un dispositif adapté et l’examen des autres changements intervenus. À défaut, le rapport décrit les évolutions observées et les explications plausibles.

Ces éléments permettent de décider quelles actions poursuivre, ajuster, étendre, suspendre ou arrêter.

Traiter les situations sensibles

Un écart sensible fait l’objet d’une analyse humaine et d’une seconde lecture adaptée à l’enjeu.

L’examen précise les publics concernés, les sources citées ou identifiées, les faits de référence et les conséquences possibles. Une action publique tient compte du risque d’accroître l’exposition du sujet.

Lorsqu’une controverse, une procédure, un incident ou une crise est en cours, le cabinet travaille avec les fonctions juridiques et les responsables de la communication concernés. Les formulations et le calendrier des actions sont soumis aux validations relevant de leurs compétences.

L’alerte présente la réponse observée, ses conditions d’observation, l’écart constaté, sa gravité, les références disponibles, l’action proposée, la personne responsable de sa validation et le délai recommandé.

Le dispositif de suivi et les conditions d’alerte sont définis au cadrage. Ils portent sur le périmètre convenu et ne supposent pas l’observation permanente de toutes les réponses produites par les outils.

Vérifier la restitution du cadre réglementaire

Cette vérification repose sur un référentiel daté, validé par les fonctions juridiques, de conformité ou d’affaires réglementaires de l’organisation.

Le référentiel précise les sources officielles, leurs dates, les territoires et les activités concernés, les règles et les statuts à vérifier, ainsi que les distinctions et les réserves nécessaires à leur interprétation. Il est actualisé lorsque le droit, le statut ou l’activité évolue.

Chaque information nécessaire à la réponse est examinée au regard de la question posée et du référentiel.

L’analyse précise ensuite la nature du problème : information périmée, confusion de statut, cadre non applicable ou présentation trompeuse. Plusieurs indications peuvent s’appliquer à une même réponse.

Le cabinet documente les écarts et recommande les actions. Les fonctions compétentes apprécient la portée des écarts sensibles et valident les corrections et les publications.

L’intervention porte sur la restitution du cadre réglementaire par les IA. Elle ne constitue ni une consultation juridique, ni une certification, ni un audit de conformité de l’organisation.

Contrôler la qualité de l’analyse

La collecte et le classement des réponses peuvent être assistés par des outils automatisés. Les règles de classement sont explicites et les cas sensibles ou ambigus font l’objet d’une validation humaine.

Une seconde lecture porte sur les écarts à fort enjeu et sur un échantillon des observations. Les désaccords sont documentés. Les règles de classement sont précisées ou corrigées lorsque cela est nécessaire.

Les sources, les versions, les validations et les décisions restent rattachées aux livrables. Chaque conclusion permet de retrouver les observations et les références qui la soutiennent.

Des exigences qui rejoignent plusieurs principes du NIST

La prise en compte du contexte d’utilisation, la documentation des tests et des mesures, l’explicitation des incertitudes, le contrôle humain et le réexamen des risques rejoignent plusieurs principes de l’AI Risk Management Framework du National Institute of Standards and Technology des États-Unis, le NIST.^[70]

Note : ce rapprochement concerne les principes de travail décrits dans le présent protocole. Il ne constitue ni une certification, ni une validation de la méthode INFERENCE par le NIST.

Protéger les informations et la confidentialité

Les modalités d’accès, de conservation, de partage et de suppression des données sont convenues avec l’organisation.

Une information non publique n’est transmise à un service externe que dans les conditions expressément autorisées. Les livrables distinguent les informations publiables, internes et sensibles.

Les experts mobilisés par le cabinet sont soumis aux mêmes exigences de confidentialité et de traçabilité.

INFERENCE Consulting ne communique pas publiquement sur ses missions ni sur l’identité de ses clients. Cette obligation s’applique également aux consultants et aux spécialistes mobilisés.