Vérifier la restitution du cadre réglementaire par les IA

Une information exacte peut conduire à une conclusion trompeuse

Une IA peut citer correctement une règle tout en l’appliquant à une situation qu’elle ne concerne pas. Elle peut retenir les dispositions d’une autre juridiction ou omettre une exemption déterminante. L’exactitude de la référence ne garantit donc pas celle de la conclusion.^[64]

D’autres confusions peuvent fausser l’analyse : présenter un projet de texte comme une obligation en vigueur, assimiler une certification à une autorisation, donner une valeur obligatoire à une recommandation professionnelle ou attribuer à l’organisation un statut qu’elle ne possède pas.

Lors d’une sélection, d’une vérification ou d’un examen des risques, ces écarts peuvent conduire à écarter une organisation à tort ou à lui attribuer des garanties qu’elle ne possède pas. Ils peuvent être difficiles à repérer lorsque la réponse paraît cohérente et s’appuie sur des références réelles. La vérification doit donc porter sur les informations citées autant que sur les conclusions qui en sont tirées.

Rendre ces risques visibles pour les fonctions juridiques

Les réponses des IA peuvent influencer l’appréciation d’une organisation sans que celle-ci en soit informée ni sollicitée pour vérifier les faits. Les erreurs qu’elles contiennent peuvent ainsi échapper aux fonctions chargées d’en évaluer les conséquences.

INFERENCE Consulting organise l’observation de ces réponses et documente les écarts avec le référentiel validé par l’organisation. Le cabinet remet aux fonctions juridiques, de conformité ou d’affaires réglementaires les réponses concernées, leurs conditions d’observation, les sources citées et les points à examiner. Elles disposent ainsi des éléments nécessaires pour apprécier la portée des écarts, déterminer les priorités et valider les actions proposées.

Ce qui est examiné

La vérification porte sur les informations réglementaires utiles aux situations de décision retenues. Selon le périmètre convenu, elle examine :

• le statut de l’organisation ou de son activité, ainsi que les autorisations, agréments et certifications qui lui sont attribués ;
• les obligations et interdictions applicables, leurs conditions, leurs exceptions et leurs limites ;
• les autorités compétentes, les dates d’entrée en vigueur et les échéances ;
• la distinction entre les règles en vigueur, les dispositions adoptées mais pas encore applicables, les projets de texte, les recommandations et les engagements volontaires.

Chaque information est examinée pour les activités et les territoires concernés.

Un référentiel validé par l’organisation

Les fonctions juridiques, de conformité ou d’affaires réglementaires identifient ou valident les informations qui servent de référence à la mission. Ce référentiel précise les sources officielles retenues, leurs dates et leur hiérarchie, les territoires et les activités concernés, ainsi que les faits et les règles à vérifier. Il consigne également les distinctions et les réserves nécessaires à leur interprétation.

Le référentiel est daté et actualisé lorsque le droit, le statut ou l’activité de l’organisation évolue.

Des observations rattachées à des décisions réelles

Les tests sont construits à partir de situations concrètes : vérifier l’admissibilité d’un fournisseur, comparer deux solutions, apprécier un risque ou comprendre les obligations d’une organisation.

Chaque test précise le profil de la personne qui interroge l’outil, son objectif, la question initiale et les relances. Les réponses sont conservées avec leurs conditions d’observation : système, configuration, langue, date et version du référentiel utilisé. Les observations sont répétées pour apprécier la récurrence des écarts. Une réponse isolée ne suffit pas à caractériser durablement le comportement d’un système.

Qualifier les réponses pour orienter l’action

Chaque information nécessaire à la réponse est examinée au regard du référentiel et de la question posée. Sa restitution peut être :

• Correcte : elle est exacte, applicable et suffisamment précise.
• Incomplète : elle omet une précision nécessaire à la compréhension de la situation.
• Incorrecte : elle contredit le référentiel ou applique une règle hors de son champ.
• Absente : l’information nécessaire ne figure pas dans la réponse.
• Indéterminée : les éléments disponibles ne permettent pas de conclure.

L’analyse précise ensuite la nature de l’écart : information périmée, confusion de statut, cadre non applicable ou conclusion trompeuse. Les conséquences possibles et les actions proposées sont examinées pour chaque situation.

Rendre les informations de référence plus accessibles

Selon le diagnostic, les actions peuvent consister à :

• créer ou actualiser des pages et des fiches datées présentant le statut de l’organisation, les règles applicables, leurs conditions et leurs exceptions ;
• rendre les documents de référence accessibles et faciliter la consultation des sources officielles ;
• clarifier les liens entre la société, ses filiales et ses marques, en précisant à quelle entité chaque autorisation, agrément ou certification se rapporte ;
• corriger les informations périmées sur les supports de l’organisation et demander l’actualisation des registres concernés lorsque celle-ci est habilitée à le faire ;
• publier une prise de parole experte qui explique le contexte et la portée des règles.

Les sources officielles restent la référence. Les publications de l’organisation permettent d’en comprendre l’application à sa situation, sous la validation des fonctions compétentes.

Alerter et organiser la validation des actions

Un écart susceptible d’affecter une décision, un droit, une obligation ou la réputation peut nécessiter une alerte distincte. Celle-ci présente la réponse observée, ses conditions d’observation, les références officielles, l’écart constaté et ses conséquences possibles. Elle précise l’action recommandée, la personne habilitée à la valider et le délai proposé.

INFERENCE Consulting conçoit les tests, observe les réponses, documente les écarts et recommande les actions. Les fonctions juridiques, de conformité ou d’affaires réglementaires apprécient la portée des écarts sensibles et valident les corrections et les publications avant leur mise en œuvre.

Mission ponctuelle et accompagnement annuel

Cette vérification s’intègre à la mission ponctuelle ou à l’accompagnement annuel, selon le périmètre convenu.

La mission ponctuelle fournit un référentiel daté, un registre des sources officielles, un dossier des réponses observées, un tableau des écarts par situation, système et juridiction, ainsi que des recommandations d’action.

L’accompagnement annuel prévoit l’actualisation du référentiel avec les fonctions compétentes, le suivi des écarts et les alertes. Les relevés périodiques présentent les évolutions observées et les indicateurs retenus pour les situations suivies.

Découvrir les missions