Les systèmes d’IA sont souvent introduits pour réduire l’effort, accélérer les décisions ou faire remonter des opportunités que les équipes n’ont pas le temps de cartographier manuellement. Pourtant, beaucoup des échecs les plus coûteux ne viennent pas d’une panne technique spectaculaire. Ils viennent de quelque chose de plus discret : on demande au système d’agir sans contexte suffisant.
Ce contexte peut recouvrir beaucoup de choses. Il peut s’agir de la finalité réelle d’un workflow, de la différence entre un brouillon et une décision finale, du passage de relais entre équipes, des exceptions que des personnes expérimentées repèrent instinctivement, ou encore des contraintes juridiques et de confidentialité qui changent ce qui peut être collecté, partagé ou conservé. Quand ce contexte est trop mince, un système d’IA peut tout de même produire des sorties convaincantes. Le problème est que cette aisance peut masquer un mauvais ajustement. Le cadre NIST de gestion des risques de l’IA indique explicitement que les usages visés, les normes propres au contexte et les conditions de déploiement doivent être compris et documentés, et que les sorties doivent être interprétées dans leur contexte plutôt que traitées comme si elles se suffisaient à elles-mêmes. (Source: https://nvlpubs.nist.gov/nistpubs/ai/nist.ai.100-1.pdf) (Source: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/)
En pratique, c’est souvent là que les coûts non intentionnels commencent.
La facture cachée d’un contexte insuffisant
Quand les organisations parlent des risques de l’IA, elles se concentrent souvent tout de suite sur la précision. La précision compte, mais les coûts opérationnels apparaissent souvent plus tôt, sous des formes beaucoup plus ordinaires.
Un système privé d’une partie du contexte peut généraliser à tort entre des rôles qui subissent en réalité des contraintes différentes. Il peut recommander l’automatisation alors qu’un redesign du processus est nécessaire en premier. Il peut résumer des entretiens ou des documents d’une manière qui aplatit l’incertitude, mélange des exceptions avec des tendances, ou ne voit pas l’importance de la séquence et de la responsabilité. Il peut aussi déplacer du travail vers des managers ou des spécialistes qui doivent maintenant valider les sorties, expliquer les erreurs et réparer la confiance.
Ce schéma rejoint une vision plus large de l’IA comme système socio-technique et non comme simple modèle isolé. Le NIST souligne que les décisions de conception doivent tenir compte des implications socio-techniques, que les rôles et responsabilités de supervision humain-IA doivent être définis, et que les organisations doivent documenter les risques, les impacts et les dépendances à des tiers. (Source: https://nvlpubs.nist.gov/nistpubs/ai/nist.ai.100-1.pdf) (Source: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/)
Il existe aussi un enjeu de performance humaine. Les recherches sur le biais d’automatisation montrent que les personnes peuvent accorder une confiance excessive aux sorties automatisées ou ne pas les vérifier avec assez d’attention, en particulier sous contrainte de temps ou de charge. Cette revue est ancienne et porte surtout sur la santé et des domaines voisins, donc elle ne mesure pas directement les usages actuels de l’IA générative dans les organisations. Mais sa leçon centrale reste utile : quand l’automatisation paraît faire autorité, les humains ne compensent pas toujours l’absence de contexte. (Source: https://pmc.ncbi.nlm.nih.gov/articles/PMC3240751/)
Le coût ne vient donc pas seulement du fait que le système peut se tromper. Il vient aussi du fait que l’organisation peut réorganiser son attention autour de sorties qui semblent terminées avant de l’être réellement.
Pourquoi cela devient un problème d’apprentissage organisationnel
La meilleure réponse n’est pas simplement de dire qu’il faut “ajouter une validation humaine”. La validation aide, mais prise seule, elle reste trop vague.
La question plus utile est la suivante : qu’est-ce que l’organisation doit apprendre, et à quel endroit cet apprentissage doit-il modifier le système ?
Un ensemble croissant de travaux décrit les usages réussis de l’IA comme une combinaison de capacité technique et d’adaptation organisationnelle. Une méta-analyse récente montre que des combinaisons humain-IA peuvent dépasser la performance d’humains seuls ou d’IA seule dans certains contextes, mais pas automatiquement. Les bénéfices dépendent de la manière dont le travail est configuré et des endroits où le jugement contextuel humain reste essentiel. Les auteurs signalent aussi un possible biais de sélection dans la littérature, ce qui invite à la prudence avant de supposer une synergie par défaut. (Source: https://www.nature.com/articles/s41562-024-02024-1)
Des recherches organisationnelles récentes vont dans le même sens, en montrant que la mise en œuvre de l’IA crée des tensions entre efficacité et réactivité au contexte, et que les organisations ont souvent besoin de pratiques délibérées d’évaluation et de protection pour les gérer. Il s’agit d’un article académique récent, pas encore d’un consensus universel, mais il soutient un point pratique important : la qualité de la mise en œuvre dépend de la manière dont l’organisation absorbe et gouverne l’outil, pas seulement de la performance du modèle. (Source: https://www.sciencedirect.com/science/article/pii/S1471772726000023)
Autrement dit, chaque déploiement devrait être traité comme un système d’apprentissage. L’organisation ne teste pas seulement si l’IA peut exécuter une tâche. Elle teste aussi si les personnes savent interpréter la sortie, à quel moment une escalade est nécessaire, quelles exceptions comptent vraiment, et si le processus autour de l’outil devient plus clair ou plus confus avec le temps.
Une méthode pratique pour diagnostiquer le risque de contexte
Une manière utile d’évaluer ce risque consiste à relire un workflow soutenu par l’IA à travers six questions.
1. Quelle décision le système aide-t-il réellement à prendre ?
Aide-t-il à générer des options, classifier des sujets, résumer des entrées, recommander une action ou déclencher un travail en aval ? Les orientations du NIST insistent sur le fait que la tâche, la méthode et l’usage visé doivent être explicitement définis. (Source: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/)
2. Quel contexte un humain expérimenté utilise-t-il mais que le système ne voit pas ?
Cherchez les savoirs tacites : normes d’approbation, chemins d’escalade informels, exceptions connues, seuils de qualité, et écart entre ce qui est documenté et ce qui se passe réellement.
3. Où une sortie plausible peut-elle créer un coût en aval ?
Cartographiez l’étape suivante après la sortie. Quelqu’un agit-il directement dessus ? Influence-t-elle du reporting, une priorisation, un staffing ou une communication externe ? Le coût caché apparaît souvent un relais plus loin, pas au moment de la génération.
4. Qui est responsable de l’override, de la correction et de l’explication ?
Le NIST recommande de différencier clairement les rôles et responsabilités dans les configurations humain-IA et la supervision, y compris la responsabilité des dirigeants dans les décisions liées au risque. Si personne ne porte explicitement la correction, le système accumulera discrètement des contournements. (Source: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/)
5. Comment les retours seront-ils captés et réutilisés ?
Le cadre AI RMF appelle à des processus permettant de recueillir les retours des utilisateurs et des groupes concernés, puis de les intégrer dans l’évaluation. Si des défaillances récurrentes sont observées sans être traduites en prompts, politiques, formation ou ajustements de périmètre, l’organisation apprend trop lentement. (Source: https://airc.nist.gov/airmf-resources/airmf/5-sec-core/)
6. Que le système ne devrait-il jamais faire sans preuves supplémentaires ?
Il faut poser des limites tôt. Par exemple, une organisation peut autoriser l’IA à rédiger, regrouper ou trier, tout en réservant l’interprétation sensible, les décisions touchant aux personnes ou les engagements externes à une revue humaine. Les lignes directrices de la Commission européenne pour la recherche insistent elles aussi sur la responsabilité, la transparence et la responsabilité humaine lorsque l’IA générative est utilisée. Le contexte de la recherche est plus étroit que l’entreprise en général, mais le principe de gouvernance se transpose bien. (Source: https://research-and-innovation.ec.europa.eu/document/download/2b6cf7e5-36ac-41cb-aab5-0d32050143dc_en)
Un meilleur design commence par de meilleures frontières
Concevoir de manière réfléchie ne veut pas dire tout ralentir. Cela veut dire être précis sur les endroits où le contexte compte le plus.
En pratique, cela conduit souvent à quelques choix utiles :
- séparer la rédaction à faible risque du jugement à fort enjeu
- documenter les entrées dont le système a besoin pour fonctionner de manière fiable dans un workflow donné
- définir quelles preuves doivent accompagner une sortie avant qu’une action soit prise
- construire des chemins d’escalade pour l’ambiguïté, les cas limites et les sujets sensibles
- évaluer les sorties au regard des vrais relais et des vraies incitations de l’organisation, pas seulement à partir de benchmarks de modèle
- expliciter l’usage de tiers, les règles de conservation et les limites d’accès lorsque cela compte pour la confiance et la gouvernance
Cela rejoint les orientations actuelles de gouvernance pour l’IA générative, qui mettent en avant la gouvernance, les tests avant déploiement, la divulgation des incidents et les plans de communication autour de l’usage comme du désengagement. (Source: https://nvlpubs.nist.gov/nistpubs/ai/NIST.AI.600-1.pdf)
Le vrai défi de conception
La question principale n’est pas de savoir si l’IA doit fonctionner avec ou sans humains. La vraie question est de savoir si l’organisation a été assez précise sur la finalité du système, sur ce qu’il ne voit pas, et sur la manière dont les personnes apprendront de ses erreurs.
Quand ces questions restent implicites, les coûts cachés se diffusent sous forme de reprises, de confusion et de confiance mal placée. Quand elles sont conçues explicitement, l’IA devient plus facile à gouverner et plus utile pour les personnes qui font réellement le travail.
C’est aussi là que la clarté organisationnelle compte le plus. La valeur n’est pas seulement d’évaluer l’outil. Elle est de comprendre les responsabilités, les relais, les points de décision et les exceptions qui déterminent si l’outil aide vraiment ou crée discrètement du travail supplémentaire.
Pour les équipes qui explorent cette question, la perspective d’OWI est simple : avant de déployer l’IA à grande échelle, cartographier comment le travail fonctionne réellement. C’est ce qui permet de meilleures décisions technologiques au départ, puis un meilleur apprentissage après le déploiement.