Intelligence artificielle agentique : les défis de l’autonomie et de la sécurité des systèmes numériques

L’intelligence artificielle connaît une transformation importante dans sa manière d’interagir avec les systèmes numériques. Durant les premières années de démocratisation des modèles de langage, une grande partie des applications se concentrait sur la production de textes, l’interprétation de documents, l’analyse d’informations et l’élaboration de réponses. Le développement de l’intelligence artificielle agentique élargit toutefois ces possibilités en permettant aux systèmes informatiques non seulement de répondre à des demandes, mais aussi de coordonner des outils, d’exécuter des opérations et de suivre les résultats de leurs propres actions. Cette évolution offre la possibilité de transformer les processus organisationnels, mais elle soulève également des défis liés à la sécurité, à l’autonomie opérationnelle et au contrôle humain.

La différence fondamentale réside dans le passage de la production d’informations à l’exécution d’activités. Un assistant classique peut expliquer comment effectuer une opération dans un système donné. Un agent d’intelligence artificielle, lorsqu’il est intégré aux outils nécessaires et dûment autorisé, peut exécuter cette opération, en vérifier le résultat et déterminer les étapes supplémentaires nécessaires pour accomplir la tâche. Cette capacité modifie la relation entre l’utilisateur et la technologie, car une partie des décisions opérationnelles peut être prise automatiquement, sans qu’une nouvelle instruction humaine soit nécessaire à chaque étape.

L’intelligence artificielle agentique, ou IA agentique, ne correspond pas nécessairement à une nouvelle catégorie de modèle d’intelligence artificielle. Dans de nombreuses mises en œuvre, il s’agit d’une architecture qui associe des modèles de langage, des mécanismes de planification, des outils numériques, des capacités de mémoire et des composants d’orchestration. Le modèle interprète l’objectif reçu et les informations disponibles, tandis que les autres composants permettent de transformer ses décisions en actions concrètes. Selon l’architecture, l’agent peut interroger des bases de données, utiliser des interfaces de programmation, traiter des documents, exécuter des fonctions et interagir avec des applications externes.

Imaginons une organisation qui doit analyser des documents administratifs, repérer des incohérences et préparer des rapports. Dans une application classique, différentes étapes peuvent exiger qu’un professionnel consulte des fichiers, effectue des recherches, organise les informations et consolide les résultats. Dans une solution agentique, une partie de ces opérations peut être coordonnée automatiquement. Un agent peut localiser les documents autorisés, extraire des données, comparer des informations et préparer un rapport préliminaire destiné à une validation humaine. S’il détecte une incohérence, il peut consulter une autre source autorisée ou transmettre la situation pour une analyse spécialisée.

Le potentiel de cette approche réside dans sa capacité à intégrer différentes activités au sein d’un même processus. Son utilisation exige toutefois de distinguer l’automatisation classique de l’autonomie agentique. Dans les systèmes traditionnels, la séquence d’exécution est généralement déterminée par des règles et des flux prédéfinis. Dans les systèmes agentiques, une partie des actions peut être sélectionnée de manière dynamique, en fonction de l’objectif reçu, du contexte disponible et des résultats intermédiaires. Cette souplesse permet de traiter des situations moins prévisibles, mais elle exige également des mécanismes capables d’encadrer des décisions qui n’ont pas été définies à l’avance dans tous leurs détails.

Il convient de préciser que l’autonomie opérationnelle ne signifie ni indépendance absolue, ni conscience, ni volonté propre. Un agent fonctionne au sein d’une architecture technologique, en utilisant des modèles, des instructions, des outils et des ressources définis lors de sa conception et de sa configuration. Son autonomie correspond à sa capacité de sélectionner et d’exécuter certaines actions sans intervention humaine continue. L’étendue de cette autonomie dépend des autorisations accordées, des outils disponibles et des contrôles mis en place. Un système peut disposer de capacités avancées de planification tout en étant limité à la consultation d’informations, sans autorisation de les modifier.

Cette distinction est essentielle pour comprendre les défis de sécurité. Dans une application exclusivement destinée à produire des réponses, une erreur peut entraîner des informations incorrectes, des analyses inadéquates ou des recommandations imprécises. Lorsqu’un agent a accès à des systèmes opérationnels, à des bases de données ou à des services externes, les effets potentiels sont différents. Une décision inappropriée peut conduire à la modification de données enregistrées, à l’envoi d’informations, à l’exécution d’opérations non prévues ou à l’accès à des ressources qui ne devraient pas faire partie de l’activité autorisée.

Le problème ne tient pas nécessairement à une défaillance du modèle d’intelligence artificielle. Dans de nombreux cas, les risques découlent de la manière dont le modèle est intégré aux autres composants. Un outil peut donner accès à des opérations excessivement étendues. Une interface de programmation peut présenter des contrôles d’autorisation insuffisants. Un mécanisme d’exécution peut permettre l’application de décisions sans validation appropriée. La sécurité d’une solution agentique dépend donc de l’ensemble de son architecture, et pas uniquement de la qualité ou des capacités du modèle utilisé.

L’un des principes fondamentaux de cette architecture consiste à séparer clairement l’objectif fonctionnel des autorisations opérationnelles. L’objectif décrit le résultat attendu. Les autorisations définissent les ressources qui peuvent être utilisées pour l’atteindre. Les règles métier fixent les conditions à respecter, tandis que les mécanismes de supervision déterminent si une opération peut se poursuivre automatiquement ou nécessite une intervention humaine.

Cette séparation empêche de confondre la capacité technique d’exécuter une action donnée avec l’autorisation de l’effectuer. Un agent chargé de consulter des informations financières peut avoir accès à certains rapports et enregistrements, sans être nécessairement autorisé à modifier des montants ou à effectuer des paiements. De même, un système destiné à préparer des documents administratifs peut être autorisé à rédiger des propositions et à remplir des formulaires, sans disposer du droit de les approuver ou de les transmettre définitivement.

Ce principe se rattache à une notion bien établie en sécurité de l’information : le moindre privilège. Selon cette approche, les utilisateurs, les processus et les applications ne doivent disposer que des autorisations nécessaires à l’exercice de leurs fonctions. Appliqué à l’intelligence artificielle agentique, cela signifie que chaque agent doit fonctionner dans un ensemble délimité de capacités. L’accès aux fichiers, l’exécution de programmes, les consultations de bases de données et les opérations administratives doivent être autorisés en fonction de la finalité précise de chaque activité.

La mise en œuvre de ce principe exige une attention particulière à la gestion des identités. Dans les systèmes numériques, l’authentification et l’autorisation sont deux mécanismes distincts. L’authentification vise à vérifier l’identité de l’entité qui accède à une ressource donnée. L’autorisation détermine les opérations que cette identité peut effectuer. Selon la solution, un agent peut utiliser ses propres éléments d’authentification ou recevoir des autorisations déléguées par un utilisateur. Dans les deux cas, le système doit garantir que la délégation ne dépasse pas les droits accordés et que les opérations puissent être rattachées à une identité identifiable.

Cette préoccupation devient encore plus importante lorsque des agents agissent au nom de personnes. Autoriser un système à exécuter une tâche donnée ne revient pas à lui accorder une liberté illimitée d’interagir avec toutes les informations disponibles. La délégation doit être liée à un objectif, à un ensemble de ressources et à des conditions d’exécution. Idéalement, les autorisations doivent également tenir compte de la durée d’utilisation, de la sensibilité des données et de la nécessité d’une approbation pour les opérations ayant des conséquences plus importantes.

Les interfaces de programmation d’applications, connues sous le sigle API, jouent un rôle central dans ce processus. Une API permet à différents composants logiciels d’échanger des informations et de demander l’exécution d’opérations. Les agents d’intelligence artificielle peuvent utiliser ces interfaces pour consulter des enregistrements, créer des documents, mettre à jour des informations ou solliciter des services. Chaque requête doit toutefois être soumise aux contrôles d’authentification, d’autorisation et de validation définis par l’application responsable.

Le fait qu’une opération soit techniquement accessible ne signifie pas qu’elle soit autorisée en toutes circonstances. Un service peut permettre à un utilisateur donné de consulter ses propres enregistrements, mais il doit empêcher l’accès aux informations appartenant à des tiers sans autorisation appropriée. Cette vérification doit être effectuée par les composants chargés du traitement des requêtes. Des restrictions présentes uniquement dans l’interface visuelle ne constituent pas une protection suffisante, car différentes applications et différents agents peuvent interagir directement avec les services disponibles.

Un autre défi important concerne la manière dont les modèles de langage interprètent les informations externes. Les systèmes agentiques traitent fréquemment des documents, des pages, des messages, des réponses d’API et des contenus provenant de différentes sources. Ces éléments peuvent contenir des données nécessaires à l’exécution de la tâche, mais aussi des instructions inappropriées ou des informations manipulées. L’agent doit distinguer le contenu utilisé comme information des instructions qu’il est effectivement autorisé à suivre.

Cette situation est liée au problème connu sous le nom de prompt injection, ou injection d’instructions. Il se produit lorsque des contenus moins fiables cherchent à influencer indûment le comportement d’un système d’intelligence artificielle. Un document consulté par un agent peut, par exemple, contenir des instructions destinées à modifier son comportement, à lui faire ignorer des règles ou à transmettre des informations vers une destination non autorisée. Le fait que ces instructions figurent dans un contenu traité par le modèle ne leur confère aucune légitimité.

La protection contre ce problème ne doit pas reposer exclusivement sur des consignes écrites dans le prompt. Les instructions de sécurité sont importantes, mais elles doivent être complétées par des contrôles techniques indépendants du modèle. Des autorisations restreintes, la validation des opérations, la séparation entre données et instructions, la vérification des destinations de communication et des mécanismes d’approbation contribuent à limiter les effets de contenus inappropriés. L’objectif est d’empêcher que des informations reçues pendant une tâche puissent modifier indûment les conditions d’exécution établies par l’organisation.

La sécurité des données exige elle aussi une approche spécifique. Un agent peut accéder à des informations personnelles, à des documents confidentiels ou à des données d’entreprise dans le cadre de ses activités. Ces informations doivent être protégées en fonction de leur classification et de leur finalité d’utilisation. Le système doit limiter l’accès aux données nécessaires, encadrer leur partage et éviter que des contenus sensibles soient indûment inclus dans des journaux d’exécution, des messages ou des réponses destinés à d’autres services.

Dans les architectures plus complexes, la protection doit également prendre en compte le stockage temporaire des informations et les mécanismes de mémoire. Certains agents conservent des résultats intermédiaires, des préférences opérationnelles ou des informations relatives à des tâches antérieures. Ces capacités peuvent améliorer la continuité des activités, mais elles exigent des précautions concernant la conservation, la mise à jour, l’isolation et la suppression des données. Des informations incorrectes, obsolètes ou manipulées peuvent influencer des décisions ultérieures si elles sont réutilisées sans validation appropriée.

Une autre mesure pertinente est l’isolation des environnements d’exécution, souvent appelée sandboxing, ou exécution en bac à sable. Une sandbox est un environnement contrôlé dans lequel des programmes ou des opérations peuvent être exécutés avec des restrictions spécifiques. Dans les solutions agentiques, ce mécanisme peut limiter l’accès au système d’exploitation, au réseau, aux fichiers et à d’autres ressources. Il vise à réduire les conséquences d’opérations inattendues et à empêcher que des activités expérimentales produisent des effets indésirables sur des environnements sensibles.

L’isolation ne doit toutefois pas être considérée comme une garantie absolue de sécurité. La protection dépend de sa configuration, des autorisations accordées et des interactions permises avec les composants externes. Une architecture robuste doit donc associer différents mécanismes de défense. Les contrôles réseau, la gestion des identités, la protection des éléments d’authentification, la segmentation des environnements et la surveillance doivent agir de manière complémentaire, afin de réduire la dépendance à une seule barrière technologique.

La complexité augmente lorsque différents agents collaborent au sein d’un même processus. Dans les architectures multiagents, un système peut répartir les activités entre des composants spécialisés. Un agent peut rechercher des informations, un autre analyser les résultats et un troisième préparer une opération. Cette organisation permet de séparer les responsabilités et de développer des processus plus élaborés, mais elle exige également des mécanismes clairs de communication, de coordination et de contrôle.

La collaboration entre agents ne doit pas impliquer un partage illimité des autorisations. Chaque composant doit disposer d’une identité opérationnelle et d’un ensemble d’autorisations correspondant à sa responsabilité. Les informations reçues d’autres agents doivent être traitées en tenant compte de leur origine, de leur fiabilité et de leur classification. Une décision incorrecte prise à une étape ne doit pas être automatiquement propagée aux autres composants sans mécanismes de validation appropriés.

La répartition des activités exige également une attention particulière à la traçabilité. Lorsque plusieurs agents participent à l’exécution d’un processus, il devient nécessaire d’identifier les composants qui ont effectué certaines opérations, les informations qui ont été utilisées et les résultats qui ont été produits. Sans ces traces, l’analyse des problèmes peut devenir complexe, en particulier lorsque les décisions sont prises successivement et impliquent différents systèmes.

La traçabilité constitue donc une exigence importante de l’architecture agentique. Une organisation doit pouvoir reconstituer les principales étapes d’une exécution, identifier les outils utilisés, vérifier les modifications effectuées et comprendre à quel moment des interventions humaines ont eu lieu. Ces traces doivent respecter les exigences de confidentialité et de protection des informations, tout en fournissant des éléments suffisants pour les audits, les analyses de conformité et les investigations sur les incidents.

La surveillance ne peut toutefois pas reposer exclusivement sur l’analyse a posteriori des traces. Selon sa configuration, un agent peut exécuter plusieurs opérations dans un laps de temps réduit. Si une activité inappropriée n’est détectée qu’une fois achevée, ses conséquences peuvent déjà s’être produites. Les solutions qui effectuent des opérations sensibles doivent donc prévoir des mécanismes de suivi pendant l’exécution, des limites opérationnelles et des moyens de suspendre les actions lorsque certaines conditions sont détectées.

Dans ce contexte, la supervision humaine continue de jouer un rôle fondamental. Le concept de human-in-the-loop décrit une approche dans laquelle certaines décisions ou opérations nécessitent une validation humaine. Cela ne signifie pas que chaque étape d’un processus doit être exécutée manuellement. La supervision peut être proportionnée au risque, en permettant une plus grande autonomie pour les activités à faible impact et en exigeant une approbation pour les opérations susceptibles d’avoir des conséquences importantes.

Une application chargée d’organiser des documents peut, par exemple, classer des fichiers et préparer automatiquement des rapports préliminaires. En revanche, la suppression d’enregistrements importants, la modification d’informations officielles ou l’exécution d’opérations financières peuvent nécessiter une confirmation spécifique. La définition de ces conditions doit tenir compte des règles métier, de la sensibilité des informations et des conséquences d’éventuelles erreurs.

Cette approche doit également distinguer la préparation d’une action de son exécution définitive. Un agent peut être autorisé à élaborer une proposition sans l’être nécessairement à l’approuver. Il peut repérer une incohérence sans être autorisé à modifier l’enregistrement correspondant. Il peut recommander une opération sans recevoir la permission de l’exécuter. Cette séparation permet de tirer parti de l’intelligence artificielle sans transférer indistinctement les responsabilités décisionnelles aux systèmes automatisés.

La capacité à interrompre une tâche constitue un autre élément essentiel. Un agent ne doit pas être évalué uniquement sur son aptitude à accomplir des activités, mais aussi sur sa capacité à reconnaître les situations dans lesquelles il ne peut pas poursuivre de manière appropriée. Des informations insuffisantes, l’absence d’autorisations, des résultats incohérents ou la nécessité d’accéder à des ressources non autorisées peuvent justifier une interruption contrôlée. Dans ces circonstances, le comportement attendu peut consister à demander des instructions, à consigner la difficulté ou à présenter des solutions compatibles avec les règles établies.

La possibilité d’annuler les effets des opérations doit elle aussi être prise en compte. Dans les systèmes numériques, certaines actions peuvent modifier des enregistrements, déclencher des communications ou avoir des conséquences sur d’autres processus. Toutes ne peuvent pas être annulées par une simple opération inverse. L’architecture doit donc identifier les activités réversibles, les opérations qui nécessitent une confirmation et les situations qui exigent des mécanismes de récupération ou de compensation.

Ces précautions montrent que la sécurité des agents d’intelligence artificielle ne peut pas être traitée comme une simple question de configuration du modèle. Elle dépend de décisions relatives à l’architecture fonctionnelle, à l’architecture d’intégration, au développement logiciel, à la protection des données et à la gouvernance organisationnelle. Chacune de ces disciplines contribue à définir des limites et des responsabilités qui doivent fonctionner de manière intégrée.

L’architecture fonctionnelle joue un rôle particulièrement important dans ce contexte. Avant de déterminer les outils que l’agent utilisera, il est nécessaire de comprendre le processus qui sera automatisé. Cela implique d’en identifier les objectifs, les acteurs, les informations, les règles métier, les exceptions, les décisions critiques et les conditions de clôture. Sans cette compréhension, on risque de construire une solution techniquement capable d’exécuter des activités, mais insuffisamment alignée sur les besoins et les responsabilités de l’organisation.

L’architecture technique et d’intégration transforme ces définitions en mécanismes opérationnels. Elle détermine comment l’agent communique avec les applications, comment il utilise les outils, quels services sont accessibles et comment les restrictions seront appliquées. La sécurité de l’information contribue, quant à elle, à définir les contrôles d’identité et d’autorisation, la protection des éléments d’authentification, l’isolation et la surveillance. La gouvernance établit les responsabilités, les critères d’acceptation et les mécanismes de suivi tout au long du cycle de vie de la solution.

L’adoption responsable de l’intelligence artificielle agentique exige également des évaluations avant la mise en production. Les tests fonctionnels traditionnels restent nécessaires, mais ils ne suffisent pas à examiner toutes les caractéristiques de ces systèmes. Il est important d’observer la réaction de l’agent face à des informations incomplètes, à des résultats inattendus, à l’indisponibilité d’outils, à des demandes ambiguës et à des tentatives visant à provoquer des comportements non autorisés. Les évaluations doivent prendre en compte aussi bien la qualité des résultats que la conformité des actions effectuées.

Une stratégie prudente consiste à commencer par utiliser les agents dans des processus bien délimités, avec des outils et des autorisations restreints, puis à élargir progressivement leur autonomie à mesure que les résultats sont évalués. Cette approche permet de comprendre le comportement du système, de repérer les difficultés et d’améliorer les contrôles avant d’étendre son champ d’action. L’accroissement de l’autonomie doit s’appuyer sur des éléments probants concernant les performances, la sécurité et la capacité de supervision, et pas uniquement sur la démonstration de nouvelles fonctionnalités.

Le suivi doit se poursuivre même après le déploiement. Des changements dans les applications intégrées, de nouveaux outils, des mises à jour des modèles et des modifications des règles métier peuvent transformer le comportement d’une solution agentique. Un système initialement adapté à un contexte donné peut nécessiter de nouveaux contrôles lorsque son périmètre s’élargit. La gestion des changements, la surveillance opérationnelle et la révision périodique des autorisations deviennent donc des composantes essentielles de son fonctionnement.

Il existe également une dimension importante liée à la responsabilité. L’utilisation d’agents d’intelligence artificielle ne dispense pas d’identifier les responsables de la conception, de l’autorisation, du déploiement et de la supervision des systèmes. La répartition précise de ces responsabilités dépend de l’organisation, des relations contractuelles et de la législation applicable. Du point de vue de la gouvernance technologique, il est néanmoins nécessaire de définir clairement qui fixe les objectifs, approuve les autorisations, suit le comportement et détermine les conditions d’interruption ou de révision de la solution.

Cette responsabilité doit être prise en compte dès le début du développement. La sécurité ne doit pas constituer une simple vérification finale avant la mise à disposition du système. Elle doit guider la définition des exigences, le choix des outils, la structuration des flux, le traitement des exceptions et les mécanismes de supervision. Dans les systèmes agentiques, les décisions architecturales déterminent directement l’étendue de l’autonomie et les conséquences possibles des actions effectuées.

Il convient de reconnaître que nombre de ces défis ne sont pas apparus avec l’intelligence artificielle. Les questions d’authentification, d’autorisation, d’intégration des systèmes, de protection des données et de traçabilité font partie de l’ingénierie logicielle depuis des décennies. La particularité de l’IA agentique réside dans l’association de ces questions à des systèmes capables de sélectionner dynamiquement des actions et d’interagir avec différents outils pour atteindre des objectifs. Cette caractéristique accroît la souplesse de l’automatisation, mais elle exige également une évolution équivalente des mécanismes de contrôle.

Dans ce contexte, la sécurité ne doit pas être perçue comme un obstacle à l’innovation. Une architecture bien définie permet aux agents de fonctionner de manière plus prévisible, de respecter les responsabilités et d’être utilisés de façon plus fiable. Des contrôles appropriés facilitent également l’extension progressive des solutions, car ils offrent aux organisations de meilleures conditions pour comprendre et gérer les risques associés à l’autonomie opérationnelle.

L’intelligence artificielle agentique représente ainsi une évolution importante de notre manière de concevoir les systèmes numériques. L’attention ne porte plus exclusivement sur la capacité à interpréter des informations et à produire des réponses, mais aussi sur l’exécution coordonnée d’activités. Cette évolution pourra accroître la productivité, intégrer les processus et permettre de nouvelles formes d’interaction entre les personnes, les applications et les services. Son développement responsable dépend toutefois de la capacité à établir des limites claires et vérifiables aux actions automatisées.

Le véritable défi ne consiste pas seulement à construire des agents capables d’accomplir des tâches de plus en plus complexes. Il consiste à s’assurer que ces systèmes appréhendent, sur le plan opérationnel, le périmètre des activités, n’utilisent que les ressources autorisées, respectent les règles métier et restent soumis à des mécanismes efficaces de supervision. La capacité à atteindre un résultat ne doit pas être confondue avec la légitimité des moyens employés pour l’obtenir.

L’avenir de l’intelligence artificielle agentique dépendra non seulement de l’évolution des modèles et de leurs capacités d’exécution, mais aussi de la maturité des architectures qui soutiennent leur utilisation. Plus l’autonomie accordée aux systèmes sera grande, plus la définition des autorisations, des responsabilités et des mécanismes de contrôle devra être rigoureuse. La véritable mesure d’une solution intelligente ne réside pas uniquement dans ce qu’elle est capable de faire, mais aussi dans la sécurité, la fiabilité et la responsabilité avec lesquelles elle exécute ses actions.