Évaluer un système agentique : la grille de critères avant d'acheter

Le mot ne garantit rien

« Agentique » ne décrit pas une catégorie de produit : il décrit une intention. Le même terme est employé aujourd'hui pour un assistant conversationnel, pour une automatisation déclenchée par règles, et pour un système qui prend en charge une part continue du travail d'une équipe. Ces trois choses n'ont ni le même prix, ni le même effet, ni les mêmes risques.

Le second obstacle est la démonstration elle-même. Une démonstration est un chemin choisi : le compte est bien renseigné, le signal est net, la donnée est propre, personne n'interrompt le déroulé. Ce n'est pas malhonnête, c'est simplement le cas favorable. L'évaluation utile consiste donc à demander autre chose que ce qu'on vous propose de regarder : le comportement ordinaire, les traces réelles, et ce qui se passe quand cela ne marche pas.

Les six critères qui suivent tiennent dans une réunion. Aucun n'exige de compétence technique : ils portent tous sur ce que l'éditeur accepte de montrer.

1. Ce qui est réellement pris en charge

La question habituelle — « que sait faire le système ? » — produit toujours une réponse longue et rassurante. La question qui départage est différente : qu'est-ce qui disparaît de l'agenda de mon équipe ?

Il faut distinguer trois niveaux, souvent confondus dans le même discours commercial :

• Suggérer. Le système signale, recommande, classe. Le travail reste entier : quelqu'un doit lire, décider, faire.
• Préparer. Le système produit un livrable intermédiaire — un dossier, un projet de message, une synthèse. Le travail est réduit, pas supprimé : il reste à relire et à décider.
• Exécuter. Le système mène la tâche à son terme, l'humain arbitrant aux points prévus. C'est le seul niveau qui retire vraiment des heures d'un agenda.

Demandez à situer chaque fonction annoncée dans l'un de ces trois niveaux, fonction par fonction. Un système honnête en revendique plusieurs, et l'assume. Un discours qui place tout au niveau « exécuter » décrit rarement le produit livré.

2. Où sont placés les points de validation

Un système agentique utile agit sans demander l'autorisation à chaque étape ; un système prudent soumet à l'humain ce qui engage l'entreprise. Le sujet n'est donc pas « y a-t-il une validation » mais où elle est placée, et qui la déplace.

Trois questions suffisent à cadrer ce point :

1. Quelles actions partent sans accord préalable, et pourquoi celles-là ?
2. Quelles actions attendent une validation explicite, et que voit la personne qui valide au moment où elle décide ?
3. Qui peut modifier ce réglage : vous, ou l'éditeur ? Et un changement de réglage est-il journalisé ?

Deux réponses doivent alerter. « Tout est validé par vos équipes » signifie que le bénéfice attendu se paiera en temps de relecture. « Rien n'a besoin d'être validé » signifie que le risque a été déplacé chez vous sans être nommé. Le placement de ce curseur est un sujet à part entière, développé dans notre guide sur l'emplacement du point de contrôle dans un système agentique.

3. La traçabilité des actions

Un système qui agit produit des effets que vous devrez expliquer : à un client qui s'étonne, à une direction qui s'interroge, à un auditeur. La question à poser est simple : peut-on reconstituer, trois semaines après, pourquoi le système a fait ce qu'il a fait ?

Une trace exploitable contient au minimum :

• ce qui a déclenché l'action, et à quel moment ;
• les données consultées et leur origine, y compris les sources externes ;
• ce que le système a proposé, et ce qui est effectivement parti ;
• qui a validé, corrigé ou refusé, et ce qui a été modifié avant l'envoi.

Un tableau de bord d'activité n'est pas une trace : il compte des volumes, il n'explique pas une décision. Demandez à voir le journal d'une action précise, pas une vue agrégée. Si la reconstitution suppose un ticket au support de l'éditeur, la traçabilité n'est pas à vous.

4. Le comportement en cas de doute ou d'erreur

Un système se trompera : la donnée sera périmée, le signal mal interprété, l'interlocuteur mal identifié. Ce n'est pas une objection, c'est une certitude à intégrer. Un système qui ne sait pas dire qu'il n'est pas sûr est plus dangereux qu'un système aux capacités limitées : il produit avec la même assurance ce qu'il sait et ce qu'il suppose.

Ce qu'il faut vérifier :

• Le système signale-t-il explicitement une information incertaine ou invérifiée, ou présente-t-il tout au même niveau de confiance ?
• Que fait-il quand une donnée manque : il s'abstient, il demande, ou il comble le vide ?
• Une action erronée déjà partie est-elle rattrapable, et par quel geste concret ?
• Une correction humaine change-t-elle le comportement futur, ou faut-il reprendre la même correction chaque semaine ?

5. La réversibilité

Poser la question de la sortie avant d'entrer n'est pas un signe de méfiance, c'est la seule façon d'obtenir une réponse précise. Un système agentique accumule trois choses qui ont de la valeur pour vous : le paramétrage construit avec vos équipes, l'historique des actions, et la matière produite au fil des mois.

Vérifiez donc ce que vous récupérez, sous quel format, et en combien de temps. Vérifiez ce que devient la donnée côté éditeur après résiliation, et sous quel délai. Vérifiez enfin comment les accès accordés à vos outils sont révoqués, et par qui. Une réponse hésitante sur la réversibilité est une information sur la suite de la relation.

6. Ce que recouvre le mot « intégration »

« Intégré à votre CRM » couvre des réalités très différentes : un export de fichier, une lecture en consultation, une écriture limitée à quelques champs, ou une capacité à créer et modifier des objets. La bonne question n'est pas « est-ce intégré » mais quels objets le système lit, lesquels il écrit, et avec quels droits.

Le périmètre des accès accordés mérite d'être écrit noir sur blanc, au même titre que l'hébergement et la journalisation : c'est l'objet de notre guide sur les exigences de sécurité à poser à un éditeur.

Les questions qui font tomber les masques

Ces questions ne se préparent pas en amont d'une démonstration. Elles se posent à voix haute, et la façon dont elles sont accueillies vous apprend souvent plus que la réponse elle-même.

1. Montrez-moi la trace complète d'une action réellement exécutée chez un client, pas une démonstration. Anonymisée, sans nom de compte : ce qui importe, c'est l'enchaînement et le niveau de détail conservé.
2. Montrez-moi une fois où le système s'est trompé. Un éditeur qui n'a aucun exemple à raconter n'a pas assez d'usage réel, ou ne regarde pas ses propres résultats.
3. Qu'est-ce que mes équipes cesseront de faire dès la première semaine ? Une réponse en termes de tâches concrètes vaut mieux qu'une réponse en termes de gains.
4. Que fait le système si personne ne se connecte pendant deux semaines ? La réponse sépare l'outil qu'il faut opérer du système qui travaille et revient vers vous.
5. Qui décide de ce qui part sans validation, et comment je change ce réglage ? Si la réponse est « nous le configurons pour vous », le curseur ne vous appartient pas.
6. Si je résilie dans un an, qu'est-ce que je récupère et sous quelle forme ? Demandez un exemple de fichier, pas un principe.

Aucun système ne répond parfaitement aux six critères. Ce n'est pas le but : la grille sert à savoir ce que vous achetez, et ce que vous gardez à votre charge. Un éditeur capable de dire précisément où son système s'arrête est plus fiable qu'un éditeur qui n'a pas de limite à énoncer.

Questions fréquentes

Comment savoir si une solution est réellement agentique ?

Le mot ne se vérifie pas dans une plaquette, il se vérifie dans le calendrier de vos équipes. Demandez quelles tâches, précisément, cessent d'être faites par un humain une fois le système en place, et ce qu'il continue de faire quand personne n'ouvre l'interface pendant une semaine. Un outil s'arrête quand on cesse de l'opérer. Un système agentique poursuit son travail et revient vers vous quand une décision l'exige.

Que faut-il demander à voir pendant une démonstration ?

La trace complète d'une action réellement exécutée chez un client, du déclenchement jusqu'au résultat : ce qui l'a déclenchée, les données consultées, ce que le système a proposé, qui a validé, ce qui est parti. Une démonstration construite pour la vente montre le cas favorable. Un journal d'exécution réel montre le cas ordinaire, y compris ce qui a été corrigé par l'humain.

Faut-il exiger que tout passe par une validation humaine ?

Non. Tout valider annule le bénéfice attendu et transforme le système en formulaire déguisé. Le bon réglage distingue les actions réversibles et sans effet externe, qui peuvent partir seules, des actions qui engagent la relation ou l'entreprise, qui attendent un accord. Ce qui compte, c'est que ce réglage soit explicite, modifiable par vous, et non figé par l'éditeur.

Que se passe-t-il si nous arrêtons le service ?

C'est une question à poser avant de signer, pas au moment de résilier. Vérifiez ce que vous récupérez et sous quelle forme exploitable : les données que vous avez fournies, celles produites par le système, l'historique des actions, le paramétrage. Vérifiez aussi le délai de suppression côté éditeur et la façon dont les accès accordés à vos outils sont révoqués. Une réponse vague sur ce point est en soi une information.

Combien de temps faut-il avant de savoir si un système agentique fonctionne ?

Assez pour couvrir un cycle complet du travail concerné, et sur un périmètre restreint plutôt que sur toute l'activité. L'évaluation ne porte pas sur la qualité des démonstrations mais sur deux choses observables : la part des propositions que vos équipes valident sans réécriture, et le travail qui a effectivement disparu de leur agenda. Si aucune des deux ne bouge, le système ajoute une interface de plus.

Pour aller plus loin

Avant d'évaluer un fournisseur, il est souvent utile de clarifier ce que vous cherchez : notre comparaison des approches de détection des signaux d'achat distingue ce qui relève de la donnée, de l'envoi ou de la prise en charge du travail. Une fois le choix fait, le premier périmètre décide beaucoup de la suite — comment choisir par où commencer traite ce point.