Évaluez un agent IA par la tâche dont l’exécution peut être vérifiée, pas seulement par son arrivée sur un site. L’annonce de Microsoft Clarity du 4 novembre présente Agentic Analytics et des simulations, d’abord pour le commerce et le voyage. Elle décrit l’activité d’agents pris en charge et des évaluations indiquant achèvement, durée et interactions. C’est l’occasion de préciser ce que votre entreprise considère comme une réussite.
Distinguer l’acteur de la source de la visite
Une personne qui suit une recommandation d’IA reste un visiteur humain. Un agent qui agit sur un site pour son compte représente un autre acteur. Analysez ces populations séparément dans les parcours. Une source de trafic indique d’où vient la visite ; elle ne prouve pas à elle seule qu’un logiciel a tenté une commande, une réservation ou une autre action.
Constituez trois groupes de preuves : visites humaines observées, activité détectée d’agents pris en charge et simulations contrôlées. Conservez une catégorie indéterminée lorsque la classification reste incertaine. Microsoft cite les opérateurs Google, OpenAI et Anthropic parmi ceux pris en charge. Cela ne signifie pas que toutes les automatisations sont détectées. N’extrapolez pas cet ensemble observé à tout le marché.
Définir le dénominateur avant le taux de réussite
Formulez une tâche comme une instruction vérifiable : trouver un créneau pour un service précis et obtenir une confirmation, par exemple. Consignez scénario, acteur ou opérateur, version du site, environnement et heure. Définissez le début et la fin d’une tentative. Une page vue n’est pas automatiquement une tentative ; une action répétée au cours de celle-ci ne doit pas devenir discrètement une nouvelle occasion de réussite.
Pour une cohorte définie, divisez les achèvements confirmés par les tentatives enregistrées. Affichez les deux nombres avec le pourcentage. Notez séparément les tâches impossibles à démarrer et incluez-les dans un taux de réussite de bout en bout des tâches confiées. Sinon, exclure les échecs précoces peut faire paraître sain un parcours inutilisable. Gardez les résultats inconnus visibles sans les classer comme réussis.
Vérifier le résultat au-delà de l’interface
Un message de remerciement constitue une preuve utile, mais vérifiez si possible l’enregistrement métier. La réservation concerne-t-elle le bon service ? La commande contient-elle le bon article et la bonne quantité ? Le formulaire a-t-il été enregistré une seule fois ? Rapprochez tentative et confirmation à l’aide d’identifiants et recherchez les doublons. Une simulation terminée ne doit jamais être comptée comme une vente réelle.
Pour diagnostiquer, utilisez un environnement contrôlé ou un parcours de test convenu avec les autorisations nécessaires. Ne provoquez pas d’achats involontaires pour améliorer un indicateur. Fixez les conditions, répétez le scénario et situez le blocage : découverte, sélection, saisie, validation ou confirmation. Il s’agit d’un cadre éditorial de mesure, pas d’une liste de champs garantis dans les rapports Clarity.
Transformer l’échec en amélioration attribuée
Traitez en priorité les blocages reproductibles sur les parcours importants. Désignez un responsable, décrivez le résultat attendu et la plus petite modification à tester. Répétez le même scénario après correction, puis vérifiez séparément l’usage humain et l’activité observée. Une simulation réussie valide ce scénario dans ces conditions ; elle ne prédit pas une hausse de conversion réelle.
La durée et le nombre d’interactions expliquent les frictions après vérification du résultat ; ils ne le remplacent pas. Une réservation ratée plus rapidement n’améliore pas l’activité commerciale. Séparez ce travail des autres produits de l’annonce : Ask Clarity y est décrit comme une bêta fermée pour les détaillants. Vérifiez la disponibilité de la fonction souhaitée et la portée de ses preuves avant de planifier son déploiement.
