Mesurer l'usage et l'impact

Ce qui ne se mesure pas ne se pilote pas

Vous avez déployé ChatGPT Enterprise, formé vos champions, lancé votre programme d’adoption. Reste à prouver que ça fonctionne. Les indicateurs remplissent deux fonctions qu’on confond : ils pilotent au quotidien et ils argumentent au moment de l’arbitrage budgétaire. Les premiers se regardent chaque semaine pour corriger, les seconds chaque trimestre pour convaincre. Un dispositif qui ne sert que la seconde fonction produit des chiffres flatteurs et inutiles.

Ce que l’Admin Console vous donne déjà

Sur Enterprise et Edu, la rubrique Usage de l’Admin Console fournit les indicateurs d’adoption ; ils sont consultables par les propriétaires, les administrateurs et les lecteurs des statistiques. La santé de l’espace se lit en trois chiffres, qui couvrent ChatGPT, Codex et Work : les sièges attribués, hors invitations en attente ; les sièges activés, dont l’utilisateur a envoyé au moins un message ; et les utilisateurs actifs de la semaine, ceux qui ont envoyé au moins un message au cours de la dernière semaine complète.

Les vues d’ensemble suivent dans le temps les utilisateurs actifs uniques, le nombre de messages et l’usage des GPTs, des projets et des skills, classées pour ces dernières par nombre d’invocations. Si l’annuaire est synchronisé en SCIM, tout se ventile par groupe : utilisez des groupes qui correspondent à de vraies équipes, et la lecture devient immédiate. La rubrique Insights ajoute des comparaisons et des enquêtes auprès des utilisateurs, et un export par utilisateur alimente vos propres outils.

Fixez vos cibles vous-même plutôt que d’emprunter des repères génériques. Un taux d’activation qui stagne après le premier mois pointe vers vos comptes ou votre communication, pas vers l’outil ; un écart durable entre sièges activés et utilisateurs actifs de la semaine signale un usage qui ne s’installe pas.

Ce qu’aucune console ne mesure

Les indicateurs d’impact demandent des enquêtes ou des mesures complémentaires, et c’est pour cela qu’on les néglige. Le temps gagné par tâche s’obtient par auto-déclaration ou par comparaison avant/après sur des processus documentés. La qualité perçue tient à une question : les livrables produits avec ChatGPT sont-ils jugés meilleurs, équivalents ou inférieurs ? Le recensement des cas d’usage installés durablement par département vaut mieux qu’une liste théorique. Et la réutilisation des assistants partagés tranche leur valeur : utilisé une fois, un assistant n’a rien produit ; utilisé chaque jour, c’est un actif.

Côté satisfaction, posez le NPS interne dans sa forme canonique — « Sur une échelle de 0 à 10, recommanderiez-vous ChatGPT à un collègue ? » — et une enquête trimestrielle de cinq questions sur la satisfaction, les blocages et les suggestions. Le retour qualitatif remonte en continu par les champions ; il arrive avant les chiffres et explique ce que ceux-ci se contentent de constater.

Construire le tableau de bord et sa cadence

Il vous reste à transformer cette matière en un tableau de bord mensuel — Notion, Google Sheets ou votre outil de BI — organisé en cinq blocs : une vue globale avec sièges activés, utilisateurs actifs de la semaine et tendance sur trois mois ; une vue par groupe, avec un code couleur dont vous fixez les seuils ; les dix cas d’usage les plus fréquents et leur temps gagné estimé ; le NPS et ses verbatims ; l’estimation du temps gagné valorisé face au coût des licences.

La cadence varie selon l’audience : chaque semaine, les chiffres bruts suffisent au pilotage opérationnel entre champions et DSI ; chaque mois, le tableau de bord complet alimente le comité de pilotage ; chaque trimestre, un bilan stratégique avec retour sur investissement et recommandations part vers le comité de direction. Servir le même document aux trois est la meilleure façon de n’en intéresser aucun.

Chiffrer le temps gagné sans se mentir

C’est l’indicateur le plus réclamé par le management et le plus difficile à établir. L’auto-déclaration demande aux utilisateurs actifs combien de temps ils estiment gagner par semaine : simple, mais subjectif. Le avant/après mesure le temps d’exécution de trois à cinq processus clés avant et après l’adoption : rigoureux, mais limité à quelques cas. L’approximation applique un temps moyen gagné par conversation, dix minutes par exemple, multiplié par le volume : grossière, mais généralisable. La méthode honnête combine les trois, l’auto-déclaration donnant la tendance, le avant/après la validant sur des cas concrets, l’approximation fournissant l’ordre de grandeur.

Les signaux qui exigent une réaction

Quatre signaux appellent une action, avec des seuils que vous fixez selon votre contexte. Un taux d’activation encore faible deux mois après le lancement montre que votre communication et votre formation n’ont pas fonctionné, pas que les collaborateurs sont réfractaires. Des utilisateurs actifs de la semaine très en dessous des sièges activés indiquent que les gens essaient mais ne reviennent pas : allez chercher le blocage, souvent un cas d’usage mal choisi. Un groupe entier sans activité traduit un manager non convaincu ou un champion inactif, et se traite par une conversation, pas par une relance automatique. Un NPS en baisse appelle une enquête qualitative avant que l’insatisfaction se propage. Chacun de ces signaux doit déclencher une action correctrice dans les deux semaines.

À vous de jouer

Composez votre tableau de bord. Choisissez cinq indicateurs, trois tirés de l’Admin Console et deux issus d’enquêtes, fixez pour chacun un seuil d’alerte et la personne qui réagit, puis programmez la première revue mensuelle avec vos champions.

Sources officielles : Workspace analytics for ChatGPT Enterprise and Edu · Managing members, workspace roles, and seats in ChatGPT Enterprise and Edu · SCIM provisioning and management (centre d’aide OpenAI)

Points clés à retenir

• L’Admin Console d’Enterprise et d’Edu suit sièges attribués, sièges activés et utilisateurs actifs de la semaine, ventilables par groupe SCIM.
• Les usages des GPTs, des projets et des skills s’y lisent aussi ; un export par utilisateur alimente vos outils.
• Le temps gagné, la qualité perçue et le NPS demandent des enquêtes : aucune console ne les mesure.
• Combinez auto-déclaration, avant/après et approximation pour chiffrer le temps gagné sans vous mentir.
• Fixez vos propres seuils d’alerte et réagissez sous deux semaines.