Nutzung und Wirkung messen
Auf dieser Seite
Wenn Sie es nicht messen können, können Sie es nicht managen
Sie haben ChatGPT Enterprise deployed, Ihre Champions geschult und Ihr Einführungsprogramm gestartet. Jetzt müssen Sie beweisen, dass es funktioniert. Kennzahlen erfüllen zwei unterschiedliche Funktionen, die häufig verwechselt werden: Sie leiten den täglichen Betrieb und rechtfertigen Budgetentscheidungen. Prüfen Sie den ersten Satz wöchentlich, um Korrekturen vorzunehmen; prüfen Sie den zweiten vierteljährlich, um Ihren Fall zu begründen. Ein Messsystem, das nur für die zweite Funktion konzipiert ist, liefert zwar schmeichelhafte, aber nutzlose Zahlen.
Was die Admin-Konsole bereits bereitstellt
Bei Enterprise- und Edu-Plänen bietet der Abschnitt „Nutzung” (Usage) der Admin-Konsole Metriken zur Einführung (Adoption) an. Eigentümer, Administratoren und Statistiker können auf diese Datenpunkte zugreifen. Sie können die Gesundheit Ihres Arbeitsbereichs mit drei Schlüsselkennzahlen erfassen, die ChatGPT, Codex und Work abdecken: zugeteilte Sitzplätze (ohne ausstehende Einladungen), aktivierte Sitzplätze (Benutzer, die mindestens eine Nachricht gesendet haben) und wöchentliche aktive Benutzer (die in der letzten vollen Woche mindestens eine Nachricht gesendet haben).
Übersichtsansichten verfolgen eindeutige aktive Benutzer, das Nachrichtenvolumen und die Nutzung von GPTs, Projekten und Skills über die Zeit. Bei Skills werden die Daten nach Anzahl der Aufrufe sortiert. Wenn Ihr Verzeichnis über SCIM synchronisiert wird, können Sie alle diese Daten nach Gruppen aufschlüsseln. Nutzen Sie Gruppen, die echten Teams entsprechen, und die Erkenntnisse werden sofort greifbar. Der Abschnitt „Einblicke” (Insights) fügt Vergleiche und Benutzerbefragungen hinzu, während ein Export pro Benutzer Ihre eigenen Tools speiment.
Legen Sie Ihre eigenen Ziele fest, anstatt sich generischer Benchmarks zu bedienen. Eine Aktivierungsrate, die nach dem ersten Monat stagniert, deutet auf Probleme mit Ihren Konten oder der Kommunikation hin, nicht auf das Tool selbst. Ein anhaltender Unterschied zwischen aktivierten Sitzplätzen und wöchentlichen aktiven Benutzern signalisiert, dass die Nutzung nicht anhält.
Was keine Konsole misst
Wirkungsmetriken erfordern Umfragen oder ergänzende Messungen, weshalb Teams sie oft vernachlässigen. Berechnen Sie Zeitersparnis pro Aufgabe durch Selbstauskünfte oder Vergleiche vor und nach der Einführung bei dokumentierten Prozessen. Bewerten Sie die wahrgenommene Qualität mit einer einzigen Frage: Werden Ergebnisse, die mit ChatGPT erstellt wurden, als besser, gleichwertig oder schlechter eingestuft? Das Verfolgen dauerhaft eingeführter Anwendungsfälle pro Abteilung ist besser als eine theoretische Liste. Schließlich bestimmt die Wiederverwendung gemeinsamer Assistenten deren Wert: Ein Assistent, der einmal genutzt wird, hat nichts produziert; einer, der täglich genutzt wird, ist ein Vermögenswert.
Für die Zufriedenheit stellen Sie die standardisierte interne NPS-Frage: „Auf einer Skala von 0 bis 10, wie wahrscheinlich ist es, dass Sie ChatGPT einem Kollegen empfehlen?” und führen Sie eine vierteljährliche Umfrage mit fünf Fragen durch, die Zufriedenheit, Hindernisse und Vorschläge abdeckt. Champions liefern kontinuierliches qualitatives Feedback; diese Eingaben kommen vor den Zahlen und erklären, was die Daten nur bestätigen.
Erstellen Sie Ihr Dashboard und Ihren Rhythmus
Transformieren Sie diese Daten in ein monatliches Dashboard unter Verwendung von Notion, Google Sheets oder Ihrem BI-Tool. Organisieren Sie es in fünf Blöcken: eine globale Ansicht mit aktivierten Sitzplätzen, wöchentlichen aktiven Benutzern und einem Trend über drei Monate; eine Gruppenebene mit Farbcodierung und von Ihnen definierten Schwellenwerten; die zehn wichtigsten Anwendungsfälle mit geschätzter Zeitersparnis; den NPS-Score mit wörtlichen Kommentaren; und eine Schätzung der monetarisierten Zeitersparnis im Verhältnis zu Lizenzkosten.
Passen Sie den Rhythmus für Ihr Publikum an. Wöchentlich reichen rohe Zahlen für das operative Management zwischen Champions und dem CIO aus. Monatlich versorgt das vollständige Dashboard den Lenkungsausschuss. Vierteljährlich geht eine strategische Überprüfung mit ROI und Empfehlungen an den Exekutivausschuss. Das gleiche Dokument an alle drei zu senden, ist der beste Weg, um niemanden zu erreichen.
Berechnen Sie die Zeitersparnis ehrlich
Dies ist die Metrik, die das Management am meisten verlangt und die am schwersten zu etablieren ist. Die Selbstauskunft fragt aktive Benutzer, wie viel Zeit sie pro Woche schätzen, dass sie sparen: einfach, aber subjektiv. Die Analyse vor und nach der Einführung misst die Ausführungszeit für drei bis fünf Schlüsselprozesse vor und nach der Einführung: rigoros, aber auf wenige Fälle beschränkt. Die Näherung wendet eine durchschnittliche Zeitersparnis pro Konversation an – sagen wir zehn Minuten – multipliziert mit dem Volumen: grob, aber skalierbar. Der ehrliche Ansatz kombiniert alle drei: Die Selbstauskunft zeigt den Trend, die Analyse vor und nach der Einführung validiert ihn an konkreten Beispielen, und die Näherung liefert die Größenordnung.
Signale, die Maßnahmen erfordern
Vier Signale erfordern Maßnahmen, wobei Sie die Schwellenwerte basierend auf Ihrem Kontext festlegen. Eine niedrige Aktivierungsrate zwei Monate nach dem Start zeigt, dass Ihre Kommunikation und Schulung gescheitert sind, nicht dass die Mitarbeiter widerstrebend sind. Wöchentliche aktive Benutzer weit unter den aktivierten Sitzplätzen deuten darauf hin, dass die Leute das Tool ausprobieren, aber nicht zurückkehren: Finden Sie das Hindernis, oft ein schlecht gewählter Anwendungsfall. Eine gesamte Gruppe ohne Aktivität deutet auf einen unüberzeugten Manager oder einen inaktiven Champion hin; adressieren Sie dies durch ein Gespräch, nicht durch eine automatisierte Erinnerung. Ein sinkender NPS ruft eine qualitative Umfrage vor der Ausbreitung der Unzufriedenheit herbei. Jedes Signal muss innerhalb von zwei Wochen zu einer korrigierenden Maßnahme führen.
Jetzt an der Reihe
Erstellen Sie Ihr Dashboard. Wählen Sie fünf Kennzahlen: drei aus der Admin-Konsole und zwei aus Umfragen. Legen Sie für jede eine Warnschwelle und einen Verantwortlichen fest, und planen Sie Ihre erste monatliche Überprüfung mit Ihren Champions.
Offizielle Quellen: Workspace analytics for ChatGPT Enterprise and Edu · Managing members, workspace roles, and seats in ChatGPT Enterprise and Edu · SCIM provisioning and management (OpenAI Help Center)
Kernaussagen
- Die Admin-Konsole für Enterprise und Edu verfolgt zugeteilte Sitzplätze, aktivierte Sitzplätze und wöchentliche aktive Benutzer, die nach SCIM-Gruppen aufschlüsselbar sind.
- Sie zeigt zudem die Nutzung von GPTs, Projekten und Skills an; ein Export pro Benutzer versorgt Ihre eigenen Tools.
- Zeitersparnis, wahrgenommene Qualität und NPS erfordern Umfragen: keine Konsole misst sie.
- Kombinieren Sie Selbstauskunft, Analyse vor und nach der Einführung und Näherung, um die Zeitersparnis ehrlich zu berechnen.
- Legen Sie Ihre eigenen Warnschwelle fest und reagieren Sie innerhalb von zwei Wochen.