Měření využití a dopadu
Na této stránce
Co nelze změřit, to nelze ani řídit
Nasadil jsi ChatGPT Enterprise, vyškolil své šampiony a spustil program adopce. Nyní musíš prokázat, že to funguje. Metriky plní dvě odlišné funkce, které si lidé často pletou: řídí každodenní provoz a odůvodňují rozpočtová rozhodnutí. První sadu kontroluj týdne, abys mohl provádět korekce; druhou čtvrtletně, abys vybudoval svou argumentaci. Systém měření navržený pouze pro druhou funkci produkuje lichotivá, ale nepoužitelná čísla.
Co již poskytuje Admin Console
U plánů Enterprise a Edu nabízí sekce Usage (Využití) v Admin Console metriky adopce. K těmto datovým bodům mají přístup vlastníci, správci a čtenáři statistik. Zdraví svého pracovního prostoru můžeš odhadnout pomocí tří klíčových údajů pokrývajících ChatGPT, Codex a Work: přiřazená místa (s výjimkou čekajících pozvánek), aktivovaná místa (uživatelé, kteří odeslali alespoň jednu zprávu) a týdenní aktivní uživatelé (ti, kteří odeslali alespoň jednu zprávu během posledního úplného týdne).
Přehledové pohledy sledují jedinečné aktivní uživatele, objem zpráv a využití GPTs, projektů a dovedností (skills) v čase. U dovedností jsou data seřazena podle počtu vyvolání. Pokud je tvůj adresář synchronizován přes SCIM, můžeš všechna tato data rozdělit podle skupin. Použij skupiny, které odpovídají reálným týmům, a získáš okamžité poznatky. Sekce Insights (Přehledy) přidává srovnání a uživatelské průzkumy, zatímco export na úrovni jednotlivých uživatelů napájí tvé vlastní nástroje.
Stanov si vlastní cíle místo přebírání obecných benchmarků. Míra aktivace, která se po prvním měsíci zastaví, ukazuje na problémy s účty nebo komunikací, nikoliv s nástrojem samotným. Přetrvávající rozdíl mezi aktivovanými místy a týdenními aktivními uživateli signalizuje, že se využívání neuchytilo.
Co žádná konzole neměří
Metriky dopadu vyžadují průzkumy nebo doplňková měření, což je důvod, proč je týmy často zanedbávají. Vypočítej ušetřený čas na úkol prostřednictvím vlastního hlášení nebo srovnání před a po u zdokumentovaných procesů. Posuď vnímanou kvalitu jedinou otázkou: Jsou výstupy vytvořené s ChatGPT hodnoceny jako lepší, ekvivalentní, nebo horší? Sledování trvale adoptovaných případů použití podle oddělení má větší váhu než teoretický seznam. Nakonec opětovné použití sdílených asistentů určuje jejich hodnotu: asistent použitý jednou nic nevytvořil; ten používaný denně je aktivum.
Pro spokojenost se zeptej standardní interní otázku NPS: „Na stupnici od 0 do 10, jak pravděpodobné je, že doporučíš ChatGPT kolegovi?“ a prováděj čtvrtletní průzkum s pěti otázkami pokrývající spokojenost, překážky a návrhy. Šampioni poskytují průběžnou kvalitativní zpětnou vazbu; tento vstup přichází před čísly a vysvětluje to, co data pouze potvrzují.
Vytvoř si dashboard a harmonogram
Transformuj tato data do měsíčního dashboardu pomocí nástrojů Notion, Google Sheets nebo svého BI nástroje. Rozděľ ho do pěti bloků: globální pohled ukazující aktivovaná místa, týdenní aktivní uživatele a tříměsíční trend; pohled na úrovni skupin s barevným kódováním a prahovými hodnotami, které si definuješ; deset nejlepších případů použití s odhadem ušetřeného času; skóre NPS s doslovnými komentáři; a odhad monetizovaného ušetřeného času oproti nákladům na licence.
Přizpůsob harmonogram svému publiku. Týdně stačí pro operativní řízení mezi šampiony a CIO raw data (surová čísla). Měsíčně slouží kompletní dashboard řídícímu výboru. Čtvrtletně putuje strategický přehled featuring ROI a doporučení výkonnému výboru. Předkládání stejného dokumentu všem třem skupinám je tím nejlepším způsobem, jak nezaujmout žádnou z nich.
Počítej ušetřený čas poctivě
Toto je metrika, kterou management požaduje nejvíce a nejhůře se stanovuje. Vlastní hlášení se ptá aktivních uživatelů, kolik času odhadují, že týdně ušetří: jednoduché, ale subjektivní. Analýza před a po měří dobu provedení u tří až pěti klíčových procesů před a po adopci: rigorózní, ale omezená na několik případů. Aproximace aplikuje průměrný ušetřený čas na konverzaci – řekněme deset minut – vynásobený objemem: hrubé, ale škálovatelné. Poctivý přístup kombinuje všechny tři: vlastní hlášení ukazuje trend, analýza před a po jej validuje na konkrétních příkladech a aproximace poskytuje řádové velikosti.
Signály vyžadující akci
Čtyři signály vyžadují akci, přičemž prahové hodnoty si stanovíš na základě svého kontextu. Nízká míra aktivace dva měsíce po spuštění ukazuje, že selhala tvoje komunikace a školení, nikoliv že jsou zaměstnanci odolní. Týdenní aktivní uživatelé výrazně pod počtem aktivovaných míst naznačují, že lidé nástroj zkusí, ale nevracejí se: najdi překážku, často jde o špatně zvolený případ použití. Celá skupina bez aktivity naznačuje nepřesvědčeného manažera nebo neaktivního šampiona; řeš to rozhovorem, nikoliv automatizovaným připomenutím. Klesající NPS vyžaduje kvalitativní průzkum dříve, než se nespokojenost rozšíří. Každý signál musí do dvou týdnů spustit nápravná opatření.
Teď jsi na řadě
Vytvoř si dashboard. Vyber pět metrik: tři z Admin Console a dvě z průzkumů. Pro každou nastav prahovou hodnotu pro alert a vlastníka, poté naplánuj svou první měsíční revizi se svými šampiony.
Oficiální zdroje: Workspace analytics for ChatGPT Enterprise and Edu · Managing members, workspace roles, and seats in ChatGPT Enterprise and Edu · SCIM provisioning and management (OpenAI Help Center)
Klíčové poznatky
- Admin Console pro plány Enterprise a Edu sleduje přiřazená místa, aktivovaná místa a týdenní aktivní uživatele, které lze rozdělit podle skupiny SCIM.
- Zobrazuje také využití GPTs, projektů a dovedností; export na úrovni uživatelů napájí tvé vlastní nástroje.
- Ušetřený čas, vnímaná kvalita a NPS vyžadují průzkumy: žádná konzole je neměří.
- Pro poctivý výpočet ušetřeného času kombinuj vlastní hlášení, analýzu před a po a aproximaci.
- Stanov si vlastní prahové hodnoty pro alerty a reaguj do dvou týdnů.