Merjenje uporabe in vpliva
Na tej strani
Če ne moreš izmeriti, ne moreš upravljati
Razporedil si ChatGPT Enterprise, usposobil svoje prvake in zagnal program za sprejetje tehnologije. Zdaj moraš dokazati, da deluje. Metrike imajo dve različni funkciji, ki ju ljudje pogosto zamenjujejo: vodijo vsakodnevno poslovanje in utemeljujejo proračunske odločitve. Prvi nabor pregleduj tedensko za popravljanje napak; drugi nabor pregleduj četrtletno za gradnjo svoje argumentacije. Sistem merjenja, zasnovan zgolj za drugo funkcijo, proizvaja laskave, a neuporabne številke.
Kaj že ponuja skrbniška konzola
Na načrtih Enterprise in Edu razdelek Uporaba (Usage) v skrbniški konzoli zagotavlja metrike o sprejetju. Lastniki, skrbniki in bralci statistike lahko dostopajo do teh podatkovnih točk. Zdravje svojega delovnega prostora lahko oceniš s tremi ključnimi številkami, ki zajemajo ChatGPT, Codex in Work: dodeljena mesta (brez čakajočih vabil), aktivirana mesta (uporabniki, ki so poslali vsaj eno sporočilo) in tedenski aktivni uporabniki (tisti, ki so poslali vsaj eno sporočilo v zadnjem polnem tednu).
Pregledni pogoni sledijo edinstvenim aktivnim uporabnikom, obsegu sporočil in uporabi GPT-jev, projektov ter veščin skozi čas. Pri veščinah so podatki razvrščeni po številu klicev. Če se tvoj imenik sinhronizira prek SCIM, lahko vse te podatke razčleniš po skupinah. Uporabi skupine, ki ustrezajo realnim ekipam, in vpogledi bodo takojšnji. Razdelek Vpogledi (Insights) dodaja primerjave in ankete med uporabniki, medtem ko izvoz na ravni uporabnika napaja tvoja lastna orodja.
Določi svoje cilje namesto, da bi si izposojal splošna merila. Stopnja aktivacije, ki zastane po prvem mesecu, kaže na težave z računi ali komunikacijo, ne na samo orodje. Vztrajna vrzel med aktiviranimi mesti in tedenskimi aktivnimi uporabniki signalizira, da se uporaba ne obdrži.
Česar nobena konzola ne meri
Metrike vpliva zahtevajo ankete ali dopolnilne meritve, zato jih ekipe pogosto zanemarjajo. Izračunaj prihranjen čas na nalogo s samoporočanjem ali primerjavami pred in po na dokumentiranih procesih. Oceni zaznano kakovost z enim samim vprašanjem: Ali so rezultati, proizvedeni s ChatGPT, ocenjeni kot boljši, enakovredni ali slabši? Sledenje trajno sprejetim primerom uporabe po oddelkih je boljše od teoretičnega seznama. Končno, ponovna uporaba deljenih pomočnikov določa njihovo vrednost: pomočnik, uporabljen enkrat, ni proizvedel ničesar; tisti, ki se uporablja dnevno, je sredstvo.
Za zadovoljstvo zastavi standardno interno vprašanje NPS: „Kako verjetno je, da boste ChatGPT priporočili kolegu, na lestvici od 0 do 10?” in izvedi četrtletno petvprašalno anketo, ki zajema zadovoljstvo, ovire in predloge. Prvaki zagotavljajo stalne kvalitativne povratne informacije; ta vnos prispe pred številkami in pojasni tisto, kar podatki le potrdijo.
Izgradi svojo nadzorno ploščo in ritem
Te podatke pretvori v mesečno nadzorno ploščo z uporabo Notiona, Google Sheets ali svojega orodja BI. Organiziraj jo v pet blokov: globalni pogled, ki prikazuje aktivirana mesta, tedenske aktivne uporabnike in trimesečni trend; pogled na ravni skupine z barvnim kodiranjem in pragovi, ki jih določiš; deset najboljših primerov uporabe z ocenjenim prihrankom časa; ocena NPS z dobesednimi komentarji; in ocena denarno ovrednotenega prihranka časa v primerjavi s stroški licenc.
Prilagodi ritem svojemu občinstvu. Tedensko zadoščajo surove številke za operativno upravljanje med prvaki in direktorjem za informatiko (CIO). Mesečno celotna nadzorna plošča napaja krmilni odbor. Četrtletno strateški pregled, ki vključuje donosnost naložbe (ROI) in priporočila, gre izvršnemu odboru. Predlaganje istega dokumenta vsem trem je najboljši način, da ne pritegneš nikogar.
Pošteno izračunaj prihranjen čas
To je metrika, ki jo vodstvo najbolj zahteva in jo je najtežje vzpostaviti. Samoporočanje aktivne uporabnike vpraša, koliko časa ocenjujejo, da prihranijo na teden: preprosto, a subjektivno. Analiza pred in po meri čas izvedbe za tri do pet ključnih procesov pred in po uvedbi: strogo, a omejeno na nekaj primerov. Približek uporabi povprečni prihranek časa na pogovor – recimo deset minut – pomnožen z obsegom: grobo, a razširljivo. Pošten pristop združuje vse tri: samoporočanje kaže trend, analiza pred in po ga validira na konkretnih primerih, približek pa zagotavlja velikostni razred.
Signali, ki zahtevajo ukrepanje
Štirje signali zahtevajo ukrepanje, s pragovi, ki jih določiš glede na svoj kontekst. Nizka stopnja aktivacije dva meseca po zagonu kaže, da sta tvoja komunikacija in usposabljanje odpovedala, ne da so zaposleni odporni. Tedenski aktivni uporabniki, ki so daleč pod aktiviranimi mesti, kažejo, da ljudje orodje preizkusijo, a se ne vrnejo: najdi oviro, ki je pogosto slabo izbrana uporaba. Celotna skupina brez dejavnosti nakazuje na neconvincanega vodjo ali neaktivnega prvaka; to naslovi s pogovorom, ne z avtomatiziranim opomnikom. Padajoč NPS zahteva kvalitativno anketo, preden se nezadovoljstvo razširi. Vsak signal mora sprožiti korektivno ukrepanje v dveh tednih.
Tvoja poteza
Izgradi svojo nadzorno ploščo. Izberi pet metrik: tri iz skrbniške konzole in dve iz anket. Za vsako določi prag za opozorilo in lastnika, nato pa načrtuj svoj prvi mesečni pregled s svojimi prvaki.
Uradni viri: Workspace analytics for ChatGPT Enterprise and Edu · Managing members, workspace roles, and seats in ChatGPT Enterprise and Edu · SCIM provisioning and management (Center za pomoč OpenAI)
Ključne ugotovitve
- Skrbniška konzola za Enterprise in Edu sledi dodeljenim mestom, aktiviranim mestom in tedenskim aktivnim uporabnikom, kar je mogoče razčleniti po skupini SCIM.
- Prav tako prikazuje uporabo GPT-jev, projektov in veščin; izvoz na ravni uporabnika napaja tvoja lastna orodja.
- Prihranjen čas, zaznana kakovost in NPS zahtevajo ankete: nobena konzola jih ne meri.
- Združi samoporočanje, analizo pred in po ter približek za pošten izračun prihranjenega časa.
- Določi svoje pragove za opozorila in reagiraj v dveh tednih.