Kasutuse ja mõju mõõtmine
Sellel lehel
Mida ei saa mõõta, seda ei saa juhtida
Oled ChatGPT Enterprise’i kasutusele võtnud, oma eestkõnelejad koolitanud ja kasutuselevõtu programmi käivitanud. Nüüd pead tõestama, et see toimib. Mõõdikutel on kaks erinevat funktsiooni, mida inimesed sageli omavahel segamini ajavad: need juhivad igapäevast tegevust ja põhjendavad eelarveotsuseid. Esimest komplekti vaata üle iganädalaselt paranduste tegemiseks; teist kvartaliti, et oma seisukohti põhjendada. Mõõtesüsteem, mis on loodud ainult teiseks funktsiooniks, toodab küll ilusaid, kuid kasutuid numbreid.
Mida halduskonsool juba pakub
Enterprise’i ja haridusasutuste (Edu) plaanides annab halduskonsooli jaotis „Kasutus“ (Usage) ülevaate kasutuselevõtust. Omanikud, administraatorid ja statistika lugejad pääsevad neile andmetele juurde. Saad hinnata oma tööruumi tervist kolme põhinäitaja abil, mis hõlmavad ChatGPT-d, Codexit ja Worki: määratud kasutajakohad (välja arvatud ootel kutseid), aktiveeritud kasutajakohad (kasutajad, kes on saatnud vähemalt ühe sõnumi) ja iganädalased aktiivsed kasutajad (need, kes saatsid vähemalt ühe sõnumi eelmisel täisnädalal).
Ülevaated jälgivad ainulaadseid aktiivseid kasutajaid, sõnumite mahtu ning GPT-de, projektide ja oskuste kasutust ajas. Oskuste puhul järjestatakse andmed kutsete arvu järgi. Kui sinu kataloog sünkroonitakse SCIM-i kaudu, saad kogu selle info jaotada rühmade kaupa. Kasuta rühmi, mis vastavad tegelikele meeskondadele, ja saad kohe sisukaid tulemusi. Jaotis „Ülevaated“ (Insights) lisab võrdlusi ja kasutajaküsitlusi, samas kui kasutajapõhine eksport toidab sinu enda tööriistu.
Sea oma eesmärgid ise, selle asemel et laenata üldisi võrdlusandmeid. Kui aktiveerimismäär takerdub pärast esimest kuud, viitab see probleemidele sinu kontode või kommunikatsiooniga, mitte tööriista endaga. Püsiv lõhe aktiveeritud kasutajakohtade ja iganädalaste aktiivsete kasutajate vahel annab märku, et kasutus ei ole kinnistunud.
Mida ükski konsool ei mõõda
Mõju mõõdikud nõuavad küsitlusi või täiendavaid mõõtmisi, mistõttu meeskonnad neid sageli tähelepanuta jätavad. Arvuta ülesande kohta säästetud aeg enesehindamise või dokumenteeritud protsesside võrdluse kaudu enne ja pärast kasutuselevõttu. Hinda tajutud kvaliteeti ühe küsimusega: kas ChatGPT-ga loodud tulemusi peetakse paremaks, samaväärseks või halvemaks? Püsivalt kasutusele võetud stsenaariumide jälgimine osakondade kaupa on väärtuslikum kui teoreetiline nimekiri. Lõpuks määrab jagatud assistentide taaskasutus nende väärtuse: üks kord kasutatud assistent pole midagi loonud; iga päev kasutatav on vara.
Rahulolu hindamiseks esita standardne sisemine NPS-i küsimus: „Kui tõenäoliselt soovitaksite ChatGPT-d kolleegile skaalal 0–10?“ ning vii läbi kvartaliküsitlus viie küsimusega, mis käsitlevad rahulolu, takistusi ja ettepanekuid. Eestkõnelejad annavad pidevat kvalitatiivset tagasisidet; see sisend jõuab sinuni enne numbreid ja selgitab seda, mida andmed vaid kinnitavad.
Koosta oma armatuurlaud ja rütm
Muuda need andmed igakuiseks armatuurlauaks, kasutades Notioni, Google Sheetsi või oma ärianalüüsi (BI) tööriista. Jaota see viieks plokiks: üldvaade, mis näitab aktiveeritud kasutajakohti, iganädalasi aktiivseid kasutajaid ja kolme kuu trendi; rühmatasandi vaade sinu määratud värvikoodide ja lävenditega; kümme enimkasutatud stsenaariumi hinnangulise ajasäästuga; NPS-i skoor koos sõnaliste kommentaaridega; ning monetiseeritud ajasäästu hinnang võrreldes litsentsikuludega.
Kohanda rütm oma sihtrühmale. Iganädalaselt piisab operatiivjuhtimiseks eestkõnelejate ja CIO vahel tooretest numbritest. Igakuiselt toidab täielik armatuurlaud juhtkomiteed. Kvartaliti läheb tegevjuhtkonnale strateegiline ülevaade, mis sisaldab investeeringutasuvust (ROI) ja soovitusi. Sama dokumendi esitamine kõigile kolmele rühmale on kindlaim viis mitte kedagi kaasata.
Arvuta säästetud aeg ausalt
See on mõõdik, mida juhtkond kõige rohkem nõuab ja mida on kõige raskem kindlaks teha. Enesehindamine küsib aktiivsetelt kasutajatelt, kui palju aega nad hinnanguliselt nädalas säästavad: lihtne, kuid subjektiivne. Enne-ja-pärast analüüs mõõdab täitmisaega kolmel kuni viiel võtprotsessil enne ja pärast kasutuselevõttu: range, kuid piirdub vaid mõne juhtumiga. Ligikaudne arvutus rakendab keskmist säästetud aega vestluse kohta – näiteks kümme minutit – korrutatuna mahuga: toores, kuid skaleeritav. Aus lähenemine ühendab kõik kolm: enesehindamine näitab trendi, enne-ja-pärast analüüs kinnitab seda konkreetsetel näidetel ja ligikaudne arvutus annab suurusjärgu.
Signaalid, mis nõuavad tegutsemist
Neli signaali nõuavad tegutsemist, kusjuures lävendid määrad ise oma konteksti põhjal. Madal aktiveerimismäär kaks kuud pärast käivitamist näitab, et sinu kommunikatsioon ja koolitus ebaõnnestusid, mitte et töötajad oleksid vastumeelsed. Iganädalased aktiivsed kasutajad, kes jäävad kaugele alla aktiveeritud kohtade arvule, viitavad sellele, et inimesed proovivad tööriista, kuid ei pöördu tagasi: leia takistus, mis on sageli valesti valitud stsenaarium. Terve rühma tegevusetus viitab veenmata juhile või passiivsele eestkõnelejale; lahenda see vestluse, mitte automatiseeritud meeldetuletusega. Langev NPS nõuab kvalitatiivset küsitlust enne, kui rahulolematus levib. Iga signaal peab käivitama parandusmeetmed kahe nädala jooksul.
Sinu kord
Koosta oma armatuurlaud. Vali viis mõõdikut: kolm halduskonsoolist ja kaks küsitlustest. Määra igaühele häirelävend ja vastutaja, seejärel planeeri oma esimene igakuine ülevaatus koos eestkõnelejatega.
Ametlikud allikad: Workspace analytics for ChatGPT Enterprise and Edu · Managing members, workspace roles, and seats in ChatGPT Enterprise and Edu · SCIM provisioning and management (OpenAI Help Center)
Peamised punktid
- Enterprise’i ja haridusasutuste (Edu) halduskonsool jälgib määratud kasutajakohti, aktiveeritud kasutajakohti ja iganädalasi aktiivseid kasutajaid, mida saab jaotada SCIM-i rühmade kaupa.
- See näitab ka GPT-de, projektide ja oskuste kasutust; kasutajapõhine eksport toidab sinu enda tööriistu.
- Säästetud aeg, tajutud kvaliteet ja NPS nõuavad küsitlusi: ükski konsool neid ei mõõda.
- Kombineeri enesehindamist, enne-ja-pärast analüüsi ja ligikaudset arvutust, et säästetud aega ausalt hinnata.
- Määra oma häirelävendid ja reageeri kahe nädala jooksul.