Kaip išmatuoti naudojimą ir poveikį
Šiame puslapyje
Ko negalima išmatuoti, tuo negalima ir valdyti
Jau diegėte „ChatGPT Enterprise“, apmokėte savo lyderius ir paleidote priėmimo programą. Dabar turite įrodyti, kad tai veikia. Metrikos atlieka dvi skirtingas funkcijas, kurias žmonės dažnai painioja: jos padeda valdyti kasdienę veiklą ir pagrįsti biudžeto sprendimus. Pirmąją rinkinį peržiūrėkite kas savaitę, kad atliktumėte korekcijas; antrąjį – kas ketvirtį, kad sustiprintumėte savo argumentus. Matavimo sistema, sukurta tik antrajai funkcijai, pateikia gražius, bet nenaudingus skaičius.
Ką jau teikia administratoriaus konsolė
„Enterprise“ ir „Edu“ planuose administratoriaus konsolės skiltyje „Naudojimas“ (Usage) pateikiami priėmimo rodikliai. Šiais duomenimis gali naudotis savininkai, administratoriai ir statistikos skaitytojai. Savo darbo srities būklę galite įvertinti pagal tris pagrindinius rodiklius, apimančius „ChatGPT“, „Codex“ ir „Work“: priskirtas vietas (neįskaitant laukiančių pakvietimų), aktyvuotas vietas (vartotojai, kurie išsiuntė bent vieną žinutę) ir savaitės aktyvius vartotojus (tie, kurie išsiuntė bent vieną žinutę per praėjusią pilną savaitę).
Apžvalgos rodiniai stebi unikalius aktyvius vartotojus, žinučių apimtį bei „GPT“, projektų ir įgūdžių naudojimą laikui bėgant. Įgūdžių duomenys rūšiuojami pagal jų panaudojimo kartų skaičių. Jei jūsų katalogas sinchronizuojamas per SCIM, visus šiuos duomenis galite suskirstyti pagal grupes. Naudokite grupes, atitinkančias realias komandas, ir įžvalgos bus akivaizdžios iškart. Skiltis „Įžvalgos“ (Insights) pateikia palyginimus ir vartotojų apklausas, o eksportas vienam vartotojui leidžia duomenis perkelti į jūsų pačių įrankius.
Nustatykite savo tikslus, o nesiremkite bendrais lyginamaisiais rodikliais. Jei aktyvacijos rodiklis sustoja po pirmojo mėnesio, tai rodo problemas su paskyromis ar komunikacija, o ne su pačiu įrankiu. Nuolatinis skirtumas tarp aktyvuotų vietų ir savaitės aktyvių vartotojų signalizuoja, kad naudojimas neįsitvirtina.
Ko nematuoja jokia konsolė
Poveikio metrikoms reikia apklausų arba papildomų matavimų, todėl komandos jas dažnai nepaiso. Apskaičiuokite sutaupytą laiką vienai užduočiai naudodami savianalizę arba palyginimus „prieš ir po“ dokumentuotuose procesuose. Įvertinkite suvokiamą kokybę vienu klausimu: ar „ChatGPT“ pagalba sukurti rezultatai vertinami kaip geresni, tokie patys ar prastesni? Stebėti ilgalaikius naudojamus atvejus pagal skyrius yra efektyviau nei remtis teoriniu sąrašu. Galiausiai, bendrinamų asistentų pakartotinis naudojimas lemia jų vertę: asistentas, panaudotas vieną kartą, nieko nesukūrė; tas, kuris naudojamas kasdien, yra turtas.
Norėdami įvertinti pasitenkinimą, užduokite standartinį vidinį NPS klausimą: „Nuo 0 iki 10, kokia tikimybė, kad rekomenduotumėte „ChatGPT“ kolegai?” ir kas ketvirtį atlikite penkių klausimų apklausą, apimančią pasitenkinimą, kliūtis ir pasiūlymus. Lyderiai teikia nuolatinę kokybinę grįžtamąją informaciją; šie duomenys gaunami anksčiau nei skaičiai ir paaiškina tai, ką duomenys tik patvirtina.
Sukurkite savo skydelį ir ritmą
Paverskite šiuos duomenis mėnesiniu skydeliu naudodami „Notion“, „Google Sheets“ arba savo BI įrankį. Suskirstykite jį į penkis blokus: bendrą vaizdą, rodantį aktyvuotas vietas, savaitės aktyvius vartotojus ir trijų mėnesių tendenciją; grupių lygio vaizdą su jūsų nustatytu spalviniu kodavimu ir slenksčiais; dešimt dažniausiai pasitaikančių naudojimo atvejų su įvertintu sutaupytu laiku; NPS balą su tiesioginiais komentarais; ir monetizuoto sutaupyto laiko įvertinimą, palyginti su licencijų kaštais.
Pritaikykite ritmą savo auditorijai. Savaitinis, žaliavinių skaičių pakanka operaciniam valdymui tarp lyderių ir CIO. Mėnesinis, pilnas skydelis skirtas vairavimo komitetui. Ketvirtinis, strateginis peržiūrėjimas, kuriame pateikiamas ROI ir rekomendacijos, skirtas vykdomajam komitetui. To paties dokumento teikimas visoms trims grupėms yra geriausias būdas neįtraukti nė vienos iš jų.
Sąžiningai apskaičiuokite sutaupytą laiką
Tai metrika, kurios labiausiai reikalauja vadovybė ir kurią sunkiausia nustatyti. Savianalizė klausia aktyvių vartotojų, kiek laiko, jų manymu, jie sutaupo per savaitę: paprasta, bet subjektyvu. Analizė „prieš ir po“ matuoja vykdymo laiką trims–penkiems pagrindiniams procesams prieš ir po diegimo: griežta, bet apribota keliais atvejais. Apytikslis skaičiavimas taiko vidutinį sutaupytą laiką vienam pokalbiui – tarkime, dešimt minučių – padaugintą iš apimties: grubu, bet masteliuojama. Sąžiningas požiūris sujungia visus tris: savianalizė rodo tendenciją, analizė „prieš ir po“ ją patvirtina konkrečiais pavyzdžiais, o apytikslis skaičiavimas suteikia dydžio eilę.
Signalai, reikalaujantys veiksmų
Yra keturi signalai, reikalaujantys veiksmų, kurių slenksčius nustatote pagal savo kontekstą. Žemas aktyvacijos rodiklis praėjus dviem mėnesiams po paleidimo rodo, kad jūsų komunikacija ir mokymai žlugo, o ne tai, kad darbuotojai priešinasi. Savaitės aktyvūs vartotojai, gerokai mažesni už aktyvuotas vietas, rodo, kad žmonės išbando įrankį, bet negrįžta: raskite kliūtį, dažnai tai būna netinkamai parinktas naudojimo atvejis. Visa grupė be veiklos rodo neįtikintą vadovą arba neaktyvų lyderį; spręskite tai pokalbiu, o ne automatiniu priminimu. Krentantis NPS reikalauja kokybinės apklausos, kol nepasitenkinimas išplis. Kiekvienas signalas turi sukelti taisomuosius veiksmus per dvi savaites.
Jūsų eilė
Sukurkite savo skydelį. Pasirinkite penkis rodiklius: tris iš administratoriaus konsolės ir du iš apklausų. Nustatykite įspėjimo slenkstį ir atsakingą asmenį kiekvienam iš jų, tada suplanuokite savo pirmąją mėnesinę peržiūrą su savo lyderiais.
Oficialūs šaltiniai: Workspace analytics for ChatGPT Enterprise and Edu · Managing members, workspace roles, and seats in ChatGPT Enterprise and Edu · SCIM provisioning and management („OpenAI Help Center“)
Svarbiausi punktai
- „Enterprise“ ir „Edu“ administratoriaus konsolė stebi priskirtas vietas, aktyvuotas vietas ir savaitės aktyvius vartotojus, kuriuos galima suskirstyti pagal SCIM grupes.
- Ji taip pat rodo „GPT“, projektų ir įgūdžių naudojimą; eksportas vienam vartotojui leidžia duomenis perkelti į jūsų pačių įrankius.
- Sutaupytas laikas, suvokiama kokybė ir NPS reikalauja apklausų: jokia konsolė jų nematuoja.
- Norint sąžiningai apskaičiuoti sutaupytą laiką, derinkite savianalizę, analizę „prieš ir po“ bei apytikslį skaičiavimą.
- Nustatykite savo įspėjimo slenksčius ir reaguokite per dvi savaites.