A használat és a hatás mérése
Ezen az oldalon
Amit nem tudsz mérni, azt irányítani sem tudod
Bevezetted a ChatGPT Enterprise rendszert, kiképezted a bajnokaidat, és elindítottad a bevezetési programot. Most be kell bizonyítanod, hogy működik. A mutatóknak két eltérő funkciója van, amit az emberek gyakran összekevernek: iránymutatást adnak a napi működéshez, és alátámasztják a költségvetési döntéseket. Az első csoportot hetente vizsgáld felül a korrekciók érdekében; a másodikat negyedévente, hogy felépítsd az érvelésedet. Ha egy mérőrendszert kizárólag a második funkcióra tervezel, az hízelgő, de haszontalan számokat eredményez.
Amit az Admin Console már biztosít
Enterprise és Edu csomagok esetén az Admin Console Használat (Usage) szekciója bevezetési mutatókat szolgáltat. A tulajdonosok, rendszergazdák és a statisztikák olvasására jogosultak férhetnek hozzá ezekhez az adatpontokhoz. Három kulcsfontosságú számmal mérheted fel a munkaterületed egészségét, lefedve a ChatGPT-t, a Codexet és a Work funkciót: kiosztott licencek (a függőben lévő meghívók nélkül), aktivált licencek (azon felhasználók, akik legalább egy üzenetet küldtek), és heti aktív felhasználók (azon személyek, akik az utolsó teljes héten legalább egy üzenetet küldtek).
Az áttekintő nézetek nyomon követik az egyedi aktív felhasználókat, az üzenetek volumenét, valamint a GPT-k, projektek és készségek (skills) használatát az idő függvényében. A készségek esetében az adatok a meghívások száma alapján rangsorolnak. Ha a címtárad SCIM-en keresztül szinkronizál, ezeket az adatokat csoportokra bontva is elemezheted. Használj valós csapatoknak megfelelő csoportokat, és az insights azonnal hasznosíthatóvá válik. Az Insights (Elemzések) szekció összehasonlításokat és felhasználói felméréseket ad hozzá, míg a felhasználónkénti export a saját eszközeidet táplálja.
Tűzz ki saját célokat a generikus irányszámok átvétele helyett. Ha az aktiválási arány az első hónap után megtorpan, az a fiókokkal vagy a kommunikációddal kapcsolatos problémára utal, nem magára az eszközre. Az aktivált licencek és a heti aktív felhasználók közötti tartós rés azt jelzi, hogy a használat nem rögzül.
Amit egyetlen konzol sem mér
A hatásmutatók felméréseket vagy kiegészítő méréseket igényelnek, ezért hagyják ezeket a csapatok gyakran figyelmen kívül. Számítsd ki a feladatonként megtakarított időt önbevallás vagy dokumentált folyamatok előtte-utána összehasonlítása révén. Értékeld a vélt minőséget egyetlen kérdéssel: A ChatGPT-vel készült deliverable-eket jobbnak, egyenértékűnek vagy rosszabbnak ítélik meg? A tartósan adoptált használati esetek nyomon követése osztályonként felülmúl egy elméleti listát. Végül a megosztott asszisztensek újrafelhasználása határozza meg az értéküket: egy egyszer használt asszisztens semmit sem termelt; egy naponta használt eszköz viszont vagyon.
Az elégedettség mérésére tedd fel a szabványos belső NPS kérdést: „0 és 10 közötti skálán mennyire valószínű, hogy ajánlanád a ChatGPT-t egy kollégádnak?“, és végezz negyedévente egy öt kérdésből álló felmérést, amely kiterjed az elégedettségre, a akadályozó tényezőkre és a javaslatokra. A bajnokok folyamatos minőségi visszajelzést biztosítanak; ez a bemenet a számok előtt érkezik, és megmagyarázza azt, amit az adatok csak megerősítenek.
Építsd fel a műszerfaladat és a ritmusodat
Alakítsd át ezeket az adatokat havi műszerfallá a Notion, a Google Sheets vagy a BI eszközöd segítségével. Öt blokkra szervezd: egy globális nézet, amely mutatja az aktivált licenceket, a heti aktív felhasználókat és a háromhavi trendet; egy csoportszintű nézet általad definiált színkódolással és küszöbértékekkel; a tíz legfontosabb használati eset a becsült időmegtakarítással; az NPS-pontszám szó szerinti kommentárokkal; valamint a monetizált időmegtakarítás becslése a licencdíjakkal szemben.
Igazítsd a ritmust a közönségedhez. Hetente a nyers számok elegendők a bajnokok és a CIO közötti operatív irányításhoz. Havonta a teljes műszerfal táplálja az irányító bizottságot. Negyedévente egy stratégiai áttekintés, amely kiemeli a ROI-t és ajánlásokat tesz, kerül az ügyvezető bizottság elé. Ugyanazon dokumentum szolgálata mindhárom csoport számára a legjobb módja annak, hogy egyiküket se vond be igazán.
Számítsd őszintén a megtakarított időt
Ez az a mutató, amelyet a menedzsment leginkább követel, és a legnehezebb megállapítani. Az önbevallás megkérdezi az aktív felhasználókat, mennyi időt becslésük szerint takarítanak meg hetente: egyszerű, de szubjektív. Az előtte-utána elemzés méri a végrehajtási időt három-öt kulcsfontosságú folyamatnál a bevezetés előtt és után: alapos, de néhány esetre korlátozódik. A közelítés egy átlagos, beszélgetésenként megtakarított időt alkalmaz – mondjuk tíz percet –, megszorozva a volumennel: durva, de skálázható. Az őszinte megközelítés mindhármat kombinálja: az önbevallás mutatja a trendet, az előtte-utána elemzés konkrét példákon validálja azt, a közelítés pedig megadja a nagyságrendet.
Intézkedést igénylő jelek
Négy jel igényel intézkedést, olyan küszöbértékekkel, amelyeket a kontextusod alapján te állítasz be. Az alacsony aktiválási arány két hónappal az indítás után azt mutatja, hogy a kommunikációd és a képzésed kudarcot vallott, nem pedig azt, hogy az alkalmazottak ellenállóak. A heti aktív felhasználók száma, amely jóval az aktivált licencek alatt marad, azt jelzi, hogy az emberek kipróbálják az eszközt, de nem térnek vissza: keresd meg az akadályt, ami gyakran egy rosszul megválasztott használati eset. Egy egész csoport aktivitásának hiánya meggyőzetlen menedzserre vagy inaktív bajnokra utal; ezt beszélgetéssel oldd meg, nem automatikus emlékeztetővel. A csökkenő NPS minőségi felmérést igényel, mielőtt az elégedetlenség továbbterjed. Minden egyes jelnek két héten belül korrekciós intézkedést kell kiváltania.
Rajtad a sor
Építsd fel a műszerfaladat. Válassz öt mutatót: hármat az Admin Console-ból és kettőt felmérésekből. Állíts be riasztási küszöbértéket és felelőst mindegyikhez, majd ütemezd be az első havi áttekintést a bajnokaiddal.
Hivatalos források: Workspace analytics for ChatGPT Enterprise and Edu · Managing members, workspace roles, and seats in ChatGPT Enterprise and Edu · SCIM provisioning and management (OpenAI Help Center)
Főbb megállapítások
- Az Enterprise és Edu Admin Console nyomon követi a kiosztott, az aktivált licenceket és a heti aktív felhasználókat, amelyek SCIM-csoportok szerint bonthatók.
- Megjeleníti a GPT-k, projektek és készségek használatát is; a felhasználónkénti export a saját eszközeidet táplálja.
- A megtakarított idő, a vélt minőség és az NPS felméréseket igényel: egyetlen konzol sem méri ezeket.
- Kombináld az önbevallást, az előtte-utána elemzést és a közelítést a megtakarított idő őszinte kiszámításához.
- Állítsd be a saját riasztási küszöbértékeidet, és reagálj két héten belül.