Измерване на употребата и въздействието
На тази страница
Ако не можете да го измерите, не можете да го управлявате
Вече внедрихте ChatGPT Enterprise, обучихте своите шампиони и стартирахте програмата си за адаптация. Сега трябва да докажете, че тя работи. Метриките изпълняват две различни функции, които хората често бъркат: те насочват ежедневните операции и обосновават бюджетните решения. Преглеждайте първия набор седмично, за да правите корекции; преглеждайте втория тримесечно, за да изградите своята обосновка. Система за измерване, проектирана само за втората функция, произвежда ласкави, но безполезни числа.
Какво вече предоставя Административната конзола
При плановете Enterprise и Edu разделът „Usage“ (Употреба) в Административната конзола предоставя метрики за адаптацията. Собствениците, администраторите и читателите на статистика имат достъп до тези точки с данни. Можете да оцените здравето на работното си пространство чрез три ключови фигури, обхващащи ChatGPT, Codex и Work: разпределени места (с изключение на чакащите покани), активирани места (потребители, които са изпратили поне едно съобщение) и седмично активни потребители (тези, които са изпратили поне едно съобщение през последната пълна седмица).
Прегледите на общата картина проследяват уникалните активни потребители, обема на съобщенията и използването на GPTs, проекти и умения във времето. За уменията данните се класират по брой извиквания. Ако вашият директорий се синхронизира чрез SCIM, можете да разбивате всички тези данни по групи. Използвайте групи, които съответстват на реални екипи, и прозренията ще станат непосредствени. Разделът „Insights“ (Прозрения) добавя сравнения и потребителски проучвания, докато експортът на ниво потребител захранва вашите собствени инструменти.
Задайте свои собствени цели, вместо да заемате общи бенчмарки. Стагниращ процент на активация след първия месец сочи проблеми с вашите акаунти или комуникация, а не със самия инструмент. Постоянна разлика между активираните места и седмично активните потребители сигнализира, че употребата не се задържа.
Какво не измерва нито една конзола
Метриките за въздействие изискват проучвания или допълнителни измервания, затова екипите често ги пренебрегват. Изчислете спестеното време на задача чрез самоотчитане или сравнения „преди и след“ върху документирани процеси. Оценете възприеманото качество с един въпрос: Доставките, произведени с ChatGPT, оценяват ли се като по-добри, еквивалентни или по-лоши? Проследяването на трайно възприетите случаи на употреба по отдели е по-ценно от теоретичен списък. Накрая, повторното използване на споделени асистенти определя тяхната стойност: асистент, използван веднъж, не е произвел нищо; такъв, използван ежедневно, е актив.
За удовлетвореността задайте стандартния вътрешен въпрос за NPS: „По скала от 0 до 10, колко е вероятно да препоръчате ChatGPT на колега?“ и провеждайте тримесечно проучване от пет въпроса, обхващащо удовлетвореността, пречките и предложенията. Шампионите осигуряват непрекъсната качествена обратна връзка; този вход пристига преди числата и обяснява онова, което данните само потвърждават.
Изградете своя таблото с показатели и ритъм
Трансформирайте тези данни в месечно табло за управление, използвайки Notion, Google Sheets или вашия BI инструмент. Организирайте го в пет блока: глобален изглед, показващ активираните места, седмично активните потребители и тренд за три месеца; изглед на ниво група с цветово кодиране и прагове, които дефинирате вие; топ десет случая на употреба с оценено спестено време; резултатът от NPS с дословни коментари; и оценка на монетизираното спестено време спрямо разходите за лицензи.
Коригирайте ритъма според аудиторията си. Седмично, суровите числа са достатъчни за оперативно управление между шампионите и ИТ директора (CIO). Месечно, пълното табло за управление захранва управителния съвет. Тримесечно, стратегически преглед, включващ ROI и препоръки, отива при изпълнителния комитет. Подаването на един и същи документ и на трите групи е най-сигурният начин да не ангажирате нито една от тях.
Изчислете спестеното време честно
Това е метриката, която мениджмънтът изисква най-често и която е най-трудна за установяване. Самоотчитането пита активните потребители колко време оценяват, че спестяват на седмица: просто, но субективно. Анализът „преди и след“ измерва времето за изпълнение на три до пет ключови процеса преди и след внедряването: стриктно, но ограничено до няколко случая. Приближението прилага средно спестено време на разговор – да речем, десет минути – умножено по обема: грубо, но мащабируемо. Честният подход комбинира и трите: самоотчитането показва тренда, анализът „преди и след“ го валидира върху конкретни примери, а приближението предоставя порядъка на величината.
Сигнали, изискващи действие
Четири сигнала изискват действие, с прагове, които задавате въз основа на вашия контекст. Нисък процент на активация два месеца след старта показва, че вашата комуникация и обучение са се провалили, а не че служителите са съпротивляващи се. Седмично активните потребители, значително под активираните места, показват, че хората пробват инструмента, но не се връщат: открийте пречката, често лошо избран случай на употреба. Цяла група без активност предполага неубеден мениджър или неактивен шампион; адресирайте това с разговор, а не с автоматично напомняне. Падащ NPS изисква качествено проучване, преди недоволството да се разпространи. Всеки сигнал трябва да задейства коригиращо действие в рамките на две седмици.
Ваш ред е
Изградете своето табло за управление. Изберете пет метрики: три от Административната конзола и две от проучвания. Задайте праг за предупреждение и отговорник за всяка от тях, след което насрочете първия си месечен преглед с вашите шампиони.
Официални източници: Workspace analytics for ChatGPT Enterprise and Edu · Managing members, workspace roles, and seats in ChatGPT Enterprise and Edu · SCIM provisioning and management (OpenAI Help Center)
Ключови изводи
- Административната конзола за Enterprise и Edu проследява разпределените места, активираните места и седмично активните потребители, с възможност за разбивка по SCIM група.
- Тя също така показва употребата на GPTs, проекти и умения; експорт на ниво потребител захранва вашите собствени инструменти.
- Спестеното време, възприеманото качество и NPS изискват проучвания: нито една конзола не ги измерва.
- Комбинирайте самоотчитане, анализ „преди и след“ и приближение, за да изчислите спестеното време честно.
- Задайте свои собствени прагове за предупреждение и реагирайте в рамките на две седмици.