Μέτρηση χρήσης και αντίκτυπου
Σε αυτήν τη σελίδα
Αν δεν μπορείτε να το μετρήσετε, δεν μπορείτε να το διαχειριστείτε
Έχετε αναπτύξει το ChatGPT Enterprise, έχετε εκπαιδεύσει τους πρωταθλητές σας και έχετε ξεκινήσει το πρόγραμμα υιοθέτησής σας. Τώρα πρέπει να αποδείξετε ότι λειτουργεί. Οι μετρικές εξυπηρετούν δύο διακριτές λειτουργίες που οι άνθρωποι συχνά μπερδεύουν: καθοδηγούν τις καθημερινές λειτουργίες και δικαιολογούν τις αποφάσεις προϋπολογισμού. Εξετάζετε το πρώτο σύνολο εβδομαδιαία για να κάνετε διορθώσεις· εξετάζετε το δεύτερο τριμηνιαία για να χτίσετε την επιχειρηματολογία σας. Ένα σύστημα μέτρησης σχεδιασμένο μόνο για τη δεύτερη λειτουργία παράγει κολακευτικούς αλλά άχρηστους αριθμούς.
Τι παρέχει ήδη η Κονσόλα Διαχείρισης
Στα προγράμματα Enterprise και Edu, η ενότητα Χρήση (Usage) της Κονσόλας Διαχείρισης παρέχει μετρικές υιοθέτησης. Οι ιδιοκτήτες, οι διαχειριστές και οι αναγνώστες στατιστικών μπορούν να έχουν πρόσβαση σε αυτά τα σημεία δεδομένων. Μπορείτε να αξιολογήσετε την υγεία του χώρου εργασίας σας με τρεις βασικούς αριθμούς που καλύπτουν τα ChatGPT, Codex και Work: εκχωρημένες θέσεις (εξαιρουμένων των εκκρεμών προσκλήσεων), ενεργοποιημένες θέσεις (χρήστες που έχουν στείλει τουλάχιστον ένα μήνυμα) και εβδομαδιαίοι ενεργοί χρήστες (αυτοί που έστειλαν τουλάχιστον ένα μήνυμα κατά την τελευταία πλήρη εβδομάδα).
Οι προβολές επισκόπησης παρακολουθούν μοναδικούς ενεργούς χρήστες, τον όγκο μηνυμάτων και τη χρήση των GPTs, έργων και δεξιοτήτων με την πάροδο του χρόνου. Για τις δεξιότητες, τα δεδομένα κατατάσσονται ανά αριθμό κλήσεων. Εάν ο κατάλογός σας συγχρονίζεται μέσω SCIM, μπορείτε να αναλύσετε όλα αυτά τα δεδομένα ανά ομάδα. Χρησιμοποιήστε ομάδες που αντιστοιχούν σε πραγματικές ομάδες και τα συμπεράσματα θα γίνουν άμεσα εμφανή. Η ενότητα Insights (Συμπεράσματα) προσθέτει συγκρίσεις και έρευνες χρηστών, ενώ μια εξαγωγή ανά χρήστη τροφοδοτεί τα δικά σας εργαλεία.
Ορίστε τους δικούς σας στόχους αντί να δανείζεστε γενικά σημεία αναφοράς. Ένας ρυθμός ενεργοποίησης που σταματά μετά τον πρώτο μήνα υποδεικνύει προβλήματα με τους λογαριασμούς ή την επικοινωνία σας, όχι με το ίδιο το εργαλείο. Ένα επίμονο χάσμα μεταξύ ενεργοποιημένων θέσεων και εβδομαδιαίων ενεργών χρηστών σηματοδοτεί ότι η χρήση δεν παγιώνεται.
Τι δεν μετρά καμία κονσόλα
Οι μετρικές αντίκτυπου απαιτούν έρευνες ή συμπληρωματικές μετρήσεις, γι’ αυτό και οι ομάδες συχνά τις παραμελούν. Υπολογίστε τον χρόνο που εξοικονομείται ανά εργασία μέσω αυτο-αναφοράς ή συγκρίσεων πριν και μετά σε τεκμηριωμένες διαδικασίες. Αξιολογήστε την αντιλαμβανόμενη ποιότητα με μία μόνο ερώτηση: Τα παραδοτέα που παράγονται με το ChatGPT κρίνονται καλύτερα, ισοδύναμα ή χειρότερα; Η παρακολούθηση των μονίμως υιοθετημένων περιπτώσεων χρήσης ανά τμήμα υπερτερεί μιας θεωρητικής λίστας. Τέλος, η επαναχρησιμοποίηση κοινόχρηστων βοηθών καθορίζει την αξία τους: ένας βοηθός που χρησιμοποιείται μία φορά δεν έχει παράγει τίποτα· ένας που χρησιμοποιείται καθημερινά είναι ένα περιουσιακό στοιχείο.
Για την ικανοποίηση, κάντε την τυπική εσωτερική ερώτηση NPS: «Σε μια κλίμακα από 0 έως 10, πόσο πιθανό είναι να προτείνετε το ChatGPT σε έναν συνάδελφο;» και διεξάγετε μια τριμηνιαία έρευνα πέντε ερωτήσεων που καλύπτει την ικανοποίηση, τα εμπόδια και τις προτάσεις. Οι πρωταθλητές παρέχουν συνεχή ποιοτική ανατροφοδότηση· αυτή η εισροή φτάνει πριν από τους αριθμούς και εξηγεί αυτό που τα δεδομένα απλώς επιβεβαιώνουν.
Δημιουργήστε τον πίνακα ελέγχου και τον ρυθμό σας
Μετατρέψτε αυτά τα δεδομένα σε έναν μηνιαίο πίνακα ελέγχου χρησιμοποιώντας το Notion, τα Φύλλα Google ή το εργαλείο BI σας. Οργανώστε τον σε πέντε μπλοκ: μια γενική προβολή που δείχνει ενεργοποιημένες θέσεις, εβδομαδιαίους ενεργούς χρήστες και μια τάση τριών μηνών· μια προβολή ανά ομάδα με κωδικοποίηση χρωμάτων και κατώφλια που ορίζετε εσείς· τις δέκα κορυφαίες περιπτώσεις χρήσης με τον εκτιμώμενο χρόνο που εξοικονομήθηκε· τη βαθμολογία NPS με σχόλια κατά λέξη· και μια εκτίμηση του monetized χρόνου που εξοικονομήθηκε έναντι του κόστους άδειας χρήσης.
Προσαρμόστε τον ρυθμό στο κοινό σας. Εβδομαδιαία, οι ακατέργαστοι αριθμοί αρκούν για τη λειτουργική διαχείριση μεταξύ των πρωταθλητών και του CIO. Μηνιαία, ο πλήρης πίνακας ελέγχου τροφοδοτεί την επιτροπή διεύθυνσης. Τριμηνιαία, μια στρατηγική αναθεώρηση με ROI και συστάσεις πηγαίνει στην εκτελεστική επιτροπή. Η παροχή του ίδιου εγγράφου και στους τρεις είναι ο καλύτερος τρόπος για να μην εμπλακεί κανείς από αυτούς.
Υπολογίστε τον χρόνο που εξοικονομείται με ειλικρίνεια
Αυτή είναι η μετρική που η διοίκηση απαιτεί περισσότερο και η πιο δύσκολη στην καθιέρωση. Η αυτο-αναφορά ζητά από τους ενεργούς χρήστες να εκτιμήσουν πόσο χρόνο εξοικονομούν ανά εβδομάδα: απλό, αλλά υποκειμενικό. Η ανάλυση πριν και μετά μετρά τον χρόνο εκτέλεσης για τρεις έως πέντε βασικές διαδικασίες πριν και μετά την υιοθέτηση: αυστηρή, αλλά περιορισμένη σε λίγες περιπτώσεις. Η προσέγγιση εφαρμόζει έναν μέσο χρόνο που εξοικονομείται ανά συνομιλία—ας πούμε, δέκα λεπτά—πολλαπλασιασμένο με τον όγκο: πρόχειρη, αλλά κλιμακώσιμη. Η ειλικρινής προσέγγιση συνδυάζει και τα τρία: η αυτο-αναφορά δείχνει την τάση, η ανάλυση πριν και μετά την επικυρώνει σε συγκεκριμένα παραδείγματα και η προσέγγιση παρέχει την τάξη μεγέθους.
Σήματα που απαιτούν δράση
Τέσσερα σήματα απαιτούν δράση, με κατώφλια που ορίζετε εσείς βάσει του πλαισίου σας. Ένας χαμηλός ρυθμός ενεργοποίησης δύο μήνες μετά την εκκίνηση δείχνει ότι η επικοινωνία και η εκπαίδευσή σας απέτυχαν, όχι ότι οι εργαζόμενοι είναι ανυπότακτοι. Οι εβδομαδιαίοι ενεργοί χρήστες πολύ κάτω από τις ενεργοποιημένες θέσεις υποδεικνύουν ότι οι άνθρωποι δοκιμάζουν το εργαλείο αλλά δεν επιστρέφουν: βρείτε το εμπόδιο, συχνά μια κακώς επιλεγμένη περίπτωση χρήσης. Μια ολόκληρη ομάδα χωρίς δραστηριότητα υποδηλώνει έναν μη πεπεισμένο διευθυντή ή έναν ανενεργό πρωταθλητή· αντιμετωπίστε το με μια συζήτηση, όχι με μια αυτοματοποιημένη υπενθύμιση. Ένα μειούμενο NPS απαιτεί ποιοτική έρευνα πριν εξαπλωθεί η δυσαρέσκεια. Κάθε σήμα πρέπει να πυροδοτεί διορθωτική δράση εντός δύο εβδομάδων.
Η σειρά σας
Δημιουργήστε τον πίνακα ελέγχου σας. Επιλέξτε πέντε μετρικές: τρεις από την Κονσόλα Διαχείρισης και δύο από έρευνες. Ορίστε ένα κατώφλι ειδοποίησης και έναν υπεύθυνο για καθεμία, στη συνέχεια προγραμματίστε την πρώτη σας μηνιαία αναθεώρηση με τους πρωταθλητές σας.
Επίσημες πηγές: Workspace analytics for ChatGPT Enterprise and Edu · Managing members, workspace roles, and seats in ChatGPT Enterprise and Edu · SCIM provisioning and management (Κέντρο Βοήθειας OpenAI)
Βασικά σημεία
- Η Κονσόλα Διαχείρισης Enterprise και Edu παρακολουθεί τις εκχωρημένες θέσεις, τις ενεργοποιημένες θέσεις και τους εβδομαδιαίους ενεργούς χρήστες, με δυνατότητα ανάλυσης ανά ομάδα SCIM.
- Εμφανίζει επίσης τη χρήση των GPTs, έργων και δεξιοτήτων· μια εξαγωγή ανά χρήστη τροφοδοτεί τα δικά σας εργαλεία.
- Ο χρόνος που εξοικονομείται, η αντιλαμβανόμενη ποιότητα και το NPS απαιτούν έρευνες: καμία κονσόλα δεν τα μετρά.
- Συνδυάστε την αυτο-αναφορά, την ανάλυση πριν και μετά και την προσέγγιση για να υπολογίσετε ειλικρινά τον χρόνο που εξοικονομείται.
- Ορίστε τα δικά σας κατώφλια ειδοποίησης και αντιδράστε εντός δύο εβδομάδων.