Pedagoginio poveikio vertinimas
Šiame puslapyje
Kodėl vertinti?
Diegti „ChatGPT“ nematuojant jo poveikio – tai kaip plaukti be kompaso. Finansuotojams, susirūpinusiems tėvams ir patiems mokytojams reikia duomenų, kad pateisintų pastangas, koreguotų praktiką ir įrodytų (arba paneigtų) įrankio pridėtinę vertę. Posėdyje su mokyklos taryba ar tėvų susirinkime frazė „atrodo, kad mokiniai labiau motyvuoti“ neišsilaikys nė trijų minučių. Tau reikia laike surinktų duomenų.
Keturi poveikio matmenys
Klasikinė klaida – žiūrėti tik į pažymius. Pedagoginis poveikis vertinamas keturiais papildomais aspektais. Pirma, rezultatai – pažymiai, įgyti įgūdžiai, pažanga. Tai labiausiai laukiamas, bet toli gražu ne vienintelis aspektas. Antra – įsitraukimas: motyvacija, dalyvavimas, lankomumas. Klasė, kurioje užduodama daugiau klausimų ir pateikiama daugiau darbų, jau pasikeitė, net jei vidurkiai dar nejuda.
Trečiasis, pernelyg dažnai pamirštamas aspektas – lygybė: ar įrankis mažina skirtumus tarp mokinių, ar naudingas tik tiems, kurie ir taip gerai mokėsi? Tau nebūtina patikti atsakymas, tačiau jo nebuvimas griovė viso vertinimo patikimumą. Galiausiai, mokytojų efektyvumas užbaigia ciklą, sutelkiant dėmesį į sutaupytą laiką ir krūvį. Projektas, gerinantis rezultatus, bet išsekiantis darbuotojus, nėra tvarus success.
Vertinimo metodai
Kiekybinė pusė
Tiesiogiausias būdas – palyginti rezultatus prieš ir po, taikant eksperimentinius protokolus: vienos klasės naudoja įrankį, kitos – ne (idealu, kad mokytojas būtų tas pats, siekiant neutralizuoti „mokytojo efektą“). Bandomąjį laikotarpį vykdyk bent vieną trimestrą ir kontroliuok painiojančius kintamuosius, pavyzdžiui, pradinį įgūdžių lygį. Be lyginamosios grupės niekada nesužinosi, ar pagerėjimą lėmė įrankis, ar kažkas kita.
Valdomoje „Enterprise“ arba „Edu“ darbo aplinkoje administravimo skydelis suteikia antrąjį duomenų šaltinį: aktyvūs naudotojai, žinutės ir projektai, suskirstyti pagal grupes. Šie skaičiai pasakoja apie realų įsisavinimą. Skaityk juos grupės, o ne individualiu mokiniu lygmeniu: valdymo įrankis nėra stebėjimo įrankis, o CNIL (Prancūzijos duomenų apsaugos institucija) tikisi, kad šeimos žinotų, kas yra stebima. Naudojimui be paskyrų įsisavinimą matuok apklausomis.
Trečioji grupė stebi pažangą laikui bėgant: formuojamojo vertinimo išlaikymo rodikliai, pratimų skaičius, reikalingas sąvokai įvaldyti, ir praktikuojamų įgūdžių įvairovė. Čia matysi, ar įrankis tikrai pagreitina mokymąsi, ar tik daro jį patogesnį.
Kokybinė pusė
Skaičiai nepasakoja visos istorijos. Trumpos apklausos papildo vaizdą trimis auditorijoms. Mokytojams: ar įrankis taupo jiems pasiruošimo laiką ir kurie naudojimo būdai jų dalyke yra efektyviausi? Mokiniams: ar jis padeda suprasti ir ar jie jaučiasi savarankiškesni? Tėvams: ar jie pastebi pokyčių vaiko požiūryje į mokslus ir ar jie turi rūpesčių – klausimą visada geriau užduoti nei leisti jam pūliuoti. Šias apklausas laikyk anoniminėmis ir klausk tik to, kas būtina.
Pridėk stebėjimus pamokose, nes dešimt minučių stebėjimo kartais atskleidžia tai, ko neužfiksuoja jokia anketa. Ar įrankis skatina mainus tarp mokinių, ar juos pakeičia? Ar besunkiai besimokantys mokiniai gauna daugiau naudos nei kiti?
Prietaisų skydelio kūrimas
Geras prietaisų skydelis yra glaustas: penki–aštuoni rodikliai, ne daugiau, kitaip jo niekas neskaito. Štai subalansuotas pasirinkimas; išsirink tai, kas tinka tavo kontekstui:
| Rodiklis | Šaltinis | Dažnumas |
|---|---|---|
| Mokytojų, naudojančių įrankį, dalis | Apklausa arba valdomos darbo aplinkos konsolė | Kas mėnesį |
| Pažanga tiksliniuose vertinimuose | Klasės vertinimai | Kas ketvirtį |
| Mokytojų ir mokinių pasitenkinimas | Anoniminė apklausa | Kas ketvirtį |
| Atotrūkis tarp besunkiai besimokančių ir kitų mokinių | Klasės vertinimai | Kas pusmetį |
| Mokytojų pasiruošimo laikas | Apklausa | Kas ketvirtį |
Ataskaitų teikimo ritmas priklauso nuo auditorijos: mėnesinė santrauka vadovybei, ketvirtinė atnaujinta informacija steering komitetui ir metinė apžvalga darbuotojams bei šeimoms. Šiuos terminus įtrauk į kalendorių mokslo metų pradžioje: neplanuotas duomenų rinkimas niekada neįvyksta.
Kas gali iškraipyti tavo išvadas
Trys šališkumai kelia grėsmę bet kokiam poveikio vertinimui. Pirmasis – painiojama koreliacija su priežastingumu: jei rezultatai pagerėja įdiegus įrankį, niekas neįrodo, kad būtent jis lėmė pokytį, nes atsinaujinusi mokytojų motyvacija ar didesnis dėmesys klasei dažnai paaiškina dalį pagerėjimo. Antrasis – Hоторno efektas, kai dalyviai keičia savo elgesį vien todėl, kad žino esą stebimi: pilotinių projektų rezultatus ekstrapoliuok atsargiai. Trečiasis – vertinimas per vėlai: tarpiniai patikrinimai leidžia koreguoti veiksmus, kol dar yra laiko.
Rezultatų komunikavimas
Tie patys duomenys skirtingoms auditorijoms pasakoja skirtingas istorijas. Vadovybei ir valdymo organams pristatyk įsisavinimo rodiklius, išmatuotus efektus ir palyginimą tarp naudojimo su įrankiu ir be jo. Mokytojams parodyk poveikį mokymuisi ir platink kolegų liudijimus, nes vienas įtikintas kolega sveria daugiau nei dešimt grafikų. Šeimoms kalbėk apie pastebėtą pažangą ir taikomas apsaugos priemones. Mokiniams parodyk jų pačių pažangą.
Dalinkis ir tuo, kas neveikia: skaidrumas dėl silpnųjų vietų sustiprina viso kito patikimumą. Ir savo ketvirtinę ataskaitą apribok vienu puslapiu: viršijus šią ribą, ji tampa priedu, kurio niekas neatidaro.
Tavo eilė
Sukurk savo prietaisų skydelį.
- Atrink penkis rodiklius, apimančius rezultatus, įsitraukimą, lygybę ir mokytojų laiką
- Kiekvienam nurodyk šaltinį ir duomenų rinkimo dažnumą
- Pareng tris trumpas, anonimiškas apklausas: mokytojams, mokiniams ir šeimoms
- Suplanuok lyginamąją grupę ir vertinimo trukmę
- Įtrauk ataskaitų teikimo terminus į metinį kalendorių
Oficialūs šaltiniai: Workspace analytics for ChatGPT Enterprise and Edu („OpenAI Help Center“) · Mokytojas: Kaip naudoti DI sistemą atliekant savo pareigas? · Duomenų valdytojas: Kaip diegti DI sistemas švietime? (CNIL) · Dirbtinis intelektas ir jo naudojimas švietime (éduscol)
Svarbiausi punktai
- Poveikio vertinimas pateisina ir tobulina projektą
- Keturi matmenys: rezultatai, įsitraukimas, lygybė, mokytojų laikas
- Konsolės statistika skaitoma grupių lygmeniu, niekada kaip individualus stebėjimas
- Penkių–aštuonių rodiklių prietaisų skydelio pakanka
- Saugokis painioti koreliaciją su priežastingumu ir Hоторno efekto
Patikrink savo žinias
Penki klausimai, apimantys kursą – nuo mokyklos sistemos iki poveikio vertinimo.
1. Kuris „OpenAI“ pasiūlymas skirtas Prancūzijos mokyklai?
Atsakymas: Nė vienas. „ChatGPT for Teachers“ skirtas tik Jungtinių Valstijų mokytojams, o „ChatGPT Edu“ visų pirma taikomas aukštajam mokslui. Prancūzijos mokykloje naudok „ChatGPT“ laikydamiesi ministerijos naudojimo gairių ir CNIL taisyklių.
2. Nuo kurios klasės mokiniai gali naudoti „ChatGPT“ pamokose?
Atsakymas: Nuo 8 klasės (apytiksliai 13–14 metų), ribotai, prižiūrint, paaiškinant ir remiant; vidurinėje mokykloje – savarankiškai, pagal mokytojo nustatytą sistemą. „ChatGPT“ taip pat reikalauja, kad naudotojai būtų sulaukę 13 metų, o iki 18 metų reikia tėvų sutikimo.
3. Kaip galima organizuoti mokinių darbą nereikalaujant paskyros?
Atsakymas: Mokyklos įrenginyje, naudojant „ChatGPT“ be paskyros (prieinama Europoje): mokymosi nustatymas išjungtas, jokių asmens duomenų, prieiga išbandyta mokyklos tinkle, šeimos informuotos ir gautas sutikimas.
4. Ką vertinant galima patikėti įrankiui?
Atsakymas: Pasiruošimą – klausimus, remediaciją, vertinimo kriterijus – ir formuojamąjį grįžtamąjį ryšį. Niekada – pažymio ar sankcijos: CNIL primena, kad mokytojai nedeleguoja savo vertinimo galios, o „OpenAI“ nerekomenduoja priimti jokių vertinimo sprendimų be žmogaus įsitraukimo.
5. Kaip vertinti pedagoginį poveikį, o ne tik paprastą įsisavinimą?
Atsakymas: Stebint mokymosi rodiklius – pažangą, įsitraukimą, atotrūkius tarp mokinių – su lyginamąja grupe, o ne tik naudojimo apimtį, kuri nieko nepasako apie tai, ko buvo išmokta.