Pedagoģiskās ietekmes mērīšana
Šajā lapā
Kāpēc mērīt?
ChatGPT ieviešana, nemērot tās ietekmi, ir kā navigācija bez kompasa. Finansētājiem, satrauktiem vecākiem un pašiem skolotājiem ir vajadzīgi dati, lai attaisnotu pieliktās pūles, pielāgotu praksi un pierādītu (vai atspēkotu) rīka pievienoto vērtību. Skolas padomes sēdē vai vecāku sapulcē iespaids, ka „skolēni šķiet motivētāki”, nepastāvēs pat trīs minūtes. Tev ir vajadzīgi laika gaitā vākti dati.
Četri ietekmes aspekti
Klasiskā kļūda ir skatīties tikai uz atzīmēm. Pedagoģisko ietekmi mēra četros savstarpēji papildinošos aspektos. Pirmkārt, rezultāti — atzīmes, apgūtās prasmes, progress. Tas ir visvairāk gaidītais aspekts, taču ne vienīgais. Nākamais ir iesaiste — motivācija, līdzdalība, apmeklējums. Klase, kas uzdod vairāk jautājumu un iesniedz vairāk darbu, ir mainījusies, pat ja vidējie rādītāji vēl nav kustējušies.
Vienlīdzība ir trešais aspekts, ko pārāk bieži aizmirst: vai rīks samazina plaisu starp skolēniem, vai tas palīdz tikai tiem, kuriem jau veicās labi? Tev nav jāpatīk atbildei, taču tās trūkums grauj visa novērtējuma ticamību. Visbeidzot, skolotāju efektivitāte noslēdz ciklu, fokusējoties uz ietaupīto laiku un darba slodzi. Projekts, kas uzlabo rezultātus, bet izsmelj personālu, nav ilgtspējīgs panākums.
Mērīšanas metodes
Kvantitatīvā puse
Visdirektākā metode salīdzina rezultātus pirms un pēc, izmantojot eksperimentālus protokolus: vienas klases izmanto rīku, citas — nē, ideālā gadījumā pie viena un tā paša skolotāja, lai neitralizētu „skolotāja efektu”. Veic izmēģinājumu vismaz viena semestra garumā un kontrolē maldinošos mainīgos, piemēram, sākotnējo prasmju līmeni. Bez salīdzināšanas grupas tu nekad neuzzināsi, vai uzlabojums ir saistīts ar rīku vai kaut ko citu.
Pārvaldītā Enterprise vai Edu darbvietā administratora konsole nodrošina otro datu avotu: aktīvie lietotāji, ziņojumi un projekti, sadalīti pa grupām. Šie skaitļi stāsta par reālu ieviešanu. Lasī tos grupu līmenī, nevis atsevišķu skolēnu līmenī: pārvaldības rīks nav uzraudzības rīks, un CNIL (Francijas datu aizsardzības iestāde) sagaida, lai ģimenes zinātu, kas tiek novērots. Lietošanai bez kontiem mēri ieviešanu, izmantojot aptaujas.
Trešā kopuma mērķis ir izsekot progresam laika gaitā: sekmju rādītāji formatīvajos vērtējumos, uzdevumu skaits, kas nepieciešams koncepcijas apguvei, un praktizēto prasmju daudzveidība. Tieši šeit redzams, vai rīks patiešām paātrina mācīšanos vai tikai padara to ērtāku.
Kvalitatīvā puse
Skaitļi neizstāsta visu stāstu. Īsas aptaujas papildina ainu trim auditorijām. Skolotājiem: vai rīks ietaupa sagatavošanās laiku un kuras lietojumprogrammas viņu priekšmetā ir visefektīvākās? Skolēniem: vai tas palīdz saprast un vai viņi jūtas patstāvīgāki? Vecākiem: vai viņi novēro izmaiņas bērna pieejā mājasdarbiem un vai viņiem ir bažas — jautājums, ko vienmēr labāk uzdot, nevis ļaut tam saasināties. Saglabā šīs aptaujas anonīmas un jautā tikai to, kas ir būtiski.
Pievieno stundu novērojumus, jo desmit minūšu vērošana dažreiz atklāj to, ko neaptver neviens anketas jautājums. Vai rīks veicina apmaiņu starp skolēniem vai to aizstāj? Vai vājākiem skolēniem tas dod lielāku labumu nekā citiem?
Informācijas paneļa izveide
Labs informācijas panelis ir atturīgs: pieci līdz astoņi rādītāji, ne vairāk, citādi to neviens nelasīs. Lūk, sabalansēta izlase; izvēlies to, kas runā tavam kontekstam:
| Rādītājs | Avots | Biežums |
|---|---|---|
| To skolotāju īpatsvars, kas izmanto rīku | Aptauja vai pārvaldītas darbvietas konsole | Reizi mēnesī |
| Progress mērķtiecīgajos vērtējumos | Klašu vērtējumi | Reizi ceturksnī |
| Skolotāju un skolēnu apmierinātība | Anonīma aptauja | Reizi ceturksnī |
| Atšķirība starp vājākiem skolēniem un pārējiem | Klašu vērtējumi | Reizi pusgadā |
| Skolotāju sagatavošanās laiks | Aptauja | Reizi ceturksnī |
Ziņošanas ritms pielāgojas auditorijai: ikmēneša kopsavilkums vadībai, ceturkšņa atjauninājums vadības komitejai un gada pārskats personālam un ģimenēm. Ievieto šos termiņus kalendārā mācību gada sākumā: neplānota datu vākšana nenotiek nekad.
Kas var sagrozīt tavus secinājumus
Trīs novirzes apdraud jebkuru ietekmes mērījumu. Pirmā ir korelācijas sajaukšana ar cēlonību: ja rezultāti uzlabojas pēc rīka ieviešanas, nekas nepierāda, ka tieši tas izraisīja izmaiņas, jo atjaunota skolotāju motivācija vai pastiprināta uzmanība klasei bieži izskaidro daļu no panākumiem. Otrā ir Hotorna efekts, kurā dalībnieki maina savu uzvedību tikai tāpēc, ka zina, ka tiek novēroti: ekstrapolē izmēģinājuma rezultātus piesardzīgi. Trešā ir mērīšana pārāk vēlu: starpposma kontrolpunkti ļauj veikt pielāgojumus, kamēr vēl ir laiks.
Rezultātu komunikācija
Tie paši dati stāsta dažādus stāstus dažādām auditorijām. Vadībai un pārvaldes institūcijām prezentē ieviešanas rādītājus, izmērīto ietekmi un salīdzinājumu starp situāciju ar rīku un bez tā. Skolotājiem parādi ietekmi uz mācīšanos un izplati kolēģu liecības, jo viens pārliecināts kolēģis sver vairāk nekā desmit diagrammas. Ģimenēm stāsti par novēroto progresu un esošajiem aizsardzības pasākumiem. Skolēniem parādi viņu pašu progresu.
Dalies arī ar to, kas nestrādā: caurspīdīgums attiecībā uz vājajām vietām stiprina visa pārējā ticamību. Un saglabā savu ceturkšņa ziņojumu vienas lapas garumā: pārsniedzot to, tas kļūst par pielikumu, ko neviens neatver.
Tava kārta
Izveido savu informācijas paneli.
- Izvēlies piecus rādītājus, kas aptver rezultātus, iesaisti, vienlīdzību un skolotāju laiku
- Katram norādi avotu un datu vākšanas biežumu
- Sagatavo trīs īsas, anonīmas aptaujas: skolotājiem, skolēniem un ģimenēm
- Izplāno salīdzināšanas grupu un mērīšanas ilgumu
- Ievieto ziņošanas termiņus gada kalendārā
Oficiālie avoti: Workspace analytics for ChatGPT Enterprise and Edu (OpenAI palīdzības centrs) · Skolotājs: Kā izmantot MI sistēmu savu pienākumu veikšanā? · Datu pārzinis: Kā ieviest MI sistēmas izglītībā? (CNIL) · Mākslīgais intelekts un tā pielietojums izglītībā (éduscol)
Galvenās atziņas
- Ietekmes mērīšana attaisno un uzlabo projektu
- Četri aspekti: rezultāti, iesaiste, vienlīdzība, skolotāju laiks
- Konsoles statistiku lasa pa grupām, nekad kā individuālu uzraudzību
- Pietiek ar informācijas paneli, kurā ir pieci līdz astoņi rādītāji
- Sargieties no korelācijas sajaukšanas ar cēlonību un no Hotorna efekta
Pārbaudi savas zināšanas
Pieci jautājumi, kas aptver kursu, sākot no skolas sistēmas līdz ietekmes mērīšanai.
1. Kurš OpenAI piedāvājums ir paredzēts Francijas skolai?
Atbilde: Neviens. ChatGPT for Teachers ir paredzēts tikai skolotājiem ASV, un ChatGPT Edu galvenokārt ir vērsts uz augstāko izglītību. Francijas skolā izmanto ChatGPT ministrijas lietošanas noteikumu ietvaros un saskaņā ar CNIL noteikumiem.
2. No kuras klases skolēni var izmantot ChatGPT stundās?
Atbilde: No 4. klases (aptuveni 13–14 gadu vecumā), ierobežotā, uzraudzītā, izskaidrotā un atbalstītā veidā; vidusskolā — patstāvīgi, ievērojot skolotāja noteikto ietvaru. ChatGPT arī pieprasa, lai lietotāji būtu vismaz 13 gadus veci, un līdz 18 gadu vecumam nepieciešama vecāku piekrišana.
3. Kā likt skolēniem strādāt, nepieprasot kontu?
Atbilde: Izmantojot skolas ierīci un ChatGPT bez konta (pieejams Eiropā): apmācības režīms ir atspējots, nav personas datu, piekļuve ir pārbaudīta skolas tīklā, ģimenes ir informētas un ir saņemta piekrišana.
4. Ko vērtēšanā vari uzticēt rīkam?
Atbilde: Sagatavošanu — jautājumus, remediaciju, vērtēšanas kritērijus — un formatīvo atgriezenisko saiti. Nekad neatzīmi vai sankciju: CNIL atgādina, ka skolotāji nedelegē savu vērtēšanas varu, un OpenAI iesaka nepieņemt nekādus vērtēšanas lēmumus bez cilvēka iesaistes ciklā.
5. Kā mērīt pedagoģisko ietekmi, nevis vienkāršu ieviešanu?
Atbilde: Izsekojot mācību rādītājus — progresu, iesaisti, atšķirības starp skolēniem — ar salīdzināšanas grupu, nevis tikai lietojuma apjomu, kas neko nepasaka par to, kas ir apgūts.