Измерване на педагогическото въздействие
На тази страница
Защо да измерваме?
Въвеждането на ChatGPT без измерване на неговия ефект е като навигация без компас. Финансиращите страни, притеснените родители и самите учители се нуждаят от данни, за да обосноват усилията, да коригират практиките и да демонстрират – или да опровергаят – добавената стойност на инструмента. Пред училищното настоятелство или на родителска среща впечатлението, че „учениците изглеждат по-мотивирани“, няма да издържи и три минути. Имате нужда от данни, събрани във времето.
Четирите измерения на въздействието
Класическата грешка е да се гледат само оценките. Педагогическото въздействие се измерва в четири допълващи се измерения. Първо, резултатите – оценки, придобити умения, напредък. Това е най-очакваното измерение, но далеч не единственото. Следва ангажираността – мотивация, участие, присъствие. Клас, който задава повече въпроси и предава повече задачи, се е променил, дори средните успехи все още да не са мръднали.
Равнопоставеността е третото измерение, твърде често забравяно: намалява ли инструментът разликите между учениците или облагодетелства само тези, които вече са се справяли добре? Не е нужно да Ви харесва отговорът, но липсата му руши可信ността на цялата оценка. Накрая, ефективността на учителя затваря кръга, фокусирайки се върху спестеното време и работното натоварване. Проект, който подобрява резултатите, но изтощава персонала, не е устойчив успех.
Методи за измерване
Количествената страна
Най-прекият метод сравнява резултатите преди и след, като използва експериментални протоколи: едни класове използват инструмента, други не – идеално със същия учител, за да се неутрализира „ефектът на учителя“. Провеждайте пилотния проект поне един срок и контролирайте объркващите променливи като началното ниво на умения. Без сравнителна група никога няма да разберете дали подобрението идва от инструмента или от нещо друго.
В управлявана работна среда за предприятия или образование (Enterprise или Edu), администраторската конзола предоставя втори източник на данни: активни потребители, съобщения и проекти, разпределени по групи. Тези цифри разказват историята на реалното внедряване. Четете ги на ниво група, а не на ниво отделен ученик: инструментът за управление не е инструмент за наблюдение и CNIL (френският орган за защита на данните) очаква семействата да знаят какво се наблюдава. При използване без акаунти, измервайте внедряването чрез анкети.
Трети набор от данни проследява напредъка във времето: дял на успешно преминалите форматиращи оценки, брой упражнения, необходими за усвояване на дадена концепция, и разнообразие на практикуваните умения. Тук виждате дали инструментът действително ускорява обучението или просто го прави по-комфортно.
Качествената страна
Числата не разказват цялата история. Кратките анкети допълват картината за три аудитории. За учителите: спестява ли инструментът време за подготовка и кои употреби се оказват най-ефективни в тяхната дисциплина? За учениците: помага ли им да разберат и чувстват ли се по-автономни? За родителите: наблюдават ли промяна в подхода на детето им към училищните задачи и имат ли притеснения – въпрос, който винаги е по-добре да зададете, отколкото да оставите да се задълбочи. Поддържайте тези анкети анонимни и питайте само същественото.
Добавете наблюдения в класната стая, защото десет минути наблюдение понякога разкриват това, което никой въпросник не улавя. Насърчава ли инструментът обмена между учениците или го замества? Получават ли повече полза учениците с трудности в сравнение с другите?
Изграждане на табло с показатели
Едно добро табло е сдържано: пет до осем показателя, не повече, иначе никой няма да го прочете. Ето балансиран подбор; изберете онова, което говори на Вашия контекст:
| Показател | Източник | Честота |
|---|---|---|
| Дял на учителите, използващи инструмента | Анкета или конзола на управляваната работна среда | Месечно |
| Напредък по целеви оценки | Класни оценки | Тримесечно |
| Удовлетвореност на учители и ученици | Анонимна анкета | Тримесечно |
| Разлика между ученици с трудности и останалите | Класни оценки | Полугодишно |
| Време за подготовка на учителя | Анкета | Тримесечно |
Ритъмът на отчитане следва аудиторията: месечно обобщение за ръководството, тримесечна актуализация за управителния съвет и годишен преглед за персонала и семействата. Поставете тези срокове в календара в началото на учебната година: непланираното събиране на данни никога не се случва.
Какво може да изкриви заключенията Ви
Три пристрастия застрашават всяко измерване на въздействието. Първото е объркването на корелацията с причинност: ако резултатите се подобрят след въвеждането на инструмента, нищо не доказва, че той е причинил промяната, тъй като подновената мотивация на учителя или повишеното внимание към класа често обясняват част от успеха. Второто е ефектът на Хоторн, при който участниците променят поведението си просто защото знаят, че ги наблюдават: екстраполирайте резултатите от пилотния проект с внимание. Третото е измерването твърде късно: междинните контролни точки Ви позволяват да правите корекции, докато все още има време.
Комunikиране на резултатите
Едни и същи данни разказват различни истории на различни аудитории. За ръководството и управляващите органи представете нивата на внедряване, измерените ефекти и сравнението между ситуации „с инструмента“ и „без инструмента“. За учителите покажете ефекта върху обучението и разпространете свидетелства от колеги, защото един убеден колега тежи повече от десет графики. За семействата говорете за наблюдавания напредък и приложените мерки за защита. За учениците покажете техния собствен напредък.
Споделяйте и това, което не работи: прозрачността относно слабите места засилва可信ността на всичко останало. И ограничете тримесечния си доклад до една страница: отвъд това, той завършва като приложение, което никой не отваря.
Ваш ред е
Изградете Вашето табло с показатели.
- Изберете пет показателя, обхващащи резултати, ангажираност, равнопоставеност и време на учителя
- За всеки от тях посочете източника и честотата на събиране
- Съставете три кратки, анонимни анкети: за учители, ученици и семейства
- Планирайте сравнителна група и продължителността на измерването
- Впишете сроковете за отчитане в годишния календар
Официални източници: Workspace analytics for ChatGPT Enterprise and Edu (Център за помощ на OpenAI) · Учител: Как да използвате система с изкуствен интелект в рамките на задълженията си? · Администратор на данни: Как да внедрите системи с изкуствен интелект в образованието? (CNIL) · Изкуствен интелект и неговите употреби в образованието (éduscol)
Ключови изводи
- Измерването на въздействието обосновава и подобрява проекта
- Четири измерения: резултати, ангажираност, равнопоставеност, време на учителя
- Статистиката от конзолата се чете по групи, никога като индивидуално наблюдение
- Табло с пет до осем показателя е достатъчно
- Внимавайте да не бъркате корелацията с причинност и да не подценявате ефекта на Хоторн
Проверете знанията си
Пет въпроса, обхващащи курса, от училищната рамка до измерването на въздействието.
1. Кое предложение на OpenAI е предназначено за френско училище?
Отговор: Никое. ChatGPT for Teachers е запазен за учители в Съединените щати, а ChatGPT Edu е насочено предимно към висшето образование. Във френско училище използвайте ChatGPT в рамките на министерските указания за употреба и съгласно правилата на CNIL.
2. От кой клас учениците могат да използват ChatGPT в час?
Отговор: От 7. клас (приблизително на възраст 13–14 години), по ограничен, контролиран, обяснен и подкрепян начин; в гимназиалния етап – автономно в рамка, определена от учителя. ChatGPT също изисква потребителите да са на 13 години, със съгласието на родителите до навършване на 18 години.
3. Как можете да накарате учениците да работят, без да изисквате акаунт?
Отговор: На училищно устройство, използвайки ChatGPT без акаунт (наличен в Европа): настройката за обучение е деактивирана, няма лични данни, достъпът е тестван в училищната мрежа, семействата са информирани и е получено съгласие.
4. Какво можете да възложите на инструмента при оценяването?
Отговор: Подготовка – въпроси, ремедиална работа, критерии за оценяване – и форматираща обратна връзка. Никога оценката или санкцията: CNIL ни напомня, че учителите не делегират своята оценителна власт, а OpenAI съветва срещу всяко решение за оценяване без човек в цикъла на вземане на решения.
5. Как измервате педагогическото въздействие, а не просто внедряването?
Отговор: Ч проследяване на показатели за обучението – напредък, ангажираност, разлики между учениците – със сравнителна група, а не само обем на използване, който не казва нищо за наученото.