‘Tilstrækkelighedstest’ af undervisningsmateriale

I februar 2019 gik min arbejdsplads online med censorkurset og for nogle uger siden passerede vi 2000 kursister og derfor har min chef bedt mig fortælle lidt om kurset.

Oprindeligt var censorkurset bestilt af Uddannelses- og Forskningsministeriets Styrelse for Forskning og Uddannelse og vi fik en række dessiner vedr indholdet i kurset. Kurset blev bestilt efter et udvalgsarbejde, som du kan læse om her: https://ufm.dk/uddannelse/rad-naevn-og-udvalg/tidligere-rad-naevn-og-udvalg/censorudvalget/dokumenter-og-analyser/microsoft-word-sidste-nye-censorrapport-version-180117-docx.pdf

Ud over dessinerne fik vi også lov at trække på en ‘arbejdsgruppe’, dvs en medarbejder fra styrelsen og tre erfarne censorformænd udvalgt af styrelsens medarbejdere blandt frivillige censorformænd.

Men vi fik også meget frie hænder og lov til at ‘nørde’ med digital læring. Derfor prøvede jeg bl.a. at sætte undervisningen og undervisningsrummet op, så jeg kunne undersøge undervisningsmaterialernes tilstrækkelighed ift øget viden om emnet.

Test af paratviden

Kursisterne får stillet 18 spørgsmål udvalgt tilfældigt blandt 20-35 spørgsmål alt efter om de har valgt at blive testet i Erhvervs- og Professionsrettede, Kunstneriske, Maritime videregående uddannelsers eller Universiteternes lovgivning.

De fire lovgivningsgrupper kalder jeg for fire populationer.

Paratvidentesten kan kun tages én gang.

Population 1, paratviden

Population 2, paratviden

X-aksen viser fra 0-18 korrekte svar og Y-aksten hvor mange respondenter med det antal korrekte svar.

I skrivende stund er der ikke data nok fra to af de fire populationer, så kun de to største populationer vises.

Test af viden efter selvundervisning

Efter at have gennemgået kursusmaterialet, får kursisterne stillet 18 tilfældigt udvalgte spørgsmål om de samme fire forskellige emner fra poolen af 20-35 spørgsmål. Udprøvningen bliver først åbnet, når alle emner som minimum er set af kursisten og kan prøves flere gange, hvis første forsøg ikke er tilfredsstillende.

Her er vist det bedste udprøvningsresultat pr kursist af de fuldførte gange.

Population 1, udtestning

Population 2, udtestning

X-aksen viser igen fra 0-18 korrekte svar og Y-aksten hvor mange respondenter med det antal korrekte svar.

Men vi kan dykke længere ned i tallene

Ud over om populationerne får øget viden i løbet af kurset har jeg også organiseret quizspørgsmålene, så det lægger op til test af undervisningsmaterialets tilstrækkelighed. Det kræver nogle lidt andre tanker om det tekniske design end fx hvis quizspørgsmålene ‘blot’ skal bruges til evaluering af kursister.

Kursisterne får stillet 18 spørgsmål, som dækker fire forskellige emner. To af emnerne er forskellige (men lignende) fordi der er forskellig lovgivning og forskellig definition af niveaubeskrivelserne i kvalifikationsrammens krav for de fire områder. To af emnerne er ens; god opførsel som censor og karakterskalaen er ens for alle.

Opdelingen i fire emner muliggør, at undervisningsmaterialets tilstrækkelighed kan testes i forhold til de fire emner:

Tallene refererer til % korrekte svar

 
 Population 1 Områdespecifik lovgivning Karakterskalaen, fælles Kvalifikationsrammen, specifik God adfærd
Paratviden (n=1.028) 74 71 80 71
Udtestning (n=752) 94 96 94 93
Forskel på testene (n=-276) 20 25 14 22
 
 Population 2 Områdespecifik lovgivning Karakterskalaen, fælles Kvalifikationsrammen, specifik God adfærd
Paratviden (n=484) 72 72 56 78
Udtestning (n=239) 96 93 95 92
Forskel på testene (n=-245) 24 21 39 14

Set bort fra den betragtelige mængde kursusdeltagere, der udelukkende har deltaget i paratvidentesten og som der ikke kan udsiges noget om, så ser det ud som om kursisterne i begge populationer får et højt udbytte af kurset målt som tilstrækkelig viden til at besvare quizzen korrekt.

Forbedringsmuligheder

Målet er ikke at få 100% korrekt besvarelser, fordi det ville tyde på for lette eller på ledende spørgsmål i quizzen.

Et muligt forbedringspunkt kunne være enten det/de emner med lavest “forbedringsprocent”, dvs emne 3 eller 4, eller den/de emner, med lavest udtestningsresultat, dvs emne 4.

Et andet forbedringspunkt kan være at få fat i de mange kursister, der er faldet fra inden udprøvningen og se, om de kan motiveres til at fuldføre.

Og nu har jeg to bønner til jer, der har læst helt hertil!

Første bøn er især til jer, der har en anden faglig baggrund end jeg har; Hvordan kan designet gøres bedre? Bruger jeg fagord på en uhensigtsmæssig måde? Fx måtte jeg slå op, om antal deltagere var lille n eller Store N, så min viden er ikke dyb! Er der lavthængende frugter du kan få øje på ift hvad-som-helst?

Anden bøn er at høre om jeres tanker: Hvad tænker I som fagundervisere? Kan analysen bruges til noget interessant, hvad gør jer nysgerrige? Hvad vil I gerne have uddybet?

AL feedback belønnes med go’ karma 🙂

Leave a Reply

Your email address will not be published. Required fields are marked *