Samenvatting van de hoorcolleges, bijbehorende artikelen (met daarbij tentamenvragen inclusief antwoord) en de reader van het vak 'Assessment & Evaluatie', gegeven in academiejaar .
Aantekening ontwikkelen van assessment- en evaluatie-
instrumenten voor onderwijssituaties
Er zijn verschillende cycli te vinden betreffende het toetsingsproces. Wanneer je doelstelling helder
is, kan je vervolgens een bestaand instrument gebruiken of een instrument ontwikkelen. Type toets
en welk meetniveau voor welk doel:
1. kennistoetsen – kennis en beheersingsniveaus
2. vragenlijsten/interviews – attitudes, opvattingen, voorkeuren
3. performance assessments – vaardigheden en beheersingsniveaus
4. documentanalyses – verantwoording beleid en gemaakte keuzes
Beslissing:
Absoluut (criterion) minimum aantal punten
Relatief (norm) bijvoorbeeld beste 10 gaan door
Holistisch algemene indruk zonder uitgewerkte criteria
Analytisch verschillende facetten expliciet vanuit criteria bekijken
Compensatorisch mogelijkheid compenseren
Conjunctief toetsen moeten boven de norm
,Psychometrische kwaliteitseisen – getalsmatig/variatie
Validiteit – beoogd doel (van de afname) van het instrument
Inhoudsvaliditeit:
o Theoretische onderbouwing (deel)construct(en) en items
o Face validiteit (experts, gebruikers)
Begripsvaliditeit (convergent en divergent)
o Toetsmatrijs
o Pilot (gebruikers)
o Factoranalyse
o Meet-intervariantie
Predictieve validiteit
o Redenatie legitimatie (theorie)
o Multipele regressieanalyse
Betrouwbaarheid – precisie (van de afname) van het instrument
Bij één testafname
o Split-halfmethode
o Interne consistentie
o Objectiviteit (kalibratie)
Bij twee testafnames
o Test-hertest methode
Itemanalyse
o Datareductie
o Cronbach’s alpha/omega
o Item-restcorrelatie (rir- of rit-waarden)
o Moeilijkheidsgraad (bv a en p-waarden)
o Discriminerend vermogen
Edumetrische kwaliteitseisen – betekenisvol en transparant
Utiliteit – transparantie (van de afname) en efficiëntie van het instrument
- Wordt duidelijke uitgelegd hoe het instrument gebruikt dient te worden?
- Worden de beoordelingscriteria vooraf voldoende inzichtelijk gemaakt?
- Wordt inzichtelijk gemaakt hoe de beoordeling tot stand zal komen?
Impact – benodigde (tijds)investering en consequenties (van de afname) van het instrument
- Wordt de verwachte prestatie voldoende geoefend?
- Is het instrument werkbaar afgezet tegen de tijd (toets, studie, nakijk)?
- Is het besluit iemand te laten slagen/zakken te rechtvaardigen?
- Is de gebruiker op de hoogte van en akkoord met de ethische aspecten?
Toetsen:
- Een manier om info te verzamelen
- Met een zekere intentie
- Verzamelde informatie is een representatie van gezochte informatie
- Tussen testafnemer en geteste bestaat een machtsverschil
,Specifieke toetsinstrumenten:
1. kennistoets – open of gesloten vragen
2. als onderdeel van een competentie-assessment (‘proeve van bekwaamheid’)
3. als onderdeel van een (psychologische) test
In feite kan elke activiteit een test zijn
Toetsvorm lok antwoordstrategie uit:
Multiple-choice en open-vraagstrategieën
Antwoordtendenties in afwezigheid van een vraag
Gestelde eisen vooraf lokken strategisch gedrag uit (bijvoorbeeld bij een rubric)
Rubric:
- Combineert criteria (meestal 3-5) en ‘performance descriptions’
- Rubric for learning vs rubric for grading – analytisch (formatief) vs holistisch (summatief)?
- ‘appropriate criteria are the key to effective rubrics’
- Rubric wordt vaker ingezet als grading-tool en niet om feedback te verzorgen
Toetsmatrijs – basis voor toets-constructie (leerdoelen x beheersingsniveau)
Construeren van test-items, grootste uitdaging: vermijden ambiguïteit (is duidelijk wat je vraagt? op
een andere manier te interpreteren?) en ‘nut’ test-wiseness (trucjes gebruiken om toch het goede
antwoord te geven)
Soorten items:
- Kort antwoord (1 woord/term)
Associatie
‘completion’ vragen
- Waar-onwaar
- Multiple-choice
o Voordelen:
Makkelijk af te nemen en te verwerken
Objectieve scoringsmethode
Groter bereik kennisdomein belangrijk
Mits goed geconstrueerd kun je er bijna alles mee meten
o Nadelen
Gemakkelijk oppervlakkig
Gemakkelijke schijnobjectiviteit
, Richtlijnen multiple-choice:
1. gebruik niet te complexe item-types
2. creëer items die bepaalde cognitieve processen op gang brengen
3. vermijd ‘geen/al van het bovenstaande’
4. gebruik 3 mogelijke antwoordopties
5. maak de test uitdagend, maar niet te moeilijk
6. geef feedback
Validering surveyvragen: meetinstrument verbeteren aan de hand van cognitieve validatie
Cognitief interview: tijdintensief, vereist training
RPE (response process evaluation): alternatief op cognitief interview, iteratieve methode om items
voor te leggen en reviseren. Vooral nuttig bij items waarin culturele achtergrond interpretatie
beïnvloedt.
Les avantages d'acheter des résumés chez Stuvia:
Qualité garantie par les avis des clients
Les clients de Stuvia ont évalués plus de 700 000 résumés. C'est comme ça que vous savez que vous achetez les meilleurs documents.
L’achat facile et rapide
Vous pouvez payer rapidement avec iDeal, carte de crédit ou Stuvia-crédit pour les résumés. Il n'y a pas d'adhésion nécessaire.
Focus sur l’essentiel
Vos camarades écrivent eux-mêmes les notes d’étude, c’est pourquoi les documents sont toujours fiables et à jour. Cela garantit que vous arrivez rapidement au coeur du matériel.
Foire aux questions
Qu'est-ce que j'obtiens en achetant ce document ?
Vous obtenez un PDF, disponible immédiatement après votre achat. Le document acheté est accessible à tout moment, n'importe où et indéfiniment via votre profil.
Garantie de remboursement : comment ça marche ?
Notre garantie de satisfaction garantit que vous trouverez toujours un document d'étude qui vous convient. Vous remplissez un formulaire et notre équipe du service client s'occupe du reste.
Auprès de qui est-ce que j'achète ce résumé ?
Stuvia est une place de marché. Alors, vous n'achetez donc pas ce document chez nous, mais auprès du vendeur BKH. Stuvia facilite les paiements au vendeur.
Est-ce que j'aurai un abonnement?
Non, vous n'achetez ce résumé que pour €6,89. Vous n'êtes lié à rien après votre achat.
