Artikelen (digitaal): Effectiviteit van het onderwijs & LLL
Harris, A (2014): Still making a difference: reflections on the field
Pagina: 2
Reynolds, D (2014): Editorial, in school effectiveness and school improvement
Pagina: 2
Reynolds en anderen (2014): Educational effectiveness research (EER): a state of art review
Pagina: 3
Muijs en anderen (2014): State of art, teacher effectiveness and professional learning
Pagina: 12
Scheerens, J (2014): School, teaching, and system effectiveness: some comments on three state-
of-the-art reviews
Pagina: 20
Sammons, Hillman en Mortimore (1995): Key characteristics of effective schools: A review of
school effectiveness research
Pagina: 23
Van Damme en anderen (2006): Educational effectiveness. An introduction to international and
Flemish research on schools, teachers and classes
Pagina: 31
Timmermans, Doolaard en de Wolf (2011): Conceptual and empirical differences among various
value-added models for accountability
Pagina: 40
Holton, E. F. (1996): The flawed four-level evaluation model
Pagina: 46
Holton, E. F. (2005): Holton's evaluation model: New evidence and construct elaborations
Pagina: 52
De Greef, Verté en Segers (2012): Evaluation of the outcome of lifelong learning programmes for
social inclusion
Pagina: 56
Door Suzanna van der Heide
,2
Harris, A (2014): Still making a difference: reflections on the field
Onderzoekers en theoretici binnen het onderzoeksgebied van effectiviteit van onderwijs blijven
een sterke wetenschappelijke kracht houden (remain a formidable intellectual force). Sinds de
jaren ’80 is er namelijk hard gewerkt aan onderzoek naar effectiviteit van het onderwijs wat
volgens Harris ‘kiemkrachtig’ is gebleken: er is nadien veel belangrijk en invloedrijk (op het
internationale discours) onderzoek gedaan naar hoe het onderwijs verbeterd kan worden. Het
kennisbestand met betrekking tot effectiviteit en verbetering van het onderwijs is volgens Harris
systematisch en betrouwbaar opgebouwd. Het verbeteren van de praktijk van het onderwijs is
niet (altijd) gemakkelijk, al weten we wel een aantal dingen zeker. En ondanks commerciële
invloeden, blijft een solide wetenschappelijke basis onbeschadigd bestaan.
Het School Effectiveness and School Improvement (SESI) journal is een journal dat nog
steeds een centrale en zeer belangrijke rol speelt in de verspreiding van empirische
bevindingen, theoretische discussies en praktische vraagstukken. Harris vindt het als voorzitter
van het International Congress for School Effectiveness and Improvement (ICSEI) zijnde
belangrijk om in contact te blijven met SESI, omdat op deze manier kennis kan worden
overgebracht naar praktijk, beleid en wetenschap: ‘Deze speciale uitgave is daarom een mooie
kans om ‘what is known’ op te slaan en internationaal te delen en geeft een stukje erkenning aan
onderzoekers die veel hebben betekend en nog veel zullen betekenen.’
Het onderzoek naar effectiviteit en verbetering is belangrijk omdat het beschermt tegen
modeverschijnselen die komen en gaan. De wetenschappelijke kennis op dit gebied is namelijk
tijdloos en beïnvloedt nog steeds beleid, wetenschap en praktijk.
Reynolds, D (2014): Editorial, in school effectiveness and school
improvement
Dit artikel volgt op dat van Harris (hierboven staand). Want: School Effectiveness and School
Improvement, 25, 193–194 (Harris) en 195-196 ( Reynolds).
Net als Harris, gaat Reynolds ook in op hoe het onderzoeksveld is veranderd sinds het laatste
‘state of art special issue’. Reynolds omschrijft dat 17 jaar terug, de kennisbestanden (van de
drie ‘gebieden’) nog geanalyseerd werden per land en relatief kleinschalig waren. Tegenwoordig
is er zoveel meer kennis, dat er nu duidelijke (sub)disciplines zijn. Ook is men veel meer
internationaal gaan samenwerken, waardoor het organiseren van resultaten per land ook niet
meer hoeft. De drie subdisciplines zijn:
1. Educational effectiveness → Waar er in 1996 nog relatief weinig aandacht was voor de
mogelijkheid dat iets alleen in een bepaalde context werkt, is dit eigenlijk zo gebleven.
We weten daar nu niet echt meer over dan in 1996.
2. Teacher effectiveness → Hier was in 1996 eigenlijk nog nauwelijks onderzoek naar
gedaan. De ‘neurowetenschappelijke revolutie’ heeft nog niet veel invloed gehad op de
praktijk, maar heeft wel belangrijke implicaties voor het lesgeven.
3. System and school improvement → In 1996 werd er nog nauwelijks naar improvements
op systeemniveau gekeken, alleen nog maar op het niveau van scholen. De voordelen van
het creëren van datarijke scholen zijn nog niet uitgebuit door praktijk en beleid.
Verder vindt Reynolds het vreemd dat IT nog niet is onderzocht. Ook vindt hij dat er meer
aandacht moet komen voor ‘beyond school factoren’. Dit komt eigenlijk voort uit de strijd tussen
mensen die denken dat schoolfactoren bepalend zijn en mensen die denken dat factoren vanuit
de sociale achtergrond bepalend zijn.
Ondanks bovenstaande kritieken, vindt Reynolds dat het onderzoeksveld er goed uitziet.
Veel kritiek is verstomd sinds begin 2000. Wat wel teleurstellend is, is dat bevindingen eigenlijk
te weinig terecht komen in de praktijk en bij beleidsmakers, waardoor er lastig iets voor
kinderen is te verbeteren.
Reynolds hoopt dat het volgende state-of-the-art issue niet zo lang op zich laat wachten
als deze en dat de disciplines kennis blijven ontwikkelen over wat docenten goede docenten
maakt, goede scholen goed maakt en schoolsystemen goed maakt.
,3
Reynolds en anderen (2014): Educational effectiveness research
(EER): a state of art review
Dit is dan een deel van het state-of-art review
Inleiding
Onderwijseffectiviteitsonderzoek is snel gegroeid in de kwantiteit en kwaliteit van de
onderzoeksvragen waarop het kan antwoorden. De kernvragen van onderwijseffectiviteits-
onderzoek kunnen samengevat onder:
Wat maakt ‘goede scholen’?
Hoe maken we scholen ‘goed’?
Het onderzoekt alle factoren binnen scholen en in onderwijssystemen die leeruitkomsten, zowel
sociaal als academisch, beïnvloeden. Het is dus erg breed. En ook complex: omdat ze
schooleffecten willen onderscheiden van bijvoorbeeld SES. Er worden in deze review 7
onderwerpen behandeld:
1. Historie van onderwijseffectiviteitsonderzoek
2. Methodologische en theoretische verbeteringen binnen onderwijseffectiviteitsonderzoek
3. Wetenschappelijke eigenschappen van onderwijseffectiviteitsonderzoek (grootte van
schooleffecten, differentiële effecten, consistentie, stabiliteit, schoolcompositie,
verschillende uitkomsten, internationale onderwijseffecten)
4. Processen van onderwijseffectiviteit en –ineffectiviteit
5. Verband tussen onderwijseffectiviteitsonderzoek, beleid en praktijk
6. Toekomstige vragen op het gebied van onderwijseffectiviteitsonderzoek
7. Richting voor onderwijseffectiviteitsonderzoek in de toekomst in een veranderende
internationale samenleving
Dit issue heeft niet als doel alles te omschrijven wat bekend is en is ook geen meta-analyse. Men
wil wel de algemene ideeën binnen dit onderzoeksgebied weergeven.
1. Historie van onderwijseffectiviteitsonderzoek
Er is veel geschreven over de geschiedenis van het onderwijseffectiviteitsonderzoek. Daarom
worden alleen de vijf fasen behandeld (zie ook college 2, hierin zijn de fasen echter wel anders):
Fase 1: input output Scholen hebben geen invloed, de achtergrond van de leerling
bepaalt alles (Coleman, Jencks). Dit was zo tegen-intuïtief dat men
vrijwel gelijk meer onderzoek ging doen. 1966-1972.
Fase 2: midden jaren ‘80 Kenmerkend is het werken met multilevel methoden. Er werd
gekeken naar bijvoorbeeld consistentie en differentiële
schooleffecten.
Fase 3: begin ‘90 De belangrijkste vraag die hier speelde was ‘waarom scholen
verschillende effecten hadden’. Het onderzoek kreeg een
input/proces/output karakter.
Fase 4 en 5: inter- Internationalisering en het samenkomen van benaderingen die naar
nationalisering en bijv. effectiviteit van onderwijs en leerkrachten kijken. Doordat
samenkomen van ideeën, ideeën werden uitgewisseld, ontwikkelde het onderzoeksveld zich
sinds eind jaren ’90 tot nu. snel. Onderzoekers van schooleffectiviteit raken bekend met
onderzoekers van schoolverbetering, die vaak kwalitatief werken en
rekening houden met cultuur. Onderwijs- effectiviteitsonderzoekers
gingen minder leerkrachten minder als empirische en rationele
wezens zien. Men had behoefte aan theoretische modellen en begon
met mixed-methode onderzoek.
Ten tweede werd het onderwijseffectiviteitsonderzoek steeds meer
dynamisch bekeken (zoals het model van Creemers en Kyriakides
ook laat zien). Structural equation modeling werd populair, omdat
het rekening houdt met wederzijdse invloed. Ook zie je veel
onderzoek dat op meerdere niveaus werkt.
,4
In lijn met de ontwikkeling van onderwijseffectiviteitsonderzoek, is men ook in de wereld tot de
conclusie gekomen dat evidence-based onderwijs belangrijk is. Dit heeft te maken met…
Eerdere best-evidence reviews (Slavin)
Evidence-based programma’s zoals success for all
STAR-experimenten (student/teacher achievement ratio)
Resultaten uit meta-analyses werden steeds interessanter gevonden, wat er ook toe leidde dat
men zich ging verdiepen in technieken waarmee je meta-analyses kan doen. Volgens de auteurs
kunnen meta-analysetechnieken nog beter en meer worden gebruikt binnen
onderwijseffectiviteitsonderzoek.
Naast met meta-analyses probeerde men ook via internationale, vergelijkende
onderzoeken (cross-sectioneel, soms longitudinaal) beleidsmakers te informeren. Als je als land
laag staat, stimuleert dit veel onderzoek (zoals in Duitsland).
De eerste fasen van het onderwijseffectiviteitsonderzoek hebben de basis gelegd voor de
wetenschappelijke en ‘praktische’ groei ervan. Zo is er een internationaal congres (ICSEI) en
wordt er zeer veel verwezen. Tegenwoordig worden er steeds meer organisaties opgericht, wat
al met al erop duidt dat het onderwijseffectiviteitsonderzoek een wetenschappelijk succes is.
In het vervolg worden een viertal problemen van onderwijseffectiviteitsonderzoek
besproken, die eigenlijk ook gelijk weer worden ontkracht/tegenargumenten. Dit heeft ermee te
maken dat veel kennis binnen deze discipline reactief was, en niet doelmatig.
i. Kwantitatieve karakter: dit is logisch omdat je kijkt naar effecten, maar om echt goed
onderzoek te doen (lees: rekening houden met bijv. verschillen bij intake) waren de
betere methoden nodig. Echter, het is zo dat door gebrek aan kwalitatief onderzoek
resultaten lastig te interpreteren waren voor bijvoorbeeld beleidsmakers. Het
ontbrak de resultaten aan verklaringen, aan uitleg, rijke beschrijvingen.
ii. De focus op scholen: doordat het onderwijseffectiviteitsonderzoek is ontstaan uit de
bewering dat scholen er niet echt toe doen, is er vrij exclusief gekeken naar scholen.
Er was te weinig aandacht voor de leerkracht en de context (ondanks dat er zich een
discipline ontwikkelde die naar effectiviteit van leerkrachten keek). Doordat er te
weinig is gekeken naar wat er gebeurt in de klas, is de verklarende ‘power’ van
onderwijseffectiviteitsonderzoek mogelijk voor lange tijd klein gebleven en kon men
er in de praktijk weinig mee. Daarnaast was het in Europa voor lange tijd erg lastig
om leerkrachteffecten te meten vanwege een gebrek aan geschikte data. Je moet
namelijk data verzamelen aan het begin en aan het einde van een schooljaar.
Bovendien erkent men dat het een precaire aangelegenheid is. Dit type onderzoek
kan men, als gevolg van bijvoorbeeld statistische onzekerheid, dan ook beter niet
gebruiken voor het (be)(ver)oordelen van leerkrachten. Beter gebruikt men het voor
het schatten van de toegevoegde waarde van een leerkracht of voor kenmerken van
wat-werkt.
iii. Multi level modeling (MLM): dit type modeling was echt essentieel om meer recht te
doen aan de werkelijkheid. Een leerling heeft namelijk bepaalde
achtergrondkenmerken en zit in een bepaalde klas, in een bepaalde school in een
bepaalde regio. Het nadeel van MLM is dat het alleen kijkt naar directe
schooleffecten. Vooral in het begin van MLM kon er niet worden gekeken naar
wederzijdse effecten van bijvoorbeeld een klas op een school, waardoor het hele
onderwijs was een black-box bleef. Tegenwoordig is MLM echter beter
doorontwikkeld, waardoor er ook oog is voor interactie- en wederzijdse invloeden.
iv. Gebrek aan reviews: aangezien onderwijseffectiviteitsonderzoek in relatief korte tijd
snel is gegroeid, was het heel lastig om op elkaar voort te bouwen. Er werd
verschillend gemeten, verschillend geconceptualiseerd. Vanaf de 21e eeuw is men
begonnen met bijvoorbeeld handboeken en reviewen.
2. Methodologische en theoretische verbeteringen binnen
onderwijseffectiviteitsonderzoek
Zowel theoretisch als methodologisch zijn er in de afgelopen jaren een aantal verbeteringen
,5
doorgevoerd. Theorieën verklaren verbanden tussen variabelen. Nadeel is dat het vaak niet iets
zegt over oorzaken: het gaat niet verder dan een rationale. In het begin werden theorieën vooral
geleend uit naastgelegen wetenschapsgebieden. Tegenwoordig is er echter de theorie van
Creemers en Kyriakides, die op een geïntegreerde en uitgebreide, comprehensieve manier naar
de verschillende niveaus van het onderwijssysteem kijkt. Het is dynamisch en ziet verandering
als de kern van alles. Voorstanders van het model van Creemers en Kyriakides vinden namelijk
ook dat er te weinig is gekeken naar verandering, waardoor men in de praktijk maar weinig met
resultaten van onderwijseffectiviteitsonderzoek deed. Creemers en Kyriakides geven de
voorkeur aan longitudinaal onderzoek en beschrijven dat elke onderwijsfactor vijf dimensies
heeft: frequentie, focus, fase, kwaliteit en differentiatie. Voor het model is ook empirisch bewijs,
al zijn sommige onderdelen van het model wel wat specifieker voor bepaalde landen.
Qua statistiek/methoden, heb je de volgende ontwikkelingen waar ook al een compleet
journal aan is gewijd:
MLM: hierdoor kon onderwijseffectiviteitsonderzoek groter en breder worden opgezet.
Uit dit type modeling bleek bijvoorbeeld dat leerkrachteffecten groter zijn dan
schooleffecten en dat leerkracht- en schooleffecten veel van de variantie in prestaties
van leerlingen verklaren. Doordat men beter kan omgaan met meetfouten en interactie-
effecten en regressie-discontinuïteit, kan men tegenwoordig ook steeds beter
schooleffecten schatten zonder longitudinale data.
Meta-analyse: hierdoor kunnen we beter generaliseren. Over een aantal gelijksoortige
studies worden namelijk gemiddeldes berekend. Dit heeft ertoe geleid dat theorieën zijn
verbeterd en men nauwkeuriger weet wat algemene en meer specifieke factoren zijn.
Meta-analyses kunnen nog verfijnd worden via multilevel meta-analyses.
Structural equation modeling (SEM): is interessant omdat het kijkt naar indirecte en
wederzijdse effecten. Binnen het onderwijseffectiviteitsonderzoek wordt het gebruikt
om iets te zeggen over de validiteit van de meetinstrumtenten. SEM is een parapluterm
voor allerlei modellen.
Groeicurven: is te bekijken als een verfijning van de traditionele multilevel analyse. De
vooruitgang van een leerling wordt in kaart gebracht op meer dan 2 tijdpunten.
Guldemond en Bosker lieten zien dat leerlingen een curvilineaire groeicurve kennen als
het gaat om schoolse prestaties. Ook ontdekten zij verschillen tussen SES. Al met al is er
op deze manier meer inzicht te verkrijgen in niet lineair lopende processen.
Mixed method: deze benadering geeft onderwijseffectiviteitsonderzoek een extra lading,
omdat het beter verschillen in effectiviteit kan beschrijven, verklaren, voorspellen. Mixed
method onderzoek is goed omdat het kan leiden tot theorieontwikkeling en sterker
gelinkt is aan toegepaste wetenschap en evaluatie (denk aan programma’s voor
schoolverbetering).
3. Wetenschappelijke eigenschappen van onderwijseffectiviteitsonderzoek (grootte van
schooleffecten, differentiële effecten, consistentie, stabiliteit, schoolcompositie, verschillende
uitkomsten, internationale onderwijseffecten)
Schooleffecten worden meestal geschat via cross-sectionele multi level modellen, met
achtergrondkenmerken en eerdere prestaties van de leerling als controle variabelen. Op deze
manier krijg je een percentage van de variantie tussen prestaties die op schoolniveau zit. En dat
geeft dan weer een indicatie van de invloed van school.
Wanneer er gekeken wordt naar de effectiviteit van de school, is de prestatie van de
leerling nog vaak het criterium. Er zijn recent echter ook onderzoeken die breder kijken:
bijvoorbeeld naar het welzijn van de leerling.
Verder wordt er ook steeds vaker gekeken naar lange termijn effecten. De outcome
variabele is dat iets dat wordt gemeten als de leerling al van school af is. Dit wordt gedaan in
onderzoeken die kijken naar de predictieve validiteit en de generaliseerbaarheid van effecten. Er
is bijvoorbeeld gebleken dat het primair onderwijs een blijvend, maar klein effect heeft op de
prestaties in het VO.
De kern van het onderwijseffectiviteitsonderzoek is nog steeds kwaliteit en gelijkheid.
, 6
School quality: de mate waarin een school beter scoort dan andere scholen, gecorrigeerd
voor kenmerken van leerlingen bij aanvang. Hier gaat het om verschillen TUSSEN
scholen.
School equity: de compenserende waarde van een school, sommige scholen kunnen
bepaalde inputvariabelen beter compenseren dan andere scholen. Het gaat hier om
verschillen BINNEN scholen.
Recent onderwijseffectiviteitsonderzoek benadrukt het belang van het bestuderen van (A) groei
in de prestaties van de leerling en (B) absolute schooleffecten. Het eerste vraagt om
longitudinale data en wordt vaak omschreven met termen als progressie en leerwinst. Er wordt
dan gewerkt met groeicurven. Een tweede trend is het kijken naar absolute in plaats van
relatieve schooleffecten. Men is steeds meer geïnteresseerd in de impact van het onderwijs op de
ontwikkeling van kinderen in het algemeen (en niet van scholen ten opzichte van elkaar =
relatief). Hierbij wordt er gewerkt met de regressie-discontinuïteitsbenadering. Het leuke is dat
je dan ook kunt kijken wat de relatieve variatie van scholen in dit absolute effect is (dus: wat is
het absolute effect van een jaar extra onderwijs en hoe verschilt dit tussen scholen?).
Scholen doen ertoe, zelfs al zijn de berekende schooleffecten klein. Dit komt doordat ze
cumulatief kunnen zijn en betrekking hebben op veel leerlingen. Er zijn studies gedaan die
controleren voor meetfouten, waar uit blijkt dat vroeger schooleffecten nogal eens onderschat
zijn.
Onderzoeken verschillen in de gerapporteerde intra-klassen correlaties (=percentage
van de verschillen in leerling-outcomes die kunnen worden toegeschreven aan de school). Dit is
ook afhankelijk van het soort uitkomstmaat: want voor niet-cognitieve outcomes worden
kleinere effecten gevonden. Hiervoor zijn drie verklaringen/hypothesen bedacht:
Het zijn niet-traditionele uitkomstmaten, waardoor/omdat ze maar weinig aandacht
krijgen in het curriculum. Scholen zijn er om schoolse vakken te leren.
Metingen van niet-cognitieve outcomes zijn minder nauwkeurig
Buiten school om is er meer aandacht voor niet-cognitieve zaken en minder voor het
schoolse (?)
Schooleffecten zijn groter voor vakken die écht op school moeten worden geleerd, zoals
wiskunde/rekenen. Ook zijn de schooleffecten groter wanneer er longitudinaal gemeten wordt.
Wanneer er naar de consistentie van schooleffecten wordt gekeken (over verschillende
vakken heen), blijkt dat er wel een bepaalde coherentie is te vinden. Echter, scholen kunnen ook
voor een bepaald vak effectief zijn en voor een ander vak weer totaal niet. Inconsistentie in
basisschooleffecten duidt er mogelijk op dat een leerkracht beter is in bijvoorbeeld taal dan
rekenen, of dat de school erg gericht is op het rekenbeleid (en veel minder op bijv. het
taalbeleid). Inconsistentie in schooleffecten op het VO duidt er op dat de ene docent effectiever is
dan de ander, of dat een bepaalde sectie effectiever is. Uit onderzoek naar de consistentie van
niet-cognitieve outcomes blijkt dat dit vooral het gevolg is van verschillen bij intake.
Onderzoekers zijn verder vaak ook geïnteresseerd in de consistentie van cognitieve en niet-
cognitieve outcomes. Hierbij duidt een positieve correlatie op complementariteit en een
negatieve op competitie tussen beide soorten outcomes. Duidelijke conclusies hierover kunnen
echter nog niet getrokken worden: waarschijnlijk is de effectiviteit van het ene domein
afhankelijk van de effectiviteit van het andere. Men heeft namelijk wel gevonden dat goed
presterende scholen ook vaker gekenmerkt worden door een veilig klimaat bijvoorbeeld. In
summary, since there is not perfect consistency, the evaluation of a school's effectiveness should be
based on more than one effectiveness criterion, because a single criterion can only highlight one
particular aspect of schooling.
Het onderzoek naar de stabiliteit van schooleffecten doet vaak blijken dat deze redelijk
stabiel zijn (soms correlaties van 0.82-0.85). Absolute stabiliteit is echter zeer onwaarschijnlijk,
omdat scholen ‘veranderende organisaties’ zijn: leerlingen, staff en beleid veranderen
bijvoorbeeld. Instabiliteit kan daarom ook aan de ene kan duiden op veranderingen en aan de
andere kant op verbeteringen in scholen. Aangezien onderwijssystemen vaak veel druk
uitoefenen op zwak presterende scholen, denkt men dat schooleffecten minder stabiel zijn. Het
is verder belangrijk er rekening mee te houden dat lange termijn veranderingen in de
