Methoden van het wetenschappelijk onderzoek
(a) Positief wetenschappelijke methoden
Doelstellingen deel a: Na het voltooien van dit OPO kan de student:
• de empirische cyclus begrijpen en de fasen beheersen
• het concept variabiliteit kritisch vatten en inschatten
• onderzoek systematisch evalueren op vlak van validiteit en betrouwbaarheid
• kritisch reflecteren over verschillende onderzoeksdesigns en hun beperkingen aangeven
• verschillende onderzoeksmethoden herkennen en vergelijken
• resultaten van verschillende onderzoeksdesigns correct interpreteren
• aangeven wat responsible research practices zijn en waarom deze van belang zijn
Inhoud deel a: Tijdens de hoorcolleges worden volgende thema’s behandeld:
• De empirische cyclus
• Variabelen en meetniveaus
• Betrouwbaarheid en validiteit
• Onderzoeksdesigns in de psychologie (survey onderzoek, correlationeel onderzoek,
experimenteel onderzoek, quasi-experimenteel onderzoek, single-subject onderzoek, etc.)
• Steekproeftrekking
• Responsible research practices (repliceerbaarheid, open science, preregistratie, etc.)
Waarom?
• Psychologen moeten interessante vragen kunnen beantwoorden
• Psychologen moeten de methode die gebruikt werd om interessante vragen te
beantwoorden, om tot kennisclaims te komen, kritisch kunnen evalueren
• Hoe kunnen we interessante vragen beantwoorden?
Op basis van niet-wetenschappelijke methoden
Op basis van de wetenschappelijke methode
Examen: multiple choice
1
,Hoofdstuk 1: Wetenschappelijke methode en empirische cyclus
1.1 Niet-wetenschappelijke methoden om kennis te vergaren
⁕ Vasthoudendheid (tenacity)
⁕ Intuïtie
⁕ Autoriteit
⁕ Rationalisme
⁕ Empirie
Vasthoudendheid (tenacity)
• We accepteren informatie als waar, omdat het altijd al zo geweest is of omdat bijgeloof de
informatie ondersteunt
• Gebaseerd op gewoonte of bijgeloof
• We geloven iets omdat we het altijd al geloofd hebben, clichés (e.g., “tegengestelden trekken
elkaar aan” ook al wijst wetenschappelijk onderzoek uit van niet, “als er geen R in de maand
staat, mag je nog geen mosselen eten”)
• of omdat bepaalde overtuigingen worden voorgesteld als feiten (e.g., “een spiegel breken
levert 7 jaar ongeluk op”)
• gebeurt vaak, gaat van generatie op generatie over
MAAR: info kan foutief zijn en het corrigeren is zeer moeilijk, zeer hardnekkig
Intuïtie
• We accepteren informatie als waar, omdat dit “juist aanvoelt”
• Gebaseerd op buikgevoel, voorgevoel of instinct
• Snelle manier om vragen te beantwoorden, vaak gebruikt als we over geen enkele info
beschikken
• Ethische vraagstukken of morele dilemma’s worden vaak opgelost met de methode van
intuïtie
• E.g., “ik voel aan dat mijn vriend een slechte dag heeft”
MAAR: geen enkele manier om accurate en foutieve info te onderscheiden
Authoriteit
• We accepteren informatie als waar, omdat de informatie afkomstig is van een expert rond
dat onderwerp
• Gebaseerd op vertrouwen in een autoriteit, expert
• Consulteren van een expert, het werk lezen van een expert, “Google it”, boeken, TV,
internet, etc.
• Vaak een prima startpunt om kennis te vergaren, snel en makkelijk
• Omvat ook de methode van geloof: blind vertrouwen in een autoriteitsfiguur waardoor we
diens info accepteren zonder twijfel of toetsing
MAAR: levert niet altijd accurate info op: experts kunnen gebiast zijn (=experts vertrekken vanuit
eigen overtuigingen, eigen voorgeschiedenis, bv. vanuit een bepaalde theorie waar ze grote fan van
zijn, zijn geen tabula rasa, gekleurde informatie), info kan een subjectieve opinie reflecteren (bv.
twee filmkenners beoordelen dezelfde film), expertise wordt gegeneraliseerd naar andere domeinen
(bv. acteurs gebruikt in parfumreclame), de expertise wordt niet in vraag gesteld, expert is niet echt
een expert (“is deze bron wel een expert rond dit vakgebied?”)
2
,Rationalisme
• Antwoorden zoeken door logisch te redeneren
• We vertrekken van een set gekende feiten of assumpties (= premissen) en gebruiken logica
om tot een conclusie of antwoord te komen
• Voorbeeld:
Argument:
Een angstaanjagende ervaring met een hond veroorzaakt
angst voor honden in de toekomst premissen
Amy heeft angst voor honden
Dus, Amy heeft een angstaanjagende ervaring met een hond gehad logische conclusie
• Indien de premissen waar zijn en de gehanteerde logica is correct, dan is de conclusie
sowieso correct
• Let op: de rationale methode start pas NA de premissen
• Geen info verzameld, geen observaties, geen evidentie, etc.
• Vaak gebruikt om alternatieven logisch af te wegen, zonder alle mogelijkheden ook
daadwerkelijk uit te proberen (e.g., op de dag van een examen is je auto stuk: wat zijn
mogelijke alternatieven om tijdig op het examen te geraken?)
MAAR:
• Alles valt of staat bij de juistheid van de premissen (e.g., een angstaanjagende ervaring
met een hond veroorzaakt angst voor honden in de toekomst)
• Alles valt of staat bij de juistheid van het logisch redeneren, maar we zijn niet zo goed in
logisch redeneren
• ARGUMENT VAN AMY NIET VALIDE!!!
Empirie
• Antwoorden zoeken door directe observatie of directe sensorische ervaring (observeren,
meten, sensorisch kennis vergaren)
• “Alle kennis wordt verworven door de zintuigen”
• E.g.: “in de zomer is het warmer dan in de winter”, voelen dit met onze zintuigen
• Veel antwoorden zijn beschikbaar door de wereld rond ons te observeren
MAAR:
• Ons empirisch vernuft is niet perfect! Onze waarneming en interpretatie van de wereld
rond ons zijn niet altijd correct
• Sensorische ervaring kan ons misleiden (e.g., visuele illusies)
• Waarneming ook nog eens gekleurd door voorgeschiedenis, voorkennis, emoties,
verwachtingen, gevoelens, overtuigingen op perceptie (als twee mensen hetzelfde
waarnemen, betekent dat niet dat ze hetzelfde zien, je komt met een heel rugzakje waar
van alles inzit, wat anders is dan iemand anders zijn rugzakje, dat kleurt ook je
waarneming)
3
, • Misinterpretatie van sensorische ervaring (bv. ooggetuigenverslagen zijn vaak erg
vertekend)
• Kost tijd: met de empirische methode ga je bij een probleem verschillende oplossingen
uitproberen ( rationele methode) = trial-and-error (bv. Empirische methoden zou in
het autovoorbeeld betekenen dat je alle mogelijke alternatieven gaat uitproberen, dus
eerst eens met de taxi gaan, dan met de fiets, dan iemand bellen… uiteraard niet
efficiënt, je gaat de rationele methode gebruiken)
• Kan gevaarlijk zijn (e.g., zijn deze paddenstoelen eetbaar of giftig?)
Quiz: Welke niet-wetenschappelijke methoden om kennis te vergaren worden hier gebruikt?
Een student gelooft dat hij beter zal scoren op examen als hij zijn gelukssokken draagt
Tenacity
Voor je op restaurant gaat, gebruik je Google om het adres van het restaurant op te zoeken
Authoriteit
Vorig jaar waren Tim en Jack beide te klein om op de achtbaan te mogen. Jack ging dit jaar terug en
mocht nu wel op de achtbaan. Tim weet dat hij groter is dan Jack. Hij weet dus dat hij er nu ook op
zal mogen.
Rationalisme
1.2 De wetenschappelijke methode om kennis te vergaren
• = Manier om kennis te vergaren waarbij specifieke vragen geformuleerd worden en er
vervolgens systematisch naar antwoorden gezocht wordt
• Bevat verschillende elementen van de niet-wetenschappelijke methoden
• Deze combinatie tracht de beperkingen van individuele methoden te vermijden
• Doel = zo accuraat mogelijke antwoorden bekomen
• Bevat verschillende stappen
Vb: wetenschappelijke paper over dat wanneer je je pijn doet je vaak de neiging hebt om te vloeken.
(Stephens, Atkins, Kingston)
STAPPEN:
Stap 1
• OBSERVATIE van gedrag of andere fenomenen
• Trekt je aandacht, roept vragen op
• Vaak informeel, natuurlijk, niet gepland, niet systematisch
• Direct of indirect
• Voorb: Stephens, Atkins & Kingston (2009) merkten op dat ze vloeken telkens ze pijn ervaren
• Vaak worden de observaties gegeneraliseerd inductie: op basis van enkele observaties
wordt een algemene conclusie bereikt
• Voorb: vloeken is een gebruikelijke, bijna universele, reactie op pijn
4
,Stap 2
• HYPOTHESES vormen
• Identificatie van variabelen die geassocieerd zijn met je observatie (Welke variabelen hebben
allemaal iets met de observatie te maken, wat zit er allemaal in de observatie wat betreft
variabelen?)
• Variabelen: karakteristieken of condities die variëren binnen en/of tussen verschillende
personen (e.g., leeftijd, gezondheidstoestand, persoonlijkheid, intelligentie, etc.)
• Je observaties kunnen beïnvloed worden door verschillende variabelen en deze kunnen de
observatie (deels) verklaren
• Voorb: de geobserveerde relatie tussen pijn en vloeken kan beïnvloed worden door
verschillende andere variabelen (acute versus chronische pijn, alleen of in aanwezigheid van
anderen, persoonlijkheid, etc.)
• Selecteer één van de mogelijke verklaringen voor de observatie die je gaat evalueren in een
wetenschappelijke studie = HYPOTHESE
• Bevat een beschrijving/verklaring van een relatie tussen variabelen
• Andere mogelijke verklaringen worden niet ontkend, maar (voorlopig) niet opgenomen
• Geen definitieve verklaring, maar een mogelijke, voorlopige verklaring die getest en kritisch
geëvalueerd moet worden
• Voorb: vloeken is een gebruikelijke reactie op pijn omdat het vloeken de ervaring van pijn
wijzigt en de ervaren intensiteit van de pijn vermindert
Stap 3
• PREDICTIES vormen
• Hypothese toepassen op een specifieke, observeerbare situatie
• Eén hypothese kan aanleiding geven tot verschillende predicties
• Elke predictie verwijst naar een specifieke situatie/gebeurtenis die kan gemeten en
geobserveerd worden
• Predicties moeten toetsbaar zijn: het moet mogelijk zijn om de predictie te ondersteunen of
weerleggen obv observaties
• We vormen predicties op basis van deductie: op basis van een algemene stelling bereiken we
conclusies over specifieke voorbeelden
• Deductie is een logisch proces (rationele methode)
• Hypothese voorb: vloeken is een gebruikelijke reactie op pijn omdat het vloeken de ervaring
van pijn wijzigt en de ervaren intensiteit van de pijn vermindert
• Predictie 1: participanten zouden minder responsief moeten zijn voor pijn wanneer ze vloeken
dan wanneer ze niet vloeken
• Predictie 2: participanten zouden een verhoogde pijntolerantie moeten hebben wanneer ze
vloeken dan wanneer ze niet vloeken
Stap 4
• EVALUEER de predictie obv systematische, geplande observatie (empirische methode)
• Hier vindt het eigenlijke onderzoek of dataverzameling plaats
• Doel = faire en niet-gebiaste test van de onderzoekshypothese door te observeren of de
predictie correct is
• Los van subjectieve interpretatie en verwachtingen
• Voorb: participanten moesten een hand in ijskoud water onderdompelen en er werd gemeten
hoe lang ze dit konden volhouden (pijn tolerantie). In één conditie herhaalden de
participanten een vloekwoord en in de andere conditie herhaalden ze een neutraal woord
5
,Stap 5
• Gebruik de observaties om de hypothese te ONDERSTEUNEN, WEERLEGGEN of
HERSPECIFIËREN
• Vergelijk observaties met predicties gebaseerd op hypothese
• Terug naar STAP 2: hypothesevorming
• Voorb: sommige participanten vertoonden inderdaad een langere pijn tolerantie wanneer ze
vloekten, maar sommigen vertoonden dit niet andere variabelen moeten in rekening
gebracht worden (persoonlijkheid, neiging tot vloeken, etc.)
DUS:
Wetenschappelijk onderzoek =
• Serie van stappen die steeds opnieuw doorlopen worden
• Observatie hypothese predictie observatie
hypothese etc.
• Circulair proces dat nooit af is
De wetenschappelijke methode moet beantwoorden aan drie
belangrijke principes:
Drie belangrijke principes van de wetenschappelijke methode:
1. Wetenschap is empirisch: we zoeken antwoorden obv gestructureerde en systematische
observaties (we gaan doen, meten, en dat doen we heel nauwgezet)
o Observaties zijn zo gestructureerd dat ze duidelijke ondersteuning of weerleging van
de hypothese bieden
o Observaties zijn systematisch in de zin dat ze uitgevoerd worden in een set van
condities zodat we onze vraag accuraat kunnen beantwoorden
2. Wetenschap is openbaar: de observaties zijn beschikbaar voor de evaluaties van anderen (bv.
andere wetenschappers)
o Anderen moeten exact hetzelfde stap-voor-stap proces kunnen herhalen = replicatie
o Verzekert verifieerbaarheid van observaties, evalueren of onderzoek goed is gedaan
o Hoe? Publicaties in wetenschappelijke tijdschriften, presentaties op
wetenschappelijke congressen, open data (zie later)
o Peer review (= experten uit hetzelfde domein lezen artikel/onderzoek grondig door
en evalueren het (soms meerdere keren) voor het gepubliceerd wordt)
o Vergt een heel gedetailleerde beschrijving van de methode (cf. master thesis)
o Laat toe om observaties te repliceren en zo bevindingen te bevestigen of weerleggen
3. Wetenschap is objectief:
o De overtuigingen en biases van de onderzoeker mogen geen invloed hebben op de
resultaten van de studie
1. Geloof in een bepaalde theorie, verwachtingen over het resultaat van een studie
2. Soms gebruiken we daarom blinde procedures, waarbij de onderzoekers die de
observaties verzamelen blind zijn voor de details van de studie (weet niet wat de
hypothese of de predicties zijn)
6
,Wat is pseudowetenschap?
• Wetenschap pseudowetenschap
• Ontbreken van empirische evidentie (e.g., astrologie, aromatherapie)
• Geen toetsbare en weerlegbare hypotheses (evidentie tegen de theorie wordt genegeerd)
• Gebaseerd op subjectief bewijs (“handpicking” van succesverhalen)
• Stagneert, blijft onveranderd door de jaren heen (itt. de wetenschap die constant evolueert)
• Niet gegrond in vorig onderzoek (itt. wetenschap: wetenschappelijk literatuur eerst
doornemen voordat je onderzoek doet)
1.3 De empirische cyclus
• = onderzoeksproces , manier waarop de wetenschappelijke methode toegepast wordt om
een interessante vraag te beantwoorden
• Van algemeen idee tot dataverzameling tot interpretatie van resultaten
• Verschillende stappen waarbij je als onderzoeker bij elke stap beslissingen moet nemen
• Elke beslissing heeft voor- en nadelen
• Dit is het “geraamte” voor de rest van wat we het 1e semester nog zullen behandelen
7
,Stap 1
• Ontwikkelen van een onderzoeksidee, een interessante vraag
• Selecteren van een algemeen thema (e.g., angst, pijn, aandacht, geheugen, management
stijlen, etc.)
• Review van de wetenschappelijke literatuur
• Vertrek van intrinsieke interesse!
• Dit algemeen startpunt zal verder evolueren tijdens het raadplegen van literatuur tot een
specifieke onderzoeksvraag
• Tijdens dit proces zal je ook kennis verwerven omtrent de variabelen die binnen dit thema
onderzocht worden en hoe ze gerelateerd zijn aan elkaar
Stap 2
• Vorm een hypothese
• Op basis van jouw onderzoeksvraag en de relevante wetenschappelijke literatuur
(onderbouwd!)
• Geeft een voorlopig antwoord op de onderzoeksvraag
Stap 3
• Bepaal hoe je jouw variabelen zal definiëren en meten
• Zo dat je ze kan meten adhv empirische observatie
• Kan gebaseerd zijn op wetenschappelijke literatuur
• Voorb: hoe gaan we pijnintensiteit definiëren en meten (e.g., pijntolerantie gebruiken door te
meten hoe lang participanten hun hand in ijskoud water kunnen houden)? Wat is intense pijn
en milde pijn? Hoe gaan we vloeken meten? Etc.
• Eens de variabelen gedefinieerd zijn: hypothese vertalen in predictie(s)
• Hou rekening met je participanten (STAP 4)
Stap 4
• Identificeer de participanten (deelnemers) voor de studie
• Wie? In- en exclusie (effect op generaliseerbaarheid)
• Hoeveel? Sample size berekening, power
• Hoe/waar recruteren?
• Ethisch omgaan met participanten!
Na STAP 4 heb je een specifiek onderzoek gecreëerd waarmee je je hypothese (STAP 2) gaat testen.
Dit onderzoek specifieert exact welke variabelen je zal definiëren en meten op basis waarvan je een
predictie hebt gemaakt (STAP 3) en wie je zal observeren en meten (STAP 4).
Stap 5
• Selecteer een onderzoeksstrategie
• Algemene aanpak om je hypothese te evalueren
• Experiment, survey, case study, etc.
• Bepaald door:
Het type vraag: verschillende vragen vergen soms verschillende
onderzoeksstrategieën
Voorb: leidt vloeken tot een hogere pijntolerantie VS leidt vloeken tot een
subjectieve vermindering van pijn
Ethiek en andere beperkingen (e.g., beschikbare apparatuur)
8
,Stap 6
Selecteer een onderzoeksdesign: specifieke methodes en procedures
E.g., welke condities ga je nodig hebben? Observatie op 1 moment of herhaaldelijk? Binnen-groep of
tussen-groep design? Etc.
Stap 7
Voer de studie uit: dataverzameling: in groep of individueel? In welke omgeving? Implementeer alle
vorige beslissingen!
Stap 8
Evalueer de data obv statistische methodes (zie vakken statistiek)
Stap 9
Rapporteer de resultaten: openbaar! Wetenschappelijk artikel, maar ook data bijvoorbeeld
openbaar delen studie wordt deel van de “general knowledge base” en anderen kunnen de
procedure repliceren of weerleggen (psychologie: APA style)
Stap 10
• Verfijn of herformuleer je onderzoeksidee
• Onderzoek genereert vaak meer vragen dan dat het beantwoordt
• Hypothese bevestigd:
Onderzoek de grenzen van het resultaat (geldt dit nog steeds voor een andere
doelgroep? Geldt dit nog steeds als ik een bijkomende variabele in het design
opneem?)
Verfijn de originele onderzoeksvraag: Wat veroorzaakt mijn resultaat? Wat is het
onderliggende mechanisme? (Waarom ipv Wat)
• Hypothese weerlegd (“negatieve resultaten”): premissen bijstellen
9
, Hoofdstuk 2: Hypothesen formuleren
Stap 1 leren we uitgebreid in “Rapporteringsvaardigheden in de psychologie”.
Daarom gaan we meteen naar Stap 2 .
Hoe formuleer je hypothesen?
• Op basis van je interessante vraag
• Voorlopig antwoord op de vraag
• De resultaten van een empirische studie zullen de hypothese ondersteunen of weerleggen
• Wat is een goede hypothese?
1. Logisch
2. Toetsbaar
3. Weerlegbaar
4. Positief
1. Logisch
Hypothese moet een logische conclusie zijn van een logisch argument:
Argument:
Academisch succes wordt sterk gewaardeerd en gerespecteerd
in de gemeenschap door ouders en leerkrachten Vorig onderzoek
permissen
Gewaardeerd en gerespecteerd worden door anderen draagt
bij tot sterker gevoel van eigenwaarde
Hogere niveaus van academisch succes zullen gerelateerd zijn Huidig onderzoek
aan sterker gevoel van eigenwaarde logische conclusie
= hypothese
2. Toetsbaar
• Alle variabelen, gebeurtenissen en individuen betrokken in een hypothese moeten
geobserveerd en gemeten kunnen worden
• Geen hypotheses over imaginaire of hypothetische situaties
• Het gaat om echte situaties, echte gebeurtenissen, echte individuen
3. Weerlegbaar
• Het moet mogelijk zijn om onderzoeksresultaten te bekomen die omgekeerd zijn aan de
hypothese
• Falsifieerbaar
• Hypothesen waarvan het onmogelijk is om aan te tonen dat ze foutief zijn, zijn niet
geschikt voor de wetenschappelijke methode
• Oppassen met waardeoordelen, morele of religieuze zaken, hypothetische situaties
• Maar: ook deze thema’s kunnen onderzocht worden zolang er een toetsbare en
weerlegbare hypothese wordt geformuleerd
10
