Even bijpraten met…Arjan Heyma

Arjan Heyma is namens SEO Economisch Onderzoek projectcoördinator van het onderzoek naar de effecten van de vijf concepten van de InnovatieImpuls Onderwijs.
Treedt het effect dat door de voortrekkerscholen verwacht werd ook op bij de scholen die het concept gaan overnemen? En voor de toekomst: hoe voer je deze innovatieconcepten zo in, dat het tot een succes leidt? Om antwoord te kunnen geven op dergelijke vragen doet SEO samen met ResearchNed onderzoek naar de effecten van de innovatieve concepten op de arbeidsproductiviteit, de kwaliteit van het onderwijs en op de werkdruk van leraren. Arjan ontwikkelt samen met het onderzoeksteam de onderzoeksopzet, coördineert het onderzoek en is de contactpersoon naar het Ministerie van OC&W. In de dagelijkse gang van zaken is hij bovendien regelmatig bij de praktijk van het onderzoek betrokken.
Waar zijn jullie als onderzoekers in deze fase van het project druk mee?
We zijn nu druk bezig met de nul-meting. Naar veel scholen zijn de eerste vragenlijsten er al uit, op enkele andere komen ze binnenkort. De vijf concepten verschillen onderling sterk qua invulling. Daarom hebben we de tijd genomen om deze verschillen in kaart te brengen en vragenlijsten hier zorgvuldig op aan te passen. We vragen iedere school hoe het ervoor staat, op kenmerken die specifiek zijn voor het betreffende concept; de stand van de techniek, van de organisatie, de personeelssamenstelling, etc.
Om de essentiële kenmerken van ieder concept helder te krijgen, hebben we scholen bezocht en met projectleiders en penvoerders gesproken. Deze kenmerken hebben we geobjectiveerd, dit is nodig om uiteindelijk een goede meting uit te kunnen voeren. Op basis van deze kenmerken zijn de vragenlijsten vormgegeven. Deze vragenlijsten zijn vervolgens weer door de projectleiders gecheckt.  De komende jaren zal zo’n meting steeds herhaald worden, om zo te bepalen hoe de concepten in afzonderlijke scholen vorm krijgen.
Een tweede belangrijk onderwerp in deze fase van het onderzoek is de zogenaamde ‘administratieve uitvraag’. Hierin vragen we om gegevens over aantallen leerlingen en personeelsleden die bij de concepten betrokken zijn, alsmede over onderwijsprestaties.  Dergelijke administratieve gegevens zijn gelukkig ‘geduldig’, ze kunnen altijd een paar maanden later nog teruggezocht worden. Op dit moment werken we hard aan het schrijven van een handleiding voor scholen, om het voor hen gemakkelijker te maken om deze gegevens uit hun administratieve systemen te halen. Voor het schrijven van deze handleiding hebben we, net als bij het maken van de vragenlijsten, eerst op een aantal scholen rondgekeken. Na het schrijven worden de handleidingen op een aantal scholen getest, waarnaar ze over alle scholen verspreid worden.
Wat zal de eerst volgende belangrijke stap in het onderzoek zijn?
In mei werken we aan de enquêtes die zullen worden afgenomen onder leraren en leerlingen. Tegen de zomer zullen zowel leerlingen als leraren gevraagd worden om een enquête in te vullen waarin ze hun mening over ‘hun’ project kunnen geven. Onder docenten zal verder gevraagd worden naar hun ervaring van de werkdruk.
Enerzijds doen jullie een zuivere effectmeting die aan de wetenschappelijke standaarden moet voldoen, en anderzijds voeren jullie dit onderzoek uit binnen de onderwijspraktijk waarin innovatieve concepten vaak nog geen vaststaande vorm hebben. Hoe brengen jullie beide samen?
Onze rol is om dat wat nog ontwikkeld moet worden nu al te objectiveren. Scholen zijn gekomen met goede plannen om innovatieve ideeën te ontwikkelen, maar kunnen nu vaak nog niet exact aangeven hoe die innovatie er in de praktijk precies uit zal zien. Natuurlijk maakt dit het voor ons lastiger, maar ook boeiender om te onderzoeken. Wij proberen zoveel mogelijk mee te lopen met de gedachtegang over de verschillende concepten, om die vervolgens tijdens het proces te objectiveren. Het kan best zijn dat wij in het begin van het proces dingen meten die uiteindelijk niet kenmerkend blijken te zijn voor een concept. Andersom kan het ook zo zijn dat we tijdens het proces met elkaar essentiële kenmerken van de concepten ontdekken, waar we ons in het begin nog niet bewust van waren. Wij proberen steeds zo ver mogelijk vooruit te denken en hier de vragenlijsten op aan te passen, maar het is niet uitgesloten dat er nieuwe elementen bij komen, terwijl andere vragen juist vervallen. Omdat er jaarlijks wordt gemeten, kan de gegevensverzameling worden aanpast aan de praktijk.  Juist omdat gegevens niet alleen door de tijd met elkaar worden vergeleken, maar ook tussen experiment- en controlescholen, kunnen effecten van veranderende omstandigheden nog altijd goed worden gemeten. 
SEO en ResearchNed voeren dit onderzoek samen uit. Wat is precies de rol van de verschillende onderzoeksbureaus? En waarom wordt het onderzoek niet door één partij uitgevoerd?
Zowel SEO als ResearchNed zijn kleine specialistische onderzoeksbureaus met een beperkt aantal onderzoekers. Ieder bureau op zich heeft nauwelijks voldoende capaciteit voor deze grote klus, daarom hebben we besloten het samen te doen. Wij werken als twee partijen naast elkaar, en voeren dezelfde soort werkzaamheden uit. SEO heeft naast de algehele projectleiding de verantwoordelijkheid over de projecten SlimFit en Leerlingen voor Leerlingen; ResearchNed doet onderzoek bij de projecten Videolessen, Onderwijsteams en E-klas/PAL. Daarnaast vullen beide bureaus elkaar ook aan; SEO heeft meer ervaring met kwantitatieve effectevaluaties, ResearchNed heeft meer ervaring met projecten in het primair en voortgezet onderwijs.
Waarom is het voor jou als onderzoeker leuk om bij dit project betrokken te zijn?
Voor mij als onderzoeker is het een unieke kans om innovaties te mogen toetsen op effectiviteit in de praktijk. Meestal meet je als onderzoeker vooral achteraf, maar in dit onderzoek kunnen we meekijken terwijl de innovatie ontwikkeld wordt. Zo kunnen we vooraf, tijdens en achteraf meten. Binnen de sociale wetenschappen krijg je als onderzoeker zelden de kans om zo’n onderzoek in de praktijk uit te voeren. Dat maakt de InnovatieImpuls Onderwijs ook voor ons onderzoekers bijzonder.