Vrijdag sloot ik af met een korte opmerking over dat het nog steeds lastig is in het piramideprincipe-onderzoek om het principe op zijn waarde te meten. Eén van de redenen daarvoor is dat de onderzoekssituatie zo kunstmatig is; een andere is dat we ook nog steeds op zoek zijn naar meetinstrumenten. Vandaar dat ik het leuk vond dat één groep studenten zich daar specifiek mee bezig heeft gehouden. Sven, Myrthe, Sander en Aislinn onderzochten of Q-sorting geschikt zou zijn, en inderdaad zijn zij enthousiast.

Ik had zelf nog nooit met Q-sorting gewerkt en vond het dus ook lastig om dit groepje op methodologisch vlak te begeleiden, maar ze konden er gelukkig zelf goed mee uit de voeten. Voor de te meten variabelen ‘eerste indruk’ (na een snelle blik van 30 seconden), ‘vindbaarheid’, en ‘overzichtelijkheid’ ontwierpen ze kaartjes met uitspraken die door de respondenten geordend moesten worden, voor een methodologische en een piramidale inhoudsopgave. De respondenten konden hun keuzes mondeling toelichten, wat past bij het pionierende karakter van dit onderzoek. Vooraf hadden de studenten voor elk van die variabelen een aantal hypotheses opgesteld, op basis van het inzicht in de structuur van adviesrapporten tot nu toe.

Uit het onderzoek bleek vooral dat de methodologische rapporten het precies zo deden als in de hypotheses uitgedrukt, maar de piramidale helemaal niet. Dat betekent vooral dat we kennelijk beter begrijpen hoe methodologische rapporten gelezen worden dan piramidale.

Een voorbeeld was dat we verwachtten dat voor de eerste indruk van de piramidale versie ‘Ik heb nu een globaal beeld van de inhoud van het rapport’ hoger zou scoren dan ‘De inhoudsopgave ziet eruit zoals ik had verwacht’. Daar zit natuurlijk een idee achter over de rol van genre-verwachtingen. Maar die laatste uitspraak scoorde echter verrassend hoog: volgens de respondenten was het de meest toepasselijke uitspraak! Ook al gaven de respondenten in hun eigen woorden aan dat ze wel ‘conclusie’ misten. Geen idee wat er precies in die hoofden gebeurt bij het sorteren van de kaartjes.

En zo ging het dus steeds. Sven, Myrthe, Sander en Aislinn raden aan om de mogelijkheden van Q-sorting nader te verkennen in vervolgonderzoek. Dat kan zeker, maar ook laat dit onderzoek volgens mij zien hoe weinig we eigenlijk nog maar weten van hoe lezers (inhoudsopgaven van) adviesrapporten lezen – ook na drie lichtingen onderzoekscollege en enkele scripties. Het rapporteren over de derde lichting rond ik hiermee bijna af – er volgt nog één groepje, maar dat is nog bezig (vanwege een probleem met het vinden van respondenten). Maar het onderzoek is nog zeker niet afgelopen: er zijn bijvoorbeeld nog enkele scripties in de maak, en bij twee daarvan staat dat lezen van adviesrapporten centraal. Wordt vervolgd dus!