Deze week is er niet veel nieuws te melden over het piramideprincipe-onderzoekscollege (leuk woord voor scrabble of galgje eigenlijk), en de komende weken blijft dat misschien zo. Nouja, het geldt voor in het piramideprincipe geïnteresseerde buitenstaanders.

Gister hebben de studenten hun onderzoeksvoorstellen aan elkaar gepresenteerd en hebben we bij sommige haken en ogen van het onderzoek stilgestaan. De komende weken voeren ze het onderzoek uit, en staan we op college stil bij enkele praktische aspecten daarvan: de opdrachtformulering voor de proefpersonen, interviewvragen, de te gebruiken teksten (bijvoorbeeld: twee versies van een rapport).

Een paar van de methodologische haken en ogen zijn voor ons niet op te lossen. Ik noem er twee:

1. Willekeurige proefpersonen lezen een adviesrapport anders dan de ‘echte’ lezer. De makkelijkst ‘beschikbare’ proefpersonen zijn studenten. Studenten lezen al anders dan, zeg, de 50-jarige CEO van een groot bedrijf. Bovendien maakt uit dat ‘in het echt’ de schrijver en de lezer elkaar kennen en de lezer ongetwijfeld al allerlei verwachtingen heeft over het rapport – en er zeker belang bij. Zo’n zelfde verhouding tussen schrijver en lezer is in een experimentele situatie niet na te bootsen. Het is dus altijd maar de vraag wat de uitkomsten zeggen over het ‘echte’ lezen van adviesrapporten (in onderzoekstermen heet dat de ecologische validiteit). De studenten proberen dit probleem op verschillende manieren te omzeilen, en er is één troost: ik denk dat de kans dat het piramideprincipe goed uit de verf komt bij deze soort proefpersonen kleiner is dan in het echt – simpelweg omdat het principe dan dus gebruikt wordt in een situatie waar het niet voor bedoeld is. Als we dus iets vinden, hebben we (denk ik) echt wat.

2. Als je een origineel rapport neemt, en je herschrijft dat piramidaal, heb je twee behoorlijk verschillende teksten gecreëerd. Dat maakt elke vergelijking ertussen onbetrouwbaar en lastig te interpreteren. Stel, je legt die twee versies aan twee verschillende groepen proefpersonen voor, en de piramide-groep is veel enthousiaster over het rapport dan de originele groep. Waar komt dat dan precies door? Dat zou dan bijvoorbeeld best wel eens (ook) kunnen liggen aan de lengte (de piramidale versie is korter), de schrijfstijl (de herschrijver schrijft beter dan de orginele schrijver – wat in het geval van de studenten die originele rapporten herschreven zeker het geval is), aan één klein aspectje van het piramideprincipe (de inhoudsopgave leest als mini-samenvatting bijvoorbeeld), enzovoort, enzovoort. Je hebt dan dus wel een effect, maar je weet niet waar het door komt, en je kunt dan dus geen conclusie trekken over het piramideprincipe als zodanig.

Door dit soort (en nog een paar andere – onderzoek doen is knap lastig!) problemen is er een kans dat er niets uitkomt. Het onderzoek is daarom niet alleen naar de effectiviteit van het piramideprincipe, maar ook naar de mogelijkheden en beperkingen van de methoden om het piramideprincipe te onderzoeken. Het is dus echt pionieren. Vandaar ook dat de onderzoeken beperkt zijn van opzet en allemaal verschillend.

Als we niet weten hoe we in één het piramideprincipe aan een test kunnen onderwerpen, en als dat misschien zelfs niet goed mogelijk is, dan maar met een aantal omtrekkende bewegingen. Ik ben hartstikke benieuwd.