Ik begon vorige week m’n serie blogposts over de resultaten van het piramideprincipeonderzoek van dit jaar niet voor niets met een soort waarschuwing: de echte meerwaarde van het piramideprincipe is moeilijk meetbaar. Daardoor kan het soms bij al dat onderzoek zo lijken dat die extra inspanning die het piramideprincipe van je vraagt voor niets is. Toch is dat niet zo, en daarover ging die vorige post. Dan nu iets over die moeilijke meetbaarheid.

Het meeste tekstonderzoek gebeurt onder studenten. Niet zo gek natuurlijk: die zijn in grote hoeveelheden beschikbaar in de directe omgeving van onderzoekers en ze zijn in het algemeen bereidwillig om aan onderzoek mee te doen, bijvoorbeeld omdat ze het belang van onderzoek doen inzien, en ook wel omdat ze zelf ook wel eens om proefpersonen verlegen zitten. Maar je kunt je heel goed voorstellen dat een eerstejaars student Letteren een adviesrapport anders leest dan de zestigjarige CEO van een multinational: schoolser, braver, minder betrokken, enzovoort. Dus wat zeggen resultaten van onderzoek onder studenten eigenlijk over het ‘echte’ lezen in de praktijk? Dat weten we niet precies.

Daarom is één van de onderzoeksgroepjes op echte lezers afgestapt. Andrea (geciteerd in de vorige post), Chéline en Klaske hebben een adviesrapport piramidaal herschreven en zijn met beide versies naar het bedrijf gegaan waar het rapport oorspronkelijk voor bedoeld was. Hun respondenten konden zich dus wellicht de originele versie herinneren (van een jaar terug ongeveer). De onderzoekers hebben vijf interviews afgenomen over de twee tekstversies. Hun conclusie luidt, in mijn woorden: daar kwam geen zinnig woord uit.

Nouja, dat is iets te zwart-wit: er kwamen wel degelijk een aantal losstaande observaties uit, bijvoorbeeld dat de lezers nogal van elkaar verschilden, bijvoorbeeld in de hoeveelheid tekst die ze lazen (van vrijwel niets tot bijna alles), dat ze het waarderen als het plan van aanpak erin staat, en dat ze de resultaten liever in de lopende tekst hebben dan in de bijlage. Maar wat ze vinden van het piramideprincipe: ???

De respondenten reageerden sterk emotioneel op de inhoud van het advies, voelden zich daar soms door aangevallen en gingen dus in het interview met de onderzoekers in de verdediging. Ze zeiden dan een heleboel, maar met tekststructuur had dat allemaal weinig te maken.

Deze ‘echte’ lezers hadden de neiging om de tekst vooral te doorzoeken op bevestiging van hun eigen verwachtingen. In welke volgorde of structuur de tekst was gegoten, maakte ze niets uit. Dat bleek uit hun antwoorden, soms letterlijk:

(…) uiteindelijk doe je een onderzoek om een conclusie te krijgen. En als de conclusie hetzelfde is, dan heb je ook eenzelfde idee en en en dergelijke over het rapport. En hoe dat dan is opgebouwd, raar gezegd, maakt ons mij denk ik niet heel erg veel uit. Zolang we maar weten waar we aan toe zijn.

Dat geldt helemaal als ze lezen ter bevestiging van hun verwachtingen, zoals een andere respondent:

Ja, nou ja..kijk als je nu op voorhand eigenlijk al een beetje weet wat er komt dan is het niet zo spannend meer he? Ik bedoel, dan kunnen er wel hele rare teksten maar daar lees je toch overheen wat het gaat toch over dat stukje inhoud dat jaa wat je al wist.

Op basis van dit soort uitspraken kun je concluderen dat het lezers voor wat betreft hun eigen rapporten allemaal niets uitmaakt. Piramideprincipe of niet, helder opgeschreven of niet… waar maken wij tekstadviseurs ons druk om? ‘Zo lang ze maar weten waar ze aan toe zijn’.

Nouja… die felbegeerde conclusie, die is wel het eindresultaat van denkwerk, en daarbij kan het piramideprincipe helpen. Dat komt niet uit dit soort onderzoek, waar alleen de tekstversies zijn gemanipuleerd – dat legde ik in mijn vorige post uit. Wat dit onderzoek vooral laat zien, is dat we nog niet de middelen hebben om onder ‘echte’ lezers onderzoek te doen dat het kaf van het koren kan scheiden. Vandaar ook dat de hoofdboodschap van het rapport van Andrea, Klaske en Chéline terecht luidt:

Kwalitatief piramidaal onderzoek met ‘echte’ lezers moet verder ontwikkeld worden.

Ik ben het daarmee eens. Dat soort onderzoek is broodnodig om in de buitenwereld helder te maken wat het effect is van werken aan tekstkwaliteit. Intuïtief voelen veel opdrachtgevers dat prima aan, vooral de ambitieuze en kwaliteitsgevoelige. Het met onderzoek zichtbaar maken is een mooie uitdaging voor de wetenschap.