4 december 2013: Judith Rosmalen
Surprises in de Wetenschap: Hoe kun je onderzoeksdata (te) mooi verpakken?


Surprises in de Wetenschap: Hoe kun je onderzoeksdata (te) mooi verpakken?

Terwijl veel mensen nog de laatste sinterklaasinkopen deden en de wind langzaam aanwakkerde voor de herfststorm die eraan zat te komen, waren er toch ook vele geïnteresseerden naar het Burgerweeshuis gekomen om te luisteren naar de Science Café-lezing van prof.dr. Judith Rosmalen over “Surprises in de wetenschap”.

De eerste surprise die Judith voor het publiek in petto had was het vragenlijstje dat voor aanvang op alle stoelen was gelegd. Judith vroeg of iedereen dat vragenlijstje even wilde invullen. Het bijzondere aan het lijstje was dat er helemaal geen vragen op stonden, maar alleen antwoorden. En terwijl het publiek worstelde met deze onmogelijke opdracht somde Judith een aantal stellingen op die ze in de loop van de lezing zou behandelen, stellingen als “Vrouwen, vooral die met grote borsten, zijn dommer dan mannen”, “Clarence Seedorf heeft 14 doden op zijn geweten”, en “Proefpersonen doen alles voor je en er komt altijd wat uit”, om er enkele te noemen.

Bij de bespreking van elk van deze stellingen liet Judith zien dat er in het bijbehorende onderzoek, of dat nu serieus, schertsend, of kritisch van aard was, telkens wel iets bijzonders aan de hand was waardoor bijvoorbeeld de conclusie in de stelling eigenlijk niet verantwoord was, of dat er stiekem iets anders aangetoond werd dan de argeloze onderzoeksmedewerkers dachten. Zo was bij de “vrouwen met grote borsten”-stelling de dataset veel te klein, waardoor de betrouwbaarheid van de conclusie in het geding kwam. En bij het onderzoek over Clarence Seedorf en zijn gemiste penalty op het Europees kampioenschap voetbal in 1996 bleek dat het hogere aantal doden ten gevolge van hartfalen in het bewuste weekend eigenlijk een terugkerend verschijnsel was in elk willekeurig weekend. Een ander onderzoek, waarbij medewerkers werd gevraagd te verifiëren dat een bepaalde groep ratten beter presteerde in een doolhof dan een andere groep, liet zien dat de verwachte uitkomst een sterk effect kan hebben op de werkelijke uitkomst.

Omdat het tegen Sinterklaas liep had Judith enkele sinterklaasliedjes enigszins herschreven om haar verhaal te illustreren, en het Science Café-publiek zong vrolijk mee. Waarmee Judith aantoonde dat proefpersonen eigenlijk alles voor je willen doen, iets wat ook al bleek uit het wonderlijke feit dat bijna iedereen in het publiek het “vragenlijstje” had ingevuld. Zo mogelijk nog wonderlijker was de uitkomst hiervan: zonder dat er sprake was van vragen bleek dat de antwoorden netjes voldeden aan een reeds vastgesteld statistisch patroon van het grote aantal keren dat dit lijstje eerder elders was “ingevuld”.

Twee personen die Judith op basis van eerdere vragen aan het publiek als slachtoffer had uitgekozen mochten ten slotte samen één van Judiths herschreven liedjes zingen, een kerstliedje in dit geval, waarin ze zichzelf neerzette als “wijze vrouw”. Dit bewoog één van de twee onfortuinlijke heren na afloop te informeren naar Judiths cupmaat, wat, gezien de allereerste stelling aan het begin van de lezing, natuurlijk niet geheel onterecht was.

Al met al genoeg stof voor vragen, zo bleek na de pauze. Zelfs Lise Low, die op haar met feestelijke bloemen versierde keyboard prachtige covers en eigen nummers ten gehore bracht, liet zich niet onbetuigd tijdens de discussie. Ze vroeg zich af of de onderzoeksplicht aan opleidingen geen afbreuk doet aan de kwaliteit van de onderzoeksdatabase, en of je het niet over moet laten aan mensen die de visie hebben om wetenschapper te zijn. Judith vond van niet, om twee redenen: ten eerste moeten ook beginnende wetenschappers het vak ook leren, en ten tweede bereiken de meeste van die prille studies de literatuur niet, waardoor er geen sprake is van vervuiling.

Naast diverse anekdotes over professoren en Nobelprijswinnaars en vragen over de voorbeelden waren er ook nog vragen die meer doordrongen tot de kern van het verhaal. Zo vroeg iemand of er onderzoeksgebieden zijn die vatbaarder zijn voor statistische manipulatie. Volgens Judith is de rekbaarheid van de begrippen in de sociale psychologie en de psychologie in het algemeen een factor, maar wat ook speelt is de competitiviteit en modegevoeligheid van een vakgebied. Een andere vragensteller wilde weten wat het criterium is om iets wetenschappelijk onderzoek te mogen noemen. Judith wist eigenlijk niet of daar een officieel criterium voor is. Toch noemde ze een paar mogelijkheden: de wetenschappelijke methode, en peer review. Bij het laatste maakte ze wel de kanttekening dat een paar jaar geleden een creationist een artikel in een wetenschappelijk tijdschrift gepubliceerd wist te krijgen, en dat iemand anders met een opzettelijk onzinartikel hetzelfde voor elkaar kreeg. Het voorbeeld maakte tegelijk duidelijk dat niet alle zich wetenschappelijk noemende tijdschriften een degelijk peer review-systeem hebben.

Voor wetenschapsliefhebbers was het een heerlijk avondje dat een week eerder was gekomen dan normaal, en de opkomst was er niet minder om. Maar omdat dit geheel aan onze verwachting voldeed moeten we deze uitkomst maar niet al te serieus nemen, weten we nu.

James van Lidth de Jeude leidde de discussie zoals gebruikelijk perfect in goede banen.

Tekst Peter van Diest, fotografie Huub Eggen.

(Zie ook de aankondiging van deze lezing.)