Anti-dopingonderzoeker of analyserobot

In een interview onder de kop ‘Reputatie weg door één druppel urine’ [noot 1] wil Peter van Eenoo – directeur van het Gentse dopinglaboratorium – tegenwicht bieden aan de kritiek van betrapte sporters op zijn laboratorium, dat onafhankelijk en zonder aanzien des persoons oordeelt. Van Eenoo bedrijft volgens eigen zeggen wetenschap op hoog niveau. Is dat juist? De eerste alinea laat ons al twijfelen:

‘Eén druppel urine is voor Peter van Eenoo soms genoeg om een reputatie te breken. Hij vindt in het lichaamsvocht informatie die slinkse topsporters proberen geheim te houden, het stoffelijk bewijs van fraude met verboden middelen als epo en steroïden.’

Het Gentse laboratorium analyseert slechts stoffen in de urine die een aanwijzing kunnen zijn voor doping. Flankerend bewijs moet vervolgens daadwerkelijk dopinggebruik aantonen. Bijvoorbeeld bij een medisch attest is er geen sprake van doping. Mountainbiker Rudi van Houts werd van doping vrij gesproken, wegens verontreinigd vlees [noot 2]. Van Eenoo’s uitspraken over brekende reputaties, slinkse topsporters met geheimen en stoffelijk bewijs van fraude zijn dan ook speculatief en vooringenomen. Ze tasten een onafhankelijk oordeel aan.

Vooroordelen en speculaties
Van Eenoo’s vooroordelen [noot 3] en speculaties kunnen tot ernstige fouten leiden, zoals in de Lucia de Berk case [noot 4]. De feiten toonden slechts overleden patiënten aan. Triest, maar in ziekenhuizen niet ongewoon. Vooroordelen, speculaties en ondeskundigheid van collega’s, chef, Openbaar Ministerie (OM), rechters, deskundigen, enzovoort, maakten van de overleden patiënten door Lucia vermoorde patiënten. De pers beschreef haar als kwaadaardige heks en beeldde haar af als Eucalypta. In werkelijkheid was Lucia een knappe aantrekkelijke jonge vrouw (zie afbeeldingen). Al het ‘bewijs’ werd geïnterpreteerd vanuit de vooronderstelling van schuld, maar dat moest juist bewezen worden (cirkelredenering). Zelfs het ontbreken van bewijs was volgens de Officier van Justitie (OvJ) bewijs, namelijk dat door de slimme Lucia verdonkeremaand was. Zo ben je altijd schuldig. Van Eenoo lijkt met zijn uitspraken gelijksoortige fouten te maken.

Lucia de Berk in werkelijkheid en zoals ze tijdens haar proces werd geportretteerd [noot 5].

De invloed van vooroordelen bleek uit studies [noot 6] waarin artsen werd gevraagd om aan de hand van een patiëntendossier een diagnose te stellen. De helft van de artsen krijgt het dossier zonder verdere informatie, de andere helft met een foute hint (niet meer). In de laatste groep steeg het aantal foute diagnoses dramatisch. Als OvJ, rechters, deskundigen, artsen en zelfs rechtbanktekenaars in hun objectiviteit door vooroordelen worden beïnvloed, is er geen reden om aan te nemen dat directeuren van dopinglaboratoria en andere dopingautoriteiten daarvan gevrijwaard zijn.

Validiteit
We zagen dat een positieve dopinganalyse niet gelijk is aan dopinggebruik. Dat kan slechts als de analyse dopinggebruik honderd procent zeker voorspelt, maar dat is een utopie. De mate waarin een test meet wat ze beoogt te meten noemen we de validiteit. Dit is bij het beoordelen van het testresultaat een zeer belangrijk gegeven. Zeker als we mensen er op veroordelen.

De resultaten van imperfecte dopingtests kunnen we in vier categorieën indelen:
1. Terecht negatief: negatief testen en geen doping gebruikt hebben.
2. Terecht positief: positief testen en wel doping gebruikt hebben.
3. Fout negatief: negatief testen, maar wel doping gebruikt hebben (geluksvogels).
4. Fout positief: positief testen, maar geen doping gebruikt hebben (vals beschuldigd).

Slechts bij perfectie vinden we alleen terechte uitkomsten (categorie 1 en 2). Een imperfecte validiteit geeft fouten (categorie 3 en 4), waarvan het aantal toeneemt met de imperfectie. De validiteit verbeteren (minder fouten) is kostbaar en tijdrovend, terwijl perfectie niet bestaat. De verhouding tussen geluksvogels en valse beschuldigingen wordt beïnvloed door het besliscriterium: de drempelwaarde waarboven doping wordt verondersteld [noot 7]. Volgens de signaal detectietheorie neemt bij verlaging van de drempelwaarde het aantal geluksvogels af (meer gepakten), maar neemt onverbrekelijk het aantal valse beschuldigingen toe. De drempelwaarde verhogen geeft een omgekeerd effect. Bij een drempel van 0 (nul) is iedereen verdacht en bij een maximale drempel niemand. Ik verduidelijk dit met een voorbeeld.

Plagiaat en besliscriterium
Een doodzonde voor (wetenschappelijke) schrijvers is plagiaat: tekstdelen overschrijven, zonder bronvermelding. Maar wanneer is plagiaat echt plagiaat? Hele stukken tekst overschrijven is plagiaat. Op zinsniveau bevatten teksten waarschijnlijk zinnen die anderen ook al eens gebruikten. Soms zeggen we dingen zo. Op woordniveau zijn teksten gelijk. Dat noemen we Nederlandse taal. Aan een nog nooit gebruikt woord als kweterloplas heeft u niets. Een besliscriterium moet dus bepalen wat plagiaat is. Dat ligt waarschijnlijk ergens tussen complete tekstblokken en individuele regels in. Een te hoog criterium geeft (te) veel ruimte voor plagiaat, te laag maakt iedere tekst tot plagiaat.

Monsters bewaren
Het plagiaatvoorbeeld toont dat voor beslissingen gebaseerd op analyses een besliscriterium noodzakelijk is. Daarmee komen we op een andere uitspraak van Peter van Eenoo. Namelijk dat zijn laboratorium op verzoek van de Nederlandse Dopingautoriteit verdachte monsters acht jaar bewaart. Dan is de apparatuur volgens Van Eenoo tienmaal gevoeliger. Monsters die nu negatief zijn, zijn dan mogelijk positief. Vanuit een testtheoretische visie is dit onzin. Stel: een analyse heeft een besliscriterium van 5X. Uitkomsten van 5X en hoger zijn positief, lagere negatief. Stel ook dat we nu minimaal 1X kunnen meten. Als we over acht jaar 0,1X kunnen meten, voegt dat niets toe aan de kennis waarop wij nu onze beslissing baseren.

Een mogelijkheid is dat Van Eenoo en de dopingautoriteiten besliscriteria van 0 (nul) hanteren. Dan pakken ze alle gebruikers, maar zijn er - zoals we zagen - onverbrekelijk veel valse beschuldigingen. De extreem lage clenbuterol waarden waarop Mountainbiker van Houts [noot 2] en Tour de France-winnaar Contador [noot 8] zijn aangeklaagd, lijken hier een aanwijzing voor te zijn. Een besliscriterium van nul hanteren, wijst op een pathologische drang naar een utopische ‘100% doping vrije sport’. Verwoeste sportlevens door valse beschuldigen zijn dan onvermijdelijke bijwerkingen (zoals kaalheid bij chemo).

Omgekeerde bewijslast
Bovenstaande is des te schrijnender omdat de dopingautoriteiten de omgekeerde bewijslast hanteren. Is er iets gevonden, hoe weinig ook, dan moet de sporter bewijzen dat het niet om doping gaat. Volgens de WADA is dit noodzakelijk omdat er anders veel opzettelijk gebruik van doping onbestraft blijft wegens gebrek aan bewijs voor schuldige opzet [noot 9]. Lees de vorige zin nogmaals en herken de cirkelredenering. Onschuld bewijzen is veel moeilijker dan schuld bewijzen, zo niet onmogelijk. Hoe bewijst u dat u nooit in Amsterdam was. Eén foto van u bij de Munttoren bewijst het tegendeel. Is het bewijzen van onschuld normaal al moeilijk, na acht jaar is dat onmogelijk. De methode is: pakken we ze nu niet, dan zetten we ze in de wacht, verfijnen de meetmethode en pakken ze toch. Zoals Armstrong, na twaalf jaar is er nog steeds geen bewijs voor doping [noot 10]. Toch start er nieuw onderzoek. Wie een hond wil slaan, vindt licht een stok.

Opnieuw een symptoom van een pathologische drang naar een utopische ‘100% dopingvrije sport’. Dat in deze ‘war against doping’ onschuldige slachtoffers vallen en de mensenrechten niet gerespecteerd kunnen worden, is onvermijdelijk.

Nog een cirkelredenering
Het acht jaar bewaren van verdachte monsters bevat nog een cirkelredenering. Was de analyse niet juist bedoeld om verdachte monsters op te sporen? Als dat niet lukt, hoe weten we dan dat het monster verdacht is? Opnieuw vooroordeel en speculatie. Er werd dopinggebruik verwacht. Als de analyse dat niet aantoont, bewaren we het monster acht jaar in de hoop toch nog gelijk te krijgen. Net zoals de OvJ bij Lucia de Berk, die het ontbreken van bewijs omdraait naar bewijs. Dan had hij toch gelijk.

Zelfbeeld en cognitieve dissonantie
We kunnen bovenstaande verklaren vanuit twee psychologische verschijnselen. Het ophouden van ons zelfbeeld en cognitieve dissonantiereductie [noot 11]. Voor mensen is hun zelfbeeld belangrijk. Als dat aangetast wordt, geeft dat een onplezierig gevoel: cognitieve dissonantie. Die dissonantie kan ontstaan omdat er geen bewijs voor schuld is, terwijl men daarvan overtuigd was. Of omdat de vooronderstelling van doping in de analyse niet wordt bevestigd. Dissonantie willen mensen zo snel mogelijk reduceren. We kunnen onze oorspronkelijke verwachtingen niet meer uitwissen, die hadden we. Een andere oplossing is het cognitief omdraaien van de oorzaak van de dissonantie, door van geen bewijs toch bewijs maken, zoals de OvJ doet. Dan heeft hij toch gelijk en hij reduceert zijn dissonantie. Of door een ‘verdacht’ monster, dat toch niet verdacht bleek, op de wachtlijst te zetten. Dan hoeven we ons ongelijk nog niet toe te geven en dat reduceert eveneens onze dissonantie. Het zelfbeeld blijft intact.

Een belangrijke eigenschap van de hier beschreven processen is dat ze zelfcontinuerend zijn. In nieuwe gelijksoortige gevallen wordt voor eenzelfde cognitieve oplossing gekozen, anders was de vorige keer ook fout en wordt het zelfbeeld dubbel bedreigd: zowel door nieuwe als door oude gevallen. Ieder nieuw geval bekrachtigt de overtuiging, tot die als ‘waarheid’ is geïnternaliseerd. Men realiseert zich niet dat het een cirkelredenering is, een zelf geconstrueerde schijnwaarheid. Men zoek vervolgens naar flankerend bewijs dat overeenstemt met of geïnterpreteerd wordt in de richting van de overtuiging. Dan blijft het zelfbeeld intact. In de psychologie staat dit bekend als confirmation bias, in een bredere context als tunnelvisie. Door vooroordelen staat dus feitelijk niet de ‘(doping)verdachte’ terecht, maar het zelfbeeld van de aanklager.

Mathilda
Van Eenoo vertelt trots over ‘Mathilda’, de nieuwe kostbare ‘koolstof-isotoop-ratio-massa-spectrometer’. Die kan schommelingen in het lichaam zichtbaar maken van stoffen die zowel van nature in het lichaam kunnen voorkomen, als toegediend kunnen worden. Die schommelingen wijzen dan op doping. Ook hier maakt Van Eenoo een cruciale denkfout. Die schommelingen wijzen niet op doping, maar kunnen op doping wijzen. Dat moet dan wel bewezen worden.

Bovenstaande kritiek is identiek aan die op het huidige biomedisch paspoort zoals dat toegepast wordt om het gebruik van epo of bloeddoping aan te tonen. Claudia Pechstein werd hier mogelijk de dupe van. Deze case werd door Klaas Faber gedetailleerd beschreven [noot 12]. De werkwijze behelst in het kort dat waarden buiten de gehanteerde statistische waarschijnlijkheidgrens [noot 13], als doping worden geïnterpreteerd. De denkfout die daarbij gemaakt wordt probeer ik te verduidelijken met opnieuw Lucia de Berk als voorbeeld.

Prosecutor’s fallacy
De Berk werd onder andere veroordeeld op de kans van 1 op 342 miljoen [noot 14] dat zij bij zoveel overlijdens aanwezig was. Door deze uiterst kleine kans moest er wel een verband zijn tussen Lucia en de sterfgevallen. Maar dat bewijst nog geen moord. Had Lucia zwaardere shifts? [noot 15] Was Lucia een slechte verpleegster? [noot 16] Toespitsing op moord, zonder overtuigend bewijs, is een schoolvoorbeeld van vooringenomenheid.

Deze redenering kent echter ook een ernstiger principiëlere valkuil. Lucia was bij alle overlijdens betrokken, alleen al omdat de OvJ ze haar ten laste legde. De 1 op 342 miljoen kans is dan een 1 op 1 (100%) kans geworden. De vraag is dan hoe groot de kans is dat die overlijdens veroorzaakt zijn door massamoord of door iets anders. Gezien het uiterst geringe aantal massamoordenaars in onze ziekenhuizen, is de kans op massamoord zeer gering: niet nul, maar dan is overtuigend bewijs noodzakelijk. Kortom, de OvJ stelde de verkeerde onderzoeksvraag: “Wat is de kans dat Lucia bij zoveel overlijdens aanwezig was?” Die vraag was al beantwoord: 100%. De juiste vraag was: “Als Lucia bij zoveel sterfgevallen aanwezig was, hoe groot is dan de kans dat het om massamoord gaat?”. Die kans is erg klein. We noemen dit de prosecutor’s fallacy.

Bij Mathilde lijkt Van Eenoo dezelfde denkfout te maken. De vraag is niet: ‘Komt een waarde buiten de gehanteerde statistische waarschijnlijkheidsgrens overeen met doping?’ De juiste vraag is: ‘Hoe groot is de kans dat een waarde die buiten de gehanteerde statistische waarschijnlijkheidsgrens valt, door doping wordt veroorzaakt? Daar heeft Van Eenoo vrijwel zeker geen antwoord op.

Afsluiting
In de eerste alinea vroegen we ons af of Van Eenoo wetenschap op hoog niveau bedrijft, zoals hij zelf vindt. Op basis van het interview kan slechts broddelwerk geconcludeerd worden, met hooguit de kwalificatie pseudowetenschap. Een pseudowetenschap die mensen ernstig beschadig.

Noten:
[1] Driel, M. van (2011, 1 maart). Reputatieweg door één druppel urine. Amsterdam: Volkskrant.
[2] Leeuwarder Courant (2011, 17 maart). Van Houts heeft niet bewust doping gebruikt. Leeuwarden, Leeuwarder Courant.
[3] Op zich is er niet mis met vooroordelen. Sterker nog, zonder kunnen we niet leven. We zouden iedere situatie steeds opnieuw moeten verwerken en daardoor binnen de korte tijd gek worden. Hier bedoelen we met vooroordelen de negatieve vorm van het begrip, oordelen op basis van ongefundeerde ideeën. Dit wordt meestal ook met het begrip vooroordelen bedoeld.
[4] De Lucia de B(erk) case is zo kenmerkend voor dit type fouten, dat nog lang als voorbeeld gebruikt zal worden. Mijn voorbeelden komen uit:
- Derksen, T. (2006). Lucia de B. Reconstructie van een gerechtelijke dwaling. Diemen: Uitgeverij Veen Magazines B.V.
- Derksen, T. (2008). Het O.M. in de Fout: 94 structurele missers. Doemen: Uitgeverij Veen magazines B.V.
- Derksen, T. (2010). De ware toedracht. Praktische wetenschap voor waarheidzoekers. Uitgeverij Veen Magazines B.V.
[5] Gill, R.D. (2011). Lies, damned lies, & legal truth. Op 20 maart 2011 hier gedownload
[6] Brooks, L.R., LeBlanc, V.R., & Norman, G.R. (2000). On the Difficulty of Noticing Obvious Features in Patient Appearance. Psychological Science, 11 (2). 112-117.
Leblanc, V.R., Brooks, L.R., & Norman, G.R. (2002). Believing Is Seeing: The Influence of a Diagnostic Hypothesis on the Interpretation of clinical Features. Academic Medicine, 77 (10). 567-569.
[7] Bij dopingtests zijn fout-positieven problematisch: valse beschuldigingen. Fout negatieven kennen we niet. Bij kankertests bijvoorbeeld is dit andersom. Dan zijn de fout-negatieven problematisch: een gezwel wordt over het hoofd gezien. Fout positieven (een niet bestaand gezwel wordt gesignaleerd) zijn vervelend, maar minder erg dan een gemist gezwel.
[8] NRC (2010, 30 september). Contador positief getest; Mosquera wordt genoemd. Amsterdam: NRC
[9] WADA (2009) World Anti-Doping Code. Montreal: World Anti-Doping Agency.
[10] Brouwer, B. & Sierksma, G. (2011) Stop met dopingcontroles in de privésfeer. Op 20-januari 2011 hier gedownload
[11] Festiger, L. (1957). A theory of cognitive Dissonance. Stanford, C.A.: Stanford University Press.
[12] Faber, K. (2010) Claudia Pechstein: de Sally Clark of Lucia de Berk van de sport? Op 4 april 2011 hier gedownload.
[13] De statistische waarschijnlijkheidsgrens is het statistisch significantieniveau (α) dat bepaald of de onderzoekshypothese wordt aangenomen of verworpen. Voor experimenteel onderzoek wordt vaak een α 5% aangehouden. Voor veroordelingen moet α veel kleiner zijn. Uit het interview blijkt niet welke α het Gentse laboratorium aanhoudt.
[14] Deze kansberekening bleek volstrekt fout te zijn, maar is voor het voorbeeld blijven staan.
[15] Een dienst in een ziekenhuis wordt een shift genoemd.
[16] Beoordelingen van Lucia de Berk, voordat ze werd verdacht, waren positief.