door: Klaas Faber
Claudia Pechstein is geschorst wegens ‘abnormale’ bloedwaarden die
uitsluitend te verklaren zouden zijn door doping. Bij nader inzien zou een bizar
misbruik van statistiek wel eens met afstand het meest ‘abnormale’ aan deze zaak
kunnen zijn. De lezer oordele zelf aan de hand van deze geannoteerde
schets.
Setting the stage
Claudia Pechstein is de eerste sporter
in de geschiedenis die geschorst is op basis van ‘abnormale’ bloedwaarden in
haar biologisch paspoort. Inmiddels is een klein boek over deze (non)dopingzaak
(?) te schrijven. Ik zal me in deze schetsmatige uiteenzetting beperken tot de
betreurenswaardige rol van statistiek in deze zaak. Het is niet onbelangrijk op
te merken dat óók binnen die beperking voldoende onderbouwing resteert voor mijn
persoonlijke overtuiging, namelijk dat het biologisch paspoort gewoon thuis
hoort bij het oud vuil. Immers, volgens Harm Kuipers - mede verantwoordelijk
voor het biologisch paspoort bij de internationale schaatsbond ISU - is
statistiek de basis van deze methodologie [1]. Voeg daaraan toe dat een keten
niet sterker kan zijn dan de zwakste schakel en we zijn klaar om de
wetenschappelijke basis onder het biologisch paspoort weg te trekken.
Alles verkeerd
Bij Pechstein is de statistiek op
werkelijk bizarre wijze misbruikt. Er is:
(1) op definitieniveau gewerkt met
de verkeerde kans waarvoor
(2) een getalletje is ingevuld dat uit
een verkeerde berekening komt rollen. Uiteindelijk is dit
(3) totaal
betekenisloze resultaat ook nog eens vergeleken met de verkeerde
norm.
Kortom: hoe weet je nou of er echt sprake is van een verdachte uitschieter
tijdens het toernooi in Hamar?
Voor een grafische illustratie en verdere uitleg verwijs ik graag naar het
weblog van Jens
Weinreich, de bekende Duitse onderzoeksjournalist die bepaald niet
tot de vriendenkring van Pechstein gerekend wordt.
De verkeerde norm
Bon. Laten we allereerst naar die norm
kijken. Daarvan is de functie uiteraard om het vertrouwen te kwantificeren dat
je mag toekennen aan de conclusie ‘doping’. In het kader van het biologisch
paspoort wordt doorgaans gerept over een ‘afkapgrens’ van 1 op 1000 [1] oftewel
een ‘zekerheidspercentage’ van 99.9%. Olivier de Hon, wetenschappelijk
beleidsmedewerker van de Dopingautoriteit, stelt zelfs dat in deze zaak met een
‘zekerheidspercentage’ van 99.99% is gewerkt [2]. Dat is allemaal aantoonbaar
onjuist.
Op het weblog van Jens Weinreich kan men zélf aan de hand van
relevante bronnen verifiëren dat het CAS-panel zich heeft laten leiden door een
‘zekerheidspercentage’ van 95% ([3], p. 51, punt 183: verwijst naar [4], p. 191,
rechterkolom). Het is met name deze veel te slappe norm die grote aandacht heeft
gekregen in de media [5]. Ik ben daar zelf geheel verantwoordelijk voor. De
reden om juist díe fout te benadrukken is dat de andere fouten veel moeilijker
uit te leggen zijn (vooral in interviews) én omdat het ‘correct’ gebruiken van
de ‘gangbare’ norm (99.9%) reeds een beslissend verschil had gemaakt in deze
zaak.
Ik ga er van uit dat de laatste twee fouten (verkeerde berekening en
verkeerde norm) min of meer uitzonderlijk zijn in de zin dat ik niet verwacht
dit herhaald te zien. Zó dom zal men toch niet zijn?!
De verkeerde kans: eerder Sally Clark en Lucia de B. en dan nu
Claudia Pechstein?
Laten we dan nu de aandacht richten op de eerste
fout, het op definitieniveau werken met de verkeerde kans. Die tamelijk
abstracte fout is inherent aan het biologisch paspoort – noem het een
verborgen gebrek – en leidt tot de vergelijking van Claudia Pechstein met Sally
Clark [6] en Lucia de B. [7], beiden triest voorbeeld van misbruik van
statistiek in een strafzaak [8]. Sally Clark: tweemaal wiegedood, dat kon geen
toeval zijn, dus tweevoudige moord. Levenslang. Na drie jaar heropening en
vrijspraak. Geen happy end [6]:
“Sally werd op 16 maart 2007 dood
gevonden in haar huis in Hatfield Peverel. Oorspronkelijk werd gedacht dat ze
aan een natuurlijk dood was gestorven. Later bleek dat ze was gestorven aan
acute alcohol vergiftiging. De lijkschouwer vond geen bewijs voor zelfmoord. Ze
liet haar man en haar derde zoon achter.”
Dichter bij huis speelt de zaak Lucia de B. waarin eveneens de kans op schuld
schromelijk is overschat door met de verkeerde kans te werken. In deze zaak
wordt uiteindelijk in maart 2010, zeven jaar na haar veroordeling tot
levenslang, een vrijspraak verwacht [7].
De misleidende fixatie op ‘abnormale’ resultaten
Dan nu
de take home message: het op definitieniveau werken met de verkeerde
kans hangt één-op-één samen met de thans allesbepalende doch misleidende fixatie
op ‘abnormaal’.
Een eenvoudig voorbeeld kan wellicht verduidelijken hoe soepeltjes op de
automatische piloot een onverantwoorde conclusie kan worden getrokken uit een
‘abnormaal’ resultaat. Stelt u zich een damesloterij voor met duizend loten,
waarbij slechts één prijs wordt uitgekeerd. Het langs eerlijke weg winnen van
die loterij is redelijk ’abnormaal’. Met die stelling kunt u het onmogelijk
oneens zijn: het is gewoon ‘normaal’ om te verliezen – de overgrote meerderheid
doet het u dagelijks voor. Toch wordt op de winnares niet automatisch de
volgende redenering toegepast: de kans om op eerlijke wijze deze loterij te
winnen is 0.1% (1 op 1000), dús heeft ze met een ‘zekerheidspercentage’ van
99.9% vals gespeeld.
Dat deze gedachtengang veel te kort door de bocht is, heb ik reeds
schematisch behandeld in de column ‘Kans op fout positieven verkeerd berekend voor
dopingtesten’. De allesbepalende fixatie op een ‘abnormaal’
testresultaat komt neer op het werken met de zogenaamde specificiteit van de
test. Die specificiteit is hierboven aangeduid als ‘zekerheidspercentage’,
terwijl Harm Kuipers verwijst naar de volstrekt analoge ‘afkapgrens’. Laten we
voor het gemak de veelbelovende term [sic] ‘zekerheidspercentage’ aanhouden.
In die column gaf ik tien maanden geleden al aan terug te komen op het
biologisch paspoort. Bij deze dus. De aldaar gepresenteerde redenering is
algemeen geldig, want gebaseerd op een elementaire stelling uit de wiskunde
(Bayes). Het rekenvoorbeeld waarbij de fractie fout-positieven tachtig maal
hoger uitvalt dan verwacht op basis van het ‘zekerheidspercentage’, zou derhalve
ook op een toepassing van het biologisch paspoort kunnen slaan.
Prosecutor’s fallacy
Het op deze klassieke manier
overschatten van de kans op schuld staat bekend als prosecutor’s
fallacy: je krijgt er namelijk iemand makkelijk mee achter de tralies. Dit
is gebeurd in de zaken van Sally Clark en Lucia de B. Zonder omhaal kan ik
derhalve stellen dat het CAS van het vraagteken in de titel van deze column een
uitroepteken heeft gemaakt.
Ik hecht er aan te benadrukken dat dit overschatten van schuld in de context
van dopingzaken reeds zeer expliciet aan de orde is gesteld door de bekende
biostatisticus Berry [9]. In een respons op dat artikel ontkent Sottas - de
onderzoeker die het biologisch paspoort voor het WADA heeft ontwikkeld -
categorisch dat met de verkeerde kans wordt gewerkt [10]. Dit blijkt echter
bezijden de waarheid te zijn. Men kan eenvoudig verifiëren dat de verkeerde kans
gehanteerd wordt in bijvoorbeeld een artikel waarop de UCI zich baseert, zie
bijschrift van Figuur 1 in [11].
Het klassieke misbruik van statistiek aan de kaak
gesteld
Vanwege een relevante wetenschappelijke publikatie [12],
waarin met name wordt voortgeborduurd op fundamenteel werk van vermaard
rechtspsycholoog Willem Wagenaar, ben ik in juli 2009 door de verdediging van
Pechstein gevraagd om een expert opinion te schrijven. Dat stuk moest
zich vooral toespitsen op de statistische beoordeling van de bloedwaarden van
Pechstein. Ik heb uiteraard Sottas, één van de belangrijkste getuigen van de
ISU, gevraagd waarom hij de gegevens op de klassieke manier mishandelde. Dat was
voor mij, onder andere voortbouwend op de kritiek van Berry, makkelijk inkoppen.
Let trouwens eens op de titel van dat artikel: dopingjagers verkopen het
biologisch paspoort graag als een forensische aanpak. Dat is dus een tikkeltje
misleidend. Het tegendeel is eerder waar: geheel op zichzelf staand, is het
aantoonbaar een gebrekkig bewijsmiddel.
Zes weken na indienen van dat stuk kwam het CAS met haar uitspraak.
Kroongetuige is zonder opgave van redenen teruggetrokken door de
ISU
Zoals bekend, handhaafde het CAS de schorsing. Dat mijn
expert opinion niet geheel zonder effect is gebleven, blijkt echter uit
punt 44 op p. 12 van [3]:
“By communications faxed on 23 and 24 November
2009, the Athlete submitted an urgent application for the reopening of the
hearing in order to have the opportunity to cross-examine Prof. Sottas, who had
not attended the hearing of 22-23 October 2009. The reason for this application
was that one of the Athlete’s attorneys had apparently learned that Prof. Sottas
had revised his previous opinion on the basis of the Appellants’ evidence
submitted on 14 October and, for that reason, the Respondent had not summoned
him to the hearing. The Panel has taken into account the Athlete’s application
and has determined to dismiss it because, in reaching its decision, the Panel
has not relied on the written expert opinion provided by Prof. Sottas.”
Sottas, die overigens helemaal geen professor is, had toch gewoon ter zitting
kunnen uitleggen waarom hij de waarde van het enige bewijsmiddel overschat? Ik
kan er op deze manier, zeker gezien de hieraan voorafgaande aantoonbare
misleiding in wetenschappelijke artikelen, alleen maar ‘bedrog’ van maken.
Over rechten en plichten in de strijd tegen
doping
Buitengewoon navrant aan het biologisch paspoort is dat een
schare backroom scientists eensgezind heeft toegewerkt naar het
reglementeren van prosecutor’s fallacy [10,11]. Daarbij is het extra
navrant dat de aanvoerder van het stel (Sottas) het klaarblijkelijk naar gelieve
kan laten afweten als hij in een concrete zaak ter verantwoording wordt
geroepen. Vergelijk die vrijblijvendheid met de zogenaamde strict
liability van de sporter: hij/zij is immers volledig verantwoordelijk voor
een ‘abnormaal’ testresultaat – en blijft dat zelfs zodra zo’n
kroongetuige wordt teruggetrokken.
Enfin, ik verwacht bijvoorbeeld dan ook niet dat Olivier de Hon,
wetenschappelijk beleidsmedewerker van de Dopingautoriteit, met een deugdelijke
onderbouwing komt van dat ‘zekerheidspercentage’ van 99.99%.
Hoe verder?
Ik ga ervan uit dat het laatste woord in deze
zaak voorlopig nog niet is gesproken. We zijn nu immers slechts getuige van de
zichtbaar falende juridische toets terwijl de wetenschappelijke toets in feite
nog grotendeels in het openbaar moet plaatsvinden.
Noten
[1] T. Zonneveld, Mag ik uw paspoort aub?,
Dagblad De Pers, 3 juli 2009.
[2] E. van Laar, Biomedisch paspoort:
Hoopvolle opsporingstechniek of juridisch wankel, C2W, Nr.
1 (2010) 16-17.
[3] http://www.chemometry.com/Index/Anti-doping/Pechstein/FINAL%20AWARD%20PECHSTEIN[1].pdf
[4]
http://www.chemometry.com/Index/Anti-doping/Pechstein/Banfi,%20Sports%20Medicine,%2038%20(2008)%20187-211.pdf
[5]
M. Scholten en R. Schoof, ‘Zaak Pechstein is gebaseerd op drijfzand’, NRC
Handelsblad, 5 december 2009.
[6] http://nl.wikipedia.org/wiki/Sally_Clark
[7]
http://www.luciadeb.nl/
[8] M. Buchanan,
Conviction by numbers, Nature, 445 (2007)
254-255.
[9] D.A. Berry, The science of doping, Nature,
454 (2008) 692-693.
[10] P.-E. Sottas, C. Saudan en M.
Saugy, Doping: a paradigm shift has taken place in testing, Nature,
455 (2008) 166.
[11] N. Robinson, P.-E. Sottas, P. Mangin en
M. Saugy, Bayesian detection of abnormal haematological values to introduce a
no-start rule for heterogeneous populations of athletes, Haematologica,
92 (2007) 1143-1144.
[12] K. Faber en M. Sjerps, Anti-doping
researchers should conform to certain statistical standards from forensic
science, Science and Justice, 49 (2009) 214-215.