Wetenschapper toont vooroordelen aan in jureren van dressuur

door: Bas Kammenga | 5 oktober 2023

Als lector duurzame paardenhouderij en paardensport is Inga Wolframm verbonden aan Hogeschool van Hall Larenstein. In die hoedanigheid deed ze onderzoek naar de ‘biases’ bij de jurysport die het onderdeel dressuur met zich meebrengt.

Sinds september 2023 is Inga Wolframm als lector duurzame paardenhouderij en paardensport verbonden aan Hogeschool van Hall Larenstein. “Het is een nieuw lectoraat. Het kent drie leerlijnen: duurzame omgang met het paard, duurzame sportaanbieders en duurzame omgeving voor dier en mens. Alles is erop gericht te zorgen de paardensport te kunnen behouden en er goed en zuinig mee omgaan. Dat gaat van biodiversiteit op paardenhouderijen tot het transparant maken van de sport voor het brede publiek.”

We gaan met Wolframm eerst nog in vogelvlucht door haar eigen loopbaan: “Mijn bachelor heb ik gehaald in politicologie en mijn universitaire opleidingen heb ik allemaal in Engeland gevolgd. Ik heb in Frankrijk en Brussel gewerkt. Zelf heb ik een achtergrond in de voltigesport, dus turnen op een paard. Sport en vooral de interactie tussen paard en mens heeft me altijd aangetrokken. Ik heb een master gedaan in bewegingswetenschappen voor mens en paard. Dat was een gecombineerde studie van een landbouwhogeschool en de universiteit van Essex. Daar heb ik een studie gemaakt van de interactie tussen mens en paard.”

Fascinatie
Waarom doen mensen wat ze doen, is een vraag die Wolframm altijd heeft gefascineerd. “En hoe kunnen we ze helpen om dingen beter te doen”, vult ze aan. “Na mijn master ben ik docent geworden op gebied van paardenwetenschap. Vervolgens ben ik gepromoveerd op die interactie tussen mens en paard, op het terrein van sportpsychologie. In die jaren ben ik ook sportpsycholoog geworden. Want de combinatie van onderwijs, onderzoek en de praktijk heb ik altijd heel belangrijk gevonden.”

Vanuit Engeland wilde ze graag terug naar Duitsland, maar toen kwam er in 2006 een interessante functie van hoofddocent beschikbaar bij Hogeschool van Hall Larenstein. “Die functie heb ik destijds negen jaar uitgeoefend en vervolgens heb ik een uitstapje gemaakt naar de KNHS, de Nederlandse hippische sportbond. Bij diergeneeskunde in Utrecht heb ik in een latere functie veel zaken in de praktijk gebracht. En aansluitend kwam deze rol van lector beschikbaar, een functie die ik met beide handen heb aangegrepen, gezien hier al mijn ervaring en expertise bij elkaar komt.”

Vooroordeel
Op het voetbal na gaat er in de sport het meeste geld om in de hippische wereld, maar het grote geld zit vooral in 1 à 2 procent van de toppaarden. “Daaronder is er een grote massa van mensen die keihard moeten werken om er van rond te komen. Hier hebben we ook al meteen een vooroordeel te pakken”, maakt Wolframm het bruggetje naar het onderwerp van haar onderzoek: de availability bias. “Wat je het vaakst ziet, neem je aan voor de realiteit. De meeste mensen zien paardensport op de Olympische Spelen en bij grote evenementen, maar dat is slechts de top en dus het topje van de ijsberg.”

Goed onderbouwde dingen doen die aansluiten bij de praktijk, is een drijfveer en zo startte Wolframm haar onderzoek. “In andere esthetische sporten zoals turnen en kunstschaatsen was al langer bekend en aangetoond dat er een bias is in de jurering. Om te beginnen wil ik duidelijk maken dat ik de partijdigheid of kunde van juryleden niet in twijfel trek. Het onderzoek heeft niets te maken met de kwaliteit van het werk van de juryleden. Maar we moeten gaan beseffen dat het beoordelen van prestatie van mens en paard veel te complex is. Van de 11 miljoen bits aan informatie die per seconde op ons afkomen, kunnen we er maar 40 of 50 verwerken. We hebben mentale afkortingen (short cuts) nodig om het te kunnen verwerken. Dat is heel normaal en daarmee leren we leven.”

Strategieën
We ontwikkelen strategieën die het juiste resultaat opleveren, op basis van gevoel of beloning. “En tijdens het jureren gebeurt iets soortgelijks. Rond 2010 heb ik daar al veel over verteld. Ook heb ik via eyetracking onderzocht waar juryleden dan daadwerkelijk naar kijken. Destijds is er denk ik wel meer bewustwording ontstaan, maar in de basis is het jureersysteem niet veel veranderd. Het thema wordt nu weer actueel doordat de hippische sport onder druk staat. De maatschappij is alerter en dus moet de sport transparant worden.”

Volgens Wolframm voldoet het jurysysteem niet meer aan de eisen van deze tijd. “Op het hoogste niveau moeten de juryleden op een paard-ruiter combinatie binnen 6,5 minuten 33 verschillende oefeningen op een schaal van 0 tot 10 beoordelen. Dit doen ze aan de hand van zeer uitgebreide criteria. In het Internationale Handboek voor juryleden staat elke oefening op meerdere pagina’s uitgebreid beschreven. Dat klinkt op het eerste gezicht heel mooi, maar maakt het vooral erg complex. De richtlijnen zijn bovendien vaak onduidelijk of op verschillende manieren te interpreteren en er is helemaal geen verschil in omschrijving tussen diverse beoordelingscijfers. Het is nogal willekeurig en dan zijn er ook nog de halve puntenscores geïntroduceerd, terwijl andere jurysporten vaak werken met een eenvoudige schaal van 1 tot 5 waarbij duidelijk wordt aangegeven hoeveel punten aftrek een bepaalde fout ‘waard’ is.”

Afkortingen
De mentale afkortingen (shortcuts) in je hoofd voldoen niet meer voor deze taak. “En zo wordt op detailniveau de beoordeling voor een deel bepaald op basis van biases, vooroordelen. De paardensport is maar een hele kleine wereld, waarin iedereen elkaar kent. In 2018 was er al eens onderzoek op basis van 10.000 waarderingen en die kwamen destijds tot soortgelijke conclusies. Als de ruiter dezelfde nationaliteit heeft als één van de juryleden, krijgt de ruiter gemiddeld 3,5% punten méér. Op dat allerhoogste niveau is dat al een heel bepalend verschil, maar deze nationalistische bias heeft niettemin een kleiner effect dan de bias-cascade, de opeenvolging van vooroordelen die elkaar ook nog eens allemaal versterken. Want ook alle andere juryleden gaan namelijk hoger beoordelen als de nationaliteit van één van hen overeenkomt met de ruiter. Dat heb ik patriotism by proxy genoemd. Die factor is tweemaal zo hoog als de ‘nationalistische’ bias en ontstaat door groepsdruk.”

Gezondheid
Het is van groot belang dat juryleden zowel uitschieters naar boven als beneden goed blijven beoordelen. “Fouten die terecht afgestraft worden, zijn erg belangrijk voor de transparantie van de sport en vooral ook voor het welzijn van de paarden. Door de eerder genoemde groepsdruk durven juryleden echter vaak geen extreme cijfers te geven. Het derde onderdeel van de cascade gaat in op het volgende punt. Als je hoger scoort, kom je hoger op de wereldranglijst en daarmee neemt de reputatiebias toe. Bekende ruiters worden dus hoger beoordeeld, zelfs als ze fouten maken.”

De startvolgorde is nog een volgend element dat van belang is, want die wordt weer bepaald op basis van de wereldranglijst. “Die noemen we de order bias, het vooroordeel van de volgorde. Al die elementen versterken elkaar in een systeem waarbij de betere ruiters steeds verder bevoordeeld worden. Dat elk jurylid alles moet beoordelen, is het grootste struikelblok. Dat is eigenlijk onmogelijk. Juryleden zijn onbewust bekwaam, door hun eigen mentale afkortingen die ze over de jaren heen hebben opgebouwd. Hun voorkeuren komen niet altijd overeen met het beoordelingssysteem. Er is geen concrete houvast voor het aantal strafpunten bij een misstap. In mijn onderzoek heb ik de systematische fout aangetoond, maar er is nog volop ruimte voor vervolgonderzoek.”

Oplossingen
Mensen zijn geen computers en zou artificial intelligence (AI) dan een oplossing zijn? “Slechts ten dele, want AI doet uiteindelijk ook maar weer wat mensen erin stoppen als informatiepunten. De objectieve zaken als afstanden en hoogtes kun je objectief en wellicht scherper beoordelen, maar daarvoor moeten definities eerst scherper gesteld worden. Plus we hebben ook nog eens te maken met een dier als atleet. Het welzijn van dat dier moet ten allen tijde voorop blijven staan, en het is dus de harmonie tussen paard en ruiter waar het in deze sport in grote mate om draait.”

“Je hebt als mens het voorrecht dat zo’n groot dier dit samen met jou wil uitvoeren. Er mag dus geen sprake zijn van dwang. Paarden hebben immers net zoveel rechten als de mens. Dat bijna ethische deel krijg je niet in de techniek gestopt. De eerste oplossingen liggen in het vereenvoudigen van de taken van juryleden en strakkere definitie van strafpunten. Het wegnemen van vooroordelen op andere manieren leidt bijna automatisch weer tot volgende voorkeuren. Ik richt me de komende tijd vooral op het onderzoek door middel van eyetracking. Dat geeft alvast antwoord op de vraag waar we écht naar kijken.”

Voor meer informatie: Let Them Be the Judge of That: Bias Cascade in Elite Dressage Judging; Wolframm bewijst judging bias op 5* wedstrijden: ‘Jurysysteem gebaseerd op sociale cohesie’