door: Otto Koppius

Sensors, trackers, wearables, noem het maar op: de hoeveelheid en rijkheid van data die we over sporters kunnen verzamelen, blijft toenemen. Maar met deze hoeveelheid en rijkheid van data neemt ook de complexiteit van de data toe, waardoor je ook steeds complexere algoritmes nodig hebt om de echte waarde uit de data te halen. Die algoritmes vereisen echter vaak wel dusdanig specialistische kennis, dat ze voor de gebruikers ervan (en soms ook de ontwikkelaars zelf!) moeilijk te doorgronden zijn, ook al kun je aantonen dat ze goed werken. Wie is er dan verantwoordelijk voor de beslissingen die een coach of atleet neemt op basis van een goed werkend, maar ondoorgrondelijk algoritme?

'Veel succes om dat uit te leggen aan een speler.' Zo sloot een voetbaltrainer een gesprek af dat ik op een congres met hem had over algoritmes om blessures te voorspellen op basis van GPS-data van trainingen. En dit was geen scepticus over het gebruik van data, hij was er groot voorstander van en zag ook zeker de toegevoegde waarde van objectieve metingen naast de subjectieve meningen van coach en speler. 

Computer
Waar hij op doelde was het volgende: stel dat het algoritme voorspelt dat een basisspeler een duidelijk verhoogd risico heeft op een hamstringblessure als hij zondag zou spelen (en even aangenomen dat het algoritme voldoende betrouwbaar is) en je dan als trainer besluit om de speler niet op te stellen, hoe leg je dat dan uit? 'De computer zegt dat je niet kan spelen zondag' is dan waarschijnlijk niet de beste manier om die speler te overtuigen…

Tot op zekere hoogte zou je dit kunnen oplossen door de speler meer inzicht te geven in de data en bijvoorbeeld laten zien dat de speler op trainingen al drie dagen ‘in het rood’ zit. Maar daar zitten ook grenzen aan: als de speler doorvraagt waarom hij die trainingen in het rood zit, en je hebt als coach goed overleg gehad met je data scientist, dan zou je nog kunnen antwoorden 'omdat je die trainingen heel veel sprintjes hebt getrokken'¹. Maar als die speler dan doorvraagt 'waarom drie dagen, ik kan best vijf dagen intensief trainen aan?', dan kom je al gauw in het territorium 'dat blijkt uit de data' of 'vraag dat maar aan de data scientist, die heeft dat uitgezocht'.

Valkuil
Dat laatste antwoord duidt op een dieper probleem: wie is er dan nog eigenlijk verantwoordelijk voor die beslissing? Strikt genomen kun je zeggen 'de coach', want die neemt de uiteindelijke beslissing en kan dus ook besluiten hiervan af te wijken. Hier komen we alleen gelijk aan bij een valkuil in het denken over algoritmische beslissingen: er wordt vaak geredeneerd dat als een mens de uiteindelijke beslissing neemt (‘human-in-the-loop’) dat veiliger is omdat er altijd nog een mens naar kijkt voordat er automatisch iets besloten wordt. Dit ligt echter een stuk genuanceerder in de praktijk. 

Stel nou dat dit algoritme heel goed blijkt te werken in de praktijk, beter dan de mens, dan ben je als coach in feite onverantwoord bezig als je de aanbevelingen van het algoritme negeert. Zover zijn we in de sport nog niet, maar in de radiologie zijn er al meerdere toepassingen waarin het analyseren van rontgenfoto’s of CT-scans door algoritmes net zo goed of beter gaat dan door professionele radiologen. Is het dan nog wel ethisch verantwoord om een mens als ‘human-in-the-loop’ te hebben als die mens het alleen maar slechter maakt? 

Maas in AVG
Maar ook als de mens de eindbeslissing neemt, kun je in paradoxale situaties komen. Als je merkt dat het algoritme het vaak bij het rechte eind heeft, dan ga je de aanbevelingen van het algoritme bijna automatisch volgen: wie van ons komt ooit nog op de derde of vierde pagina van Google Search? Dan ga je eerder je eigen zoekopdracht aanpassen en opnieuw zoeken op de eerste of heel misschien de tweede pagina. Op zo’n moment is het op papier nog wel een menselijke beslissing, maar in de praktijk een vrijwel geautomatiseerde (dit is ook een grote maas in de AVG). 

Dit soort problematiek speelt niet alleen in de professionele sport een rol, maar ook in de amateursport, als bijvoorbeeld een recreatieve hardloper ‘keurig’ de aanbevelingen van een app volgt (op basis van hartslagdata van de voorgaande dagen) om die dag iets intensiever of juist minder intensief te trainen. Je zou kunnen beargumenteren dat dat verstandig is, omdat de meeste recreatieve hardlopers niet veel kennis hebben van trainingsschema’s, daardoor vaak verkeerd trainen en dus beter kunnen vertrouwen op de kennis die in de algoritmes van de app zit ingebouwd. Maar hoe weet je als leek dat die kennis er ook echt in zit en dat het algoritme goed ontwikkeld en getest is, op basis van de juiste, representatieve data? 

Waar houdt verantwoordelijkheid op?
In al deze situaties verschuift een deel van de verantwoordelijkheid naar de ontwikkelaars van het algoritme en de verzamelaars van de data die wordt gebruikt om het algoritme te trainen. Dit is noodgedwongen, simpelweg omdat je redelijkerwijs niet van de eindgebruiker (of dat nou een coach, een topatleet of een recreant is) mag verwachten dat die de benodigde technische kennis heeft om een algoritme goed te kunnen beoordelen. Waar houdt die verantwoordelijkheid echter op? Andersom kan je namelijk ook niet verwachten van technische mensen dat ze alle laatste ontwikkelingen op bijvoorbeeld sportmedisch gebied of tactisch/technisch gebied net zo beheersen als de specialisten op dat vlak. Samenwerking tussen deze disciplines zal essentieel zijn, inclusief mensen die zowel de taal van de kleedkamer spreken als de taal van de wetenschap en de data, zoals Rick Cost van de Feyenoord Academy het in een interview met Sport Knowhow XL vorig jaar omschreef.

Als het algoritme door een externe partij ontwikkeld wordt, dan geeft dat nog een extra laag van complexiteit: houdt de verantwoordelijkheid van die partij dan op na oplevering? Veel van de recente generatie algoritmes zijn adaptief in de zin dat de parameters door de tijd heen veranderen, naarmate er meer data verzameld worden. Dat kan het algoritme nauwkeuriger maken, maar de nauwkeurigheid kan soms ook achteruit gaan. Moet de externe ontwikkelaar dat bijhouden en proactief updates sturen, net zoals nu met besturingssystemen voor telefoons en computer gebeurt? Of gaan we naar een systeem met tijdelijke licenties of onderhoudscontracten? Of krijgen we een systeem waarbij algoritmes, analoog aan energielabels op huishoudelijke apparaten, een gecertificeerd kwaliteitslabel krijgen over hoe goed ze zijn?

Ik ga me niet aan voorspellingen wagen, behalve dan dat de verantwoordelijkheid voor algoritmes nog lang niet uitgekristalliseerd is en we daar nog veel tegenaan zullen lopen de komende tijd.

Noot
1. Binnen de kunstmatige intelligentie¹ wordt veel onderzoek gedaan naar ‘Explainable Artifical Intelligence (XAI)’, waarbij gezocht wordt naar methoden om beslissingen uit te leggen, juist voor methoden die heel ondoorgrondelijk zijn, zoals b.v. deep learning. Dit artikel geeft een overzicht van de wetenschappelijk stand van zaken op dit vlak, en bedrijven als Google bieden ook een hele verzameling aan methoden aan om dit praktisch te maken.

Otto Koppius is universitair docent Business Analytics op de Rotterdam School of Management, Erasmus Universiteit. Hij doet vooral onderzoek naar toepassingen van nieuwe databronnen zoals wearables en nieuwe analysemethoden om vraagstukken rondom talentmanagement, coördinatie in teams en de fysieke en mentale fitheid van atleten en werknemers te bestuderen. Naast zijn universitaire werk is hij roeicoach en heeft hij meerdere ploegen naar wereldkampioenschappen en andere grote toernooien begeleid. Voor meer informatie: okoppius@rsm.nl.