door: Melvin Wezenberg & Otto Koppius

Prestaties in de Formule 1 zijn een complex samenspel van de kwaliteiten van de coureur, de auto en het team. Een topcoureur in een matige auto zal nooit een Grand Prix winnen, maar andersom maakt een topauto een matige coureur niet ineens tot een topper. Je kan bovendien wel een topcoureur zijn in een topauto, maar dat betekent niets als het team geen goede race-strategie heeft of een pitstop niet goed uitvoert.

Dit samenspel kan leiden tot leuke ‘wat-als-discussies': zou Lewis Hamilton ook wereldkampioen zijn geworden als hij bij Ferrari zou rijden en Sebastian Vettel bij Mercedes? Of iets dichter bij huis: toen Max Verstappen een stuk beter ging presteren na zijn overstap van Toro Rosso naar Red Bull, kwam dat puur door de betere auto of lag het gewoon in de lijn van het groeiproces van een jonge coureur die meer ervaren wordt? Of afgelopen seizoen: wat als Max Verstappen dit seizoen bij Red Bull minder problemen had gehad met zijn Renault-motor? Hoeveel dichter was hij dan bij Hamilton en Vettel gekomen?

Topsnelheid van motoren
Om een voorbeeld te geven van de complexiteit van dit soort vragen kunnen we kijken naar de topsnelheid van de motoren. Als je puur de correlatie zou analyseren (zie figuur 1 verderop), zou je kunnen concluderen dat dat één van de belangrijkste factoren is: een topsnelheid van 200 miles per hour (mph) of een topsnelheid van 198 mph (de data komen van een Engelse site, vandaar dat het niet in kilometer per uur wordt weergegeven), maakt het verschil tussen een top vijf-klassering of niet eens de top tien halen. 

Toch ligt dat genuanceerder, want de kwaliteiten van de coureur zijn ook belangrijk. Hij moet namelijk wel met de hogere topsnelheid kunnen omgaan. Het team speelt eveneens een rol, want de topsnelheid van de motor hangt ook af van hoe de motor door het team in de rest van de auto is gebouwd. Daarom kunnen dezelfde motoren verschillende topsnelheden halen. Daar komt bij dat meer ervaren teams over het algemeen betere mecaniciens in dienst hebben die precies weten hoe de auto reageert en de wagen daardoor nog preciezer kunnen afstemmen. Dus wat is nou de ‘echte’ verklaring voor het verschil in klassering?

Kwaliteit perfect meten is onmogelijk, maar..
Voor het antwoord daarop moeten we kijken naar het relatieve belang van al die factoren en dat schreeuwt natuurlijk om data. Met behulp van Ergastⁱ  - een website met enorm veel gegevens over de Formule 1 - hebben we data van alle Grand Prix-races van 2011 tot en met 2017 verzameld.

Uiteraard is het onmogelijk om de kwaliteit van een team, een coureur of een auto helemaal perfect te meten, maar we hebben voor elke categorie twee belangrijke variabelen genomen die een duidelijke relatie hebben met kwaliteit. Voor het team hebben we gekeken naar de tijd van de pitstops, want daarop kan je als team veel trainenⁱⁱ. De pitstops kunnen bovendien grote invloed hebben op de race. Ook hebben we rekening gehouden met de ervaring van het team in de Formule 1, omdat ervaring van groot belang is in een complexe sport als autoracen. Ervaring hebben we ook bekeken op het niveau van de coureur zelf, evenals leeftijd. Voor de motor hebben we gekeken naar de fabrikant en de al eerder uitgelegde topsnelheid van elke motor apart per auto. 

Kink in de kabel
Nadat we rekening hadden gehouden met ontbrekende data, hadden we een dataset van iets meer dan 340.000 coureur-race-observaties op basis waarvan we een multilevel-regressiemodel konden maken, die de prestaties van een coureur in elke race (de eindklassering in die race) verklaarde. 

Dat model verklaarde 68 procent van de variantie in prestatieⁱⁱⁱ. Dat geeft een goede basis om analyses te doen voor het relatieve belang van de factoren^iv. Hier komt echter wel een kleine statistische kink in de kabel: traditioneel gebeurde dit namelijk door te kijken naar de gestandaardiseerde regressie-coëfficiënten of de toevoeging in verklaarde variantie, maar de laatste tien tot vijftien jaar is gebleken dat deze methoden misleidende antwoorden geven op de vraag over relatief belang^v. Daarom hebben we gebruikgemaakt van een wat recentere methode, namelijk RWA (relative weight analysis), om het relatieve belang beter te analyseren.

Goed of slecht nieuws?
Daaruit kwam het volgende: het relatieve belang van de auto was 24,2 procent, van de coureur 21,4 procent en van het team 20,8 procent. Dus goed nieuws voor de ‘wat-als-discussies’ (of slecht nieuws, net hoe je het bekijkt): er is niet één dominante factor waarmee we alle discussies kunnen beslechten. We kunnen voorlopig nog prima blijven discussiëren over ‘wat nou als Max Verstappen…’, want zowel de coureur, de auto als het team hebben een flinke invloed op het eindresultaat.

Om de laatste vraag uit de inleiding concreet te maken: wat voorspelt ons model voor Max Verstappen komend seizoen met de Honda-motor? Als we alle veranderingen doorrekenen, wordt Hamilton komend seizoen weer wereldkampioen en komt Max komend seizoen nipt voor Bottas op een tweede plaats in de eindstand terecht. We gaan het zien!

Noten
ⁱ Zie hier. De website van Ergast gaat helemaal terug tot 1950, maar omdat de tijden van de pitstop pas vanaf 2011 gearchiveerd werden en deze essentieel zijn voor ons onderzoek, hebben we ons beperkt tot de races sinds 2011.
ⁱⁱ Dit artikel geeft een fascinerend inkijkje in hoe McLaren zijn pitstop-crew heeft getraind.
ⁱⁱⁱ Vanuit statistisch oogpunt is een dergelijke hoge R² erg prettig, maar dat een relatief beperkt model al zo veel kan verklaren, geeft wel voer voor de discussie over de voorspelbaarheid van Formule 1.
^iv We hebben ook nog een regression tree geanalyseerd die een RMSE had van iets meer dan twee, m.a.w. de voorspelling van ons model zat over het algemeen iets meer dan twee plaatsen van de daadwerkelijke klassering. Omdat de resultaten van de relative weight analysis die we later doen, iets intuïtiever uit te leggen zijn voor de regressieanalyse, presenteren onze bevindingen op basis van de multilevel-regressie.
^v Dit artikel legt e.e.a. op een redelijk intuïtieve manier uit en dit artikel gaat dieper in op de achterliggende statistiek.

Melvin Wezenberg is in 2018 afgestudeerd aan de Rotterdam School of Management bij de master Business Information Management en werkt nu als Strategic Account Strategist bij Google. Deze column is gebaseerd op zijn afstudeeronderzoek.

Otto Koppius is universitair docent Business Analytics op de Rotterdam School of Management, Erasmus Universiteit. Hij doet vooral onderzoek naar toepassingen van nieuwe databronnen zoals wearables en nieuwe analysemethoden om vraagstukken rondom talentmanagement, coördinatie in teams en de fysieke en mentale fitheid van atleten en werknemers te bestuderen. Naast zijn universitaire werk is hij roeicoach en heeft hij meerdere ploegen naar wereldkampioenschappen en andere grote toernooien begeleid.