14 miljard aan gebakken lucht: het RVVB rapport is een schoolvoorbeeld van impactwashing

Laat ik vooropstellen: het belang van sportverenigingen is enorm. Ze horen tot de haarvaten van onze samenleving, cement dat ons fit en verbonden houdt. Dat politici en media dit belang onderstrepen, is natuurlijk mooi, maar als we dat belang willen uitdrukken in harde euro’s (om “feiten op tafel” te krijgen, volgens Frank Molkenboer, directeur Grote Clubactie) dan moet de methode robuust zijn. Daar schort het in het RVVB-rapport helaas aan alle kanten aan. Het resultaat is een verhaal dat als een kaartenhuis is gebouwd. Hieronder zet ik mijn belangrijkste kritiekpunten op het rapport uiteen.

Impact gaat over de effecten van acties of organisaties, maar altijd ten opzichte van een alternatief scenario (een zogenaamd counterfactual), bijvoorbeeld wanneer die organisaties niet zouden bestaan. Zo’n situatie wordt niet geschetst (ook niet impliciet), want eigenlijk worden alle activiteiten die bij verenigingen plaatsvinden aan de Sustainable Development Goals gelinkt en vervolgens in een (positieve) waarde uitgedrukt. Dat is dus ongeacht of die acties zonder vereniging ook zouden plaatsvinden, maar bijvoorbeeld elders of op een ander tijdstip. Het counterfactual principe wordt dus niet gehanteerd en daarmee is het ook geen impactmeting te noemen.

Een goede impactanalyse kijkt naar positieve én negatieve effecten. Dit onderzoek focust alleen op positieve effecten. Zo ontbreken bijvoorbeeld de maatschappelijke kosten van sportblessures, de negatieve effecten van kunstgras of grensoverschrijdend gedrag en agressie, die helaas ook de realiteit zijn bij sportverenigingen. Impactonderzoek dat bewust de schaduwkanten weglaat, kan niet serieus genomen worden.

Termen als ‘zorgaanbod’ of ‘investering in mentaal welzijn’ worden gebruikt zonder enige afbakening. Gaat het over een pleister plakken of professionele traumabegeleiding? Omdat de verenigingen zelf de data aanleveren zonder heldere kaders, zijn de uitkomsten subjectief en voor buitenstaanders oncontroleerbaar.

Het rapport plakt eurobedragen op vrijwel elke activiteit, zonder bewijs voor het effect of een causaal verband. Waarom is een ‘doorverwijzing naar hulp’ 155,60 euro waard (p. 96)? We weten het niet. Als Sportclub Loosbroek meldt dat 65 procent van de leidinggevenden vrouw is, wordt daar een waarde van 1 euro aan gekoppeld. Hoe input wordt vertaald naar maatschappelijke waarde is zo een oncontroleerbare black box. Het rapporteren tot op de euro nauwkeurig suggereert bovendien een zekerheid die simpelweg niet bestaat.

De 100 gemonitorde clubs zijn niet representatief. Er is een enorme oververtegenwoordiging van grote verenigingen, die bovendien meer dan gemiddeld actief en beter georganiseerd lijken te zijn. Geen wonder en zeer begrijpelijk omdat deelname aan het onderzoek vrijwillig was en daardoor selectief. Door hun resultaten te generaliseren naar de hele sector, ontstaat daarmee wel een vertekend beeld. De onderzoekers doen bovendien geen enkele moeite om deze representativiteit te toetsen.

De rekenfout die hieruit voortvloeit is absurd. Samen hebben de 100 verenigingen in het onderzoek ongeveer 50.000 leden. Uitgaande van 26.000 verenigingen in Nederland worden alle uitkomsten met 260 (26.000 gedeeld door 100) vermenigvuldigd. Volgens deze methode zou Nederland ruim 13 miljoen verenigingsleden hebben (in werkelijkheid nog geen 5 miljoen) en zou circa 30 procent van de volwassen bevolking vrijwilliger zijn in de sport (in werkelijkheid 16 procent). Een eenvoudige check op basis van CBS-data laat dus zien dat de alleen al de ophoging naar landelijke totalen er factor 2 tot 3 naast zit.

De suggestie dat gemeentelijke investeringen renderen met een factor 10 is misleidend. Het rapport deelt de totale (fictieve) waarde van de sector door het gemeentelijke budget. Dat is geen rendement over gemeentelijke investering en zegt al helemaal niets over het rendement van een extra geïnvesteerde euro, of – omgekeerd – wat er gebeurt bij een bezuiniging. Het is een gevaarlijke versimpeling in de interpretatie van uitkomsten (die we overigens ook wel eens zien bij de SROI in de sport), die ook de geloofwaardigheid van goed sport-economisch onderzoek kan aantasten.

Het rapport slaagt er weliswaar in om de enorme variëteit aan activiteiten van verenigingen in kaart te brengen – de zogenaamde inputs en throughputs – maar daar houdt het op. Er wordt geen enkel concreet bewijs geleverd voor de feitelijke effecten (outputs en outcomes), laat staan voor de manier waarop deze effecten tot stand komen. Het rapport biedt ook geen inzichten voor de vragen hoe, waarin en door wie geïnvesteerd moet worden om welk effect te sorteren, of wat die specifieke investering dan precies zou opleveren. In plaats daarvan wordt het al breed onderschreven belang van verenigingen nogmaals herhaald, waarna er een op drijfzand gebaseerd bedrag op wordt geplakt. De gesuggereerde return on investment is daarmee een lege huls: er wordt simpelweg geen enkel causaal verband gelegd tussen de gemeentelijke investeringen en de specifiek daaruit voortvloeiende maatschappelijke effecten.

Uiteindelijk roept dit onderzoek meer vragen op dan het beantwoordt. Afgezien van de herhaalde boodschap dat verenigingen ‘belangrijk’ zijn, biedt dit rapport beleidsmakers nauwelijks concrete handvatten. De gepresenteerde aanbevelingen zijn bovendien niets nieuws onder de zon; ze leunen zwaar op bestaande inzichten van onder meer het Mulier Instituut. 

Als econoom ben ik – in tegenstelling tot sommige andere wetenschappers – vóór het in kaart brengen en monetariseren van maatschappelijke effecten, maar wel daar waar het echt mogelijk is. Goed impactonderzoek vergt de moed om ook te zeggen wat je niet weet en om de betekenis van die uitkomsten goed uit te leggen.

Samen met onder andere de Haagse Hogeschool en Kenniscentrum Sport & Bewegen werken wij bij de HAN stapje voor stapje aan het uniformeren van onderzoeksbegrippen en -methoden. Ook werken we aan onderzoek dat scherper zicht moet geven op de waarde van sport op het gebied van welzijn en zorgkosten, maar ook over de lange termijn effecten van geweld en misbruik in de sport en de effecten van vrijwilligerswerk. De hele puzzel is groot en ingewikkeld en stukjes leggen we langzaam en zorgvuldig.