Skip Navigation LinksHome-Nieuws-Column XL-Item

De publieke waarde van sportevenementen 30 mei 2017

door: Bake Dijk & Hans Slender

Toen in mei 2016 de Nederlandse Sportraad (NSR) werd geïnstalleerd, waren we toch wel een beetje verrast. Hun eerste grote opdracht zou worden een analyse van (grote) sportevenementen in Nederland. En hoewel dit diverse gezelschap met o.a. een sportbestuurder, astronaut, ex-topsporters, burgemeester en journalist waarschijnlijk wel met een frisse blik naar sportevenementen zou kunnen kijken, was de aanwezigheid van slechts één expert op het gebied van evenementen - Duncan Stutterheim, organisator van dance-events - misschien wel wat mager. Daarbij was door de minister ook net het netwerk ‘De kracht van sportevenementen’ in het leven geroepen en erg duidelijk hoe beide groepen elkaar gingen versterken was het nog niet.

Toen recent het rapport ‘Nederland op de kaart’1 werd gepresenteerd door de NSR, bleek echter dat de raad haar kwaliteiten optimaal benut had. Met een frisse blik is gekeken naar de huidige stand van zaken qua sportevenementen in Nederland en in een relatief korte tijd zijn de organisatoren van 25 grote sportevenementen en een aantal experts gesproken in ‘de zoektocht naar de ingrediënten voor gezonde en betekenisvolle evenementen’. 

"Hoewel het rapport voor de insiders waarschijnlijk weinig verrassingen kent, is het een mooi overzicht geworden van de kracht van de sportevenementen in Nederland"

Er volgen interessante conclusies en wensen voor de toekomst in het rapport zoals meer cross-overs met andere sectoren in het evenementenconcept, goede haalbaarheidsstudies vooraf, zoeken naar nieuwe businessmodellen en meer landelijke samenwerking. Hoewel het rapport voor de insiders waarschijnlijk weinig verrassingen kent, is het een mooi overzicht geworden van de kracht van de sportevenementen in Nederland, maar ook met een positief kritische blik naar de verbeterpunten.

Heilige graal
Opvallend deel van het rapport is het deel over de impact van evenementen. Organisatoren van sportevenementen geven aan hier eigenlijk weinig belang bij te hebben. Voor subsidiërende overheden blijkt het wel een belangrijk punt. Zowel door de NSR als de geïnterviewde onderzoekers worden kanttekeningen geplaatst bij de huidige WESP-methoden die momenteel veel gebruikt worden. Daarbij wordt de Maatschappelijke Kosten-Baten Analyse (MKBA) - zoals uitgevoerd bij de Dam tot Damloop in 2014 - als heilige graal verheven.2 Afgelopen week voerde onderzoeker Michiel de Nooij nogmaals een vurig betoog over de meerwaarde van deze methodiek op deze website.

Wij denken dat dit niet de richting is waar wij met het evenementenonderzoek in Nederland in moeten slaan. Er gaat relatief weinig leereffect vanuit en voegt ook te weinig toe als het gaat om het maken van goede beleidsbeslissingen rondom evenementen. In het rapport van de NSR lijkt het er namelijk op dat er ten aanzien van de maatschappelijke waarde van sportevenementen een tegenstrijdige boodschap wordt verkondigd over enerzijds het structureel creëren van maatschappelijke waarde en het meten van de maatschappelijke impact middels een MKBA-‘light’ anderzijds. In dit artikel beargumenteren wij waarom deze vorm van MKBA-light te weinig toevoegt en wat het alternatief zou kunnen zijn.

'Bij weinig sportevenementen worden maatschappelijke doelen van tevoren expliciet en concreet gemaakt en achteraf gemeten'

Impact van evenementen
De eerste conclusie van het rapport van de NSR is: 'de waarde van sportevenementen voor de samenleving is groot, en dat geldt ook voor de economische impact. Voor de maatschappelijke impact is meer aandacht nodig'.1 De NSR trekt de conclusie dat de intrinsieke waarde van sportevenementen groot is afgaand op het bezoek, de deelname en het bereik van sportevenementen via (sociale) media, de grote tevredenheid van deelnemers en bezoekers en de overwegend trotse (lokale) bevolking. De economische impact lijkt min of meer ‘vanzelf’ te ontstaan ten gevolge van het evenement, maar de NSR concludeert dat dit niet zo is voor de maatschap¬pelijke impact: 

'Daar moeten organisatoren hard voor werken. Bij weinig sportevenementen worden maatschappelijke doelen van tevoren expliciet en concreet gemaakt en achteraf gemeten.' 

De aanbeveling die de NSR doet ten aanzien van deze maatschappelijke impact is dat zij gaat bezien welke maatschappelijke doelen zich het beste lenen voor toepassing op grote sportevenementen en hoe (doorlopende) programma’s en sportevenementen op elkaar kunnen worden aangesloten. Extra aandacht geeft de NSR daarbij aan de aansluiting van topsport- en breedtesportevenementen.

Daarbij geeft de NSR expliciete aanbeveling als het gaat om onderzoek naar deze impact van evenementen: De meetmethodes van de economische en maatschappelijke impact zijn toe aan doorontwikkeling. De NSR wil met stakeholders en experts bezien of het wenselijk en mogelijk is voor de economische en maatschappelijke impact samen een MKBA ‘light’ te ontwikkelen. (pag. 68)

Onder de noemer van ‘samenwerking, kennisontwikkeling en kennisdeling’ wil de NSR ook verklarend onderzoek op laten zetten naar de maatschappelijke betekenis van sportevenementen. Dit onderzoek komt in de plaats van eventuele separate studies naar de maatschappelijke impact per evenement (pag. 71). Wat opvalt is dat eerdere procesevaluaties ten aanzien van de maatschappelijke waarde van het EYOF 2013 te Utrecht, Le Grand Départ 2015 te Utrecht en de Giro d’Italia 2016 te Gelderland niet meegenomen lijken te zijn in de analyse van ‘Nederland op de kaart’.4 Juist deze kwalitatieve studies gaan op zoek naar verklarende werkzame mechanismen voor het creëren van impact. 

"In het onderzoek naar de maatschappelijke waarde van sportevenementen wordt onderscheid gemaakt tussen de impact en de legacy"

Impact, legacy, leverage en publieke waarde
Om recht te doen aan de waarde van sportevenementen is het goed om kort stil te staan bij de verschillende waarden die tot nu toe worden toegekend aan sportevenementen. In het onderzoek naar de maatschappelijke waarde van sportevenementen wordt onderscheid gemaakt tussen de impact (effecten die het evenement teweegbrengt op korte termijn) en de legacy (de nalatenschap op lange termijn waarin effecten bestendigd worden). Preuss onderscheidt vijf typen legacies: (1) de sportieve legacy; (2) de economische legacy; (3) infrastructurele legacy; (4) stedelijke legacy en (5) sociale legacy.

Afhankelijk van het type sportevenement en de manier waarop deze georganiseerd wordt kunnen er dus vele varianten van maatschappelijke waarde (impact of legacy) optreden. Daar komt nog bij dat sommige effecten tastbaar zijn (bijv. een stadion of een permanente wielerroute), andere ontastbaar (trots, betere contacten tussen organisaties) en daardoor lastiger te meten. Tevens is het zo dat een sportevenement niet vanzelfsprekend positieve waarde oplevert (overlast, duurder dan gepland, etc). Niet al deze waarden zijn van te voren te plannen. Er is bij veel evenementen sprake van een deels geplande en deels ongeplande impact en legacy.

Chalip gaat verder en stelt dat een sportevenement meer beschouwd zou moeten worden als een platform dat benut kan worden voor allerlei verschillende maatschappelijke effecten.6 De mate waarop specifieke thema’s worden geactiveerd (positieve effecten benut, negatieve effecten voorkomen) bepalen uiteindelijk het succes van een evenement. Het evenement inzetten als hefboom voor het nastreven van maatschappelijke effecten wordt leverage genoemd. Evenementen kunnen volgens Chalip vooral worden benut om al bestaand beleid te versterken of te versnellen. Anderzijds kan men op zoek gaan naar thema’s die passen bij het evenement en deze activeren. Hij gelooft zelf dat evenementen als interventie relatief weinig impact hebben, maar dat evenementen juist als platform enorm waardevol kunnen zijn om economische en maatschappelijke interventies te versterken.

"De vraag is hoe deze uitkomsten gerealiseerd kunnen worden zonder te hoge maatschappelijke kosten als excessieve overheidsbemoeienis of hoge belastingdruk"

Dit gedachtengoed heeft veel overeenkomsten met het creëren van publieke waarde. Moore definieert publieke waarde als het behalen van maatschappelijk gewenste uitkomsten.7 Hierbij gaat het om waarden als gezondheid, vrijheid en veiligheid voor individuen in de samenleving en om waarden als rechtvaardigheid en solidariteit voor de samenleving als geheel. De samenleving onderschrijft het belang van deze waarden, maar de vraag is hoe deze uitkomsten gerealiseerd kunnen worden zonder te hoge maatschappelijke kosten als excessieve overheidsbemoeienis of hoge belastingdruk.8 

Het waardeperspectief gaat verder dan de beleidsdoelstellingen van een enkele organisatie, maar gaat altijd over de bredere maatschappelijke meerwaarde die de samenleving als geheel wil bereiken. Het gaat bijvoorbeeld niet alleen om het bereiken van obese schoolkinderen met een side-event van het WK Wielrennen, maar breder om het realiseren van integratie in de maatschappij van deze kinderen, waarbij het bijvoorbeeld ook gaat over het regelmatig kunnen bewegen. Ook de verantwoording moet zich dus niet beperken tot het aantal deelnemers aan dergelijke projecten, maar dient zich ook te richten op de bereikte bijdrage aan het self-esteem van deze schoolkinderen. 

"De oorsprong van de Maatschappelijke Kosten-Baten Analyse ligt met name in het nemen van beleidsbeslissingen op het gebied van grote infrastructurele projecten"

Maatschappelijke Kosten-Baten Analyse
Wie vanuit het publieke waarde perspectief kijkt naar sportevenementen ziet al gauw het potentieel. Het meeste onderzoek naar sportevenementen gaat echter niet over hoe deze publieke waarde geoptimaliseerd zou kunnen worden, maar vooral of het deels subsidiëren van een sportevenement door de verschillende overheden gelegitimeerd kan worden. De Nooij3 heeft goede argumenten als het gaat om zijn kritiek op economische impact-studies, zij verkennen slechts een heel klein deel van de waarde die evenementen zouden kunnen hebben. Toch is de MKBA zoals hij deze zelf heeft uitgevoerd2 niet meteen het antwoord op deze problematiek.

De oorsprong van de MKBA ligt met name in het nemen van beleidsbeslissingen op het gebied van grote infrastructurele projecten. Om een goede politieke afweging te kunnen maken of een vliegveld, snelweg of metrolijn vanuit publiek oogpunt een goede investering is, is een uitgebreid onderzoek nodig. De MKBA bestaat niet alleen uit het afwegen van de voors en tegens, ook het nul-alternatief (niets doen) en andere beleidsalternatieven worden meegewogen, effecten worden geïdentificeerd, gekwantificeerd en gemonetariseerd op basis van bestaand wetenschappelijk onderzoek en onzekerheden en risico’s worden meegewogen.9 Op deze wijze biedt de MKBA input om te komen tot betere ‘evidence-based’ besluitvorming in de politiek. Inmiddels zijn er al vele MKBA’s voor andersoortige projecten in bijvoorbeeld het sociale domein en het behoud van landschappen.10 

De kunst van een MKBA is dat eerst de effecten van de interventie op de verschillende betrokken doelgroepen in cijfers moeten worden uitgedrukt. Om vervolgens de baten te bepalen door een bedrag (in euro’s) toe te kennen dat de maatschappij over heeft voor het realiseren van deze effecten. Als het effecten betreft waar mensen niet daadwerkelijk echt geld aan uitgeven, dan wordt vaak de contingent valuation method (CVM) gebruikt om mensen middels enquête te vragen wat zij bereid zouden zijn te betalen voor dit effect (willingness to pay). Er is veel discussie over of deze bevraagde betalingsbereidheid wel een feitelijke betalingsbereidheid meet. Via conjoint analyse, waarbij niet naar een directe prijs maar juist een vergelijking met andere goederen/diensten wordt gevraagd, kan dit probleem enigszins worden vermeden.

"In de internationale literatuur rondom evenementen speelt dat er veel meer ex-ante dan ex-post onderzoek wordt uitgevoerd"

Dit type onderzoek is voor sportevenementen op dit moment nog vrijwel onmogelijk uit te voeren omdat er veel te weinig wetenschappelijk bewijs is voor de effecten van evenementen. Voordat je vooraf (ex-ante) dit soort ramingen kan maken, zal er veel effectonderzoek gedaan moeten zijn achteraf (ex-post). Dit is ook het primaire doel waarmee de Werkgroep Evaluatie Sportevenementen (WESP) ooit begonnen is. Door volgens standaard richtlijnen11 evenementen systematisch te evalueren, waardoor er meer feitenkennis is over de effecten van evenementen. Ook in de internationale literatuur rondom evenementen speelt namelijk dat er veel meer ex-ante dan ex-post onderzoek wordt uitgevoerd.

De eerdere MKBA die vanuit het Olympisch Plan12 is uitgevoerd heeft om deze redenen weinig waarde. Alleen bij economische impact zijn de baten geformuleerd. Alle andere effecten worden als pro-memorie (pm) post gevoerd, deze worden als niet in te schatten bepaald. Hiermee wordt feitelijk het grootste deel van de maatschappelijke baten buiten beschouwing gelaten. Dit probleem heeft De Nooij geprobeerd te tackelen bij het Dam tot Damloop onderzoek.3 Hij vraagt echter alleen aan mensen wat zij bereid zijn te betalen voor een goed en veilig georganiseerd evenementen. Hier is geen sprake van de monetarisering van de maatschappelijke effecten, maar eigenlijk meer een meting van het algemene draagvlak voor het evenement. Pas als onderzoekers in staat zouden zijn de effecten (liefst alle) van een evenement goed te kwantificeren, dan kan er gericht baten-onderzoek worden gedaan. Liefst middels een complexere conjoint analyse. Maar voor dit soort onderzoek mogelijk is, zal er veel effectonderzoek gedaan moeten worden. Op dit moment lijkt dit nog haalbaar.

"Niet het meten van impact, maar het vergroten van leverage centraal zetten zou veel meer maatschappelijk rendement opleveren"

De spagaat van evenementorganisatoren
Zoals te lezen in ‘Nederland op de kaart’ is men het erover eens dat Nederland goed kan goed organiseren: zowel ‘strak’ aan de voorkant als flexibel tijdens het proces. De samenwerking tussen - relevante - partners is volgens een meerderheid van de respondenten dé cruciale factor voor het succes van een evenement. Een aanbeveling is om tevoren de mogelijke stakeholders in kaart te brengen. Een partnership is bij voorkeur opgebouwd uit sportorganisaties, overheden en bedrijven. Bij succesvolle evenementen zijn de partners vroegtijdig bij elkaar gehaald en blijven zij in alle fasen nauw betrokken (p.60). 

Sportorganisaties en overheden behoren tot het publieke domein. Organisaties uit het publieke domein kenmerken zich door klem te zitten tussen complexe publieke opdrachten enerzijds en een groeiende verantwoordingsdruk anderzijds.8 Complexe opdrachten - zoals het gebruiken van sportevenementen voor het verhogen van de sportparticipatie, het tegengaan van overgewicht of het laten integreren van groepen aan de rand van de samenleving - vragen om maatwerk, flexibiliteit en samenwerking met uiteenlopende partners (bijvoorbeeld welzijnsinstellingen, woningcorporaties, onderwijs en bedrijfsleven). De organisatoren zouden veel meer gebaat zijn bij onderzoek dat ingezet wordt om te leren hoe op een nog betere manier invulling gegeven kan worden aan deze opdracht. Niet het meten van impact, maar het vergroten van leverage centraal zetten zou veel meer maatschappelijk rendement opleveren.

Publieke organisaties dienen zich echter ook te verantwoorden voor de besteding van publieke middelen en de behaalde resultaten.8 Momenteel zijn de meeste verantwoordingsinstrumenten dan ook gericht op het nalopen van regels en cijfers, die geen recht doen aan het complexe werk van publieke organisaties.12 Het meerdere jaren achter elkaar uitvoeren van een economische impact-studie, met keer op keer soortgelijke uitkomsten, zorgt voor een schijnlegitimering die niet alleen onvolledig is, maar ook weinig meerwaarde heeft voor de betrokken stakeholders. Dit roept de vraag op hoe het publieke domein zich op een betekenisvolle manier kan verantwoorden voor de besteding van publieke middelen op een wijze die recht doet aan de complexiteit van het creëren van publieke waarde van sportevenementen. 

"Het bepalen van de waarde van evenementen is echter zeer complex omdat het veel domeinen omvat"

Evalueren van publieke waarde
Vergeleken met projecten in infrastructuur en het sociale domein zijn overheidsinvesteringen in sportevenementen slechts beperkt. Het bepalen van de waarde van evenementen is echter zeer complex omdat het veel domeinen omvat. De kans dat er genoeg onderzoek gedaan kan worden om de puzzel volledig te kunnen leggen en een MKBA te kunnen uitvoeren volgens richtlijnen is klein. 

Rond het EYOF Utrecht 201313, Le Grand Départ 2015 te Utrecht14 en de start van de Giro d’Italia te Gelderland15 zijn evaluaties van het organisatieproces om te komen tot maatschappelijke waarde uitgevoerd. Met name in het onderzoek rond Le Grand Départ zijn vele partners van het side-eventprogramma vooraf én achteraf gesproken over hun leverage strategieën en de ervaren waarde van Le Grand Départ voor de eigen organisatie en de stad. Er zijn 55 betrokkenen gesproken, waarvan 38 respondenten in focusgroepen met vijf tot zeven aanwezigen en de overige respondenten zijn individueel geïnterviewd. 

Daar viel op dat in de focusgroepen de respondenten vooraf verschilden van mening over de verwachte waarde van Le Grand Départ voor de stad. Zo’n drie maanden na het evenement was er juist een grote mate van consensus over waarde van een bottom-up aanpak voor het creëren van maatschappelijke waarde. Tevens vonden de respondenten elkaar in de ervaren maatschappelijke en organisatorische waarde van het evenement voor de eigen organisatie en de stad. De focusgroepen die na het evenement werden gehouden zorgden ervoor dat het enthousiasme onder de aanwezigen over de waarde van Le Grand Départ nogmaals aangewakkerd werd. 

Indien een publieke organisatie ook verantwoording af wil leggen over publieke waardecreatie dan is het Utrechtse onderzoeksproject ‘Succesvol lokaal bestuur: Publieke Waardecreatie door gemeenten’8 - gesteund door de Vereniging van Nederlandse Gemeenten - een interessant voorbeeld. In dit project is op een innovatieve manier verantwoording afgelegd over de publieke waardecreatie op het volksgezondheidsbeleid gericht op het verminderen van alcoholgebruik rondom sportactiviteiten en het lokale prostitutiebeleid. Tijdens het onderzoek is een innovatietraject gestart waarin samen met de gemeenteambtenaren tot het ontwerp van een nieuwe verantwoordingsvorm van publieke waarde is gekomen: ‘De Publieke Waarde Tafel’. Het doel van deze tafel is om de gemeentelijke politiek en partners een inzicht te geven in de processen en resultaten van publieke waardecreatie op een specifiek thema.

"Na afloop van de tafel is het aan de betrokken organisaties om voor zichzelf vervolgstappen te bedenken om de publieke waardecreatie verder te versterken"

Uitgangspunt van de tafelbijeenkomsten is dat alle deelnemers aan het einde voldoende inzicht hebben gekregen om hun eigen oordeel over de publieke waardecreatie te kunnen vormen. In de voorbereiding van de bijeenkomst is het daarom erg van belang om het onderwerp goed af te bakenen (niet te smal voor een goede discussie, maar ook niet te abstract om een concrete evaluatie mogelijk te maken), de selectie van de deelnemers (een goede diversiteit van partners en belangen die de gehele ‘authorizing environment’ representeren) en het prepareren van informatie (vinden van de juiste gegevens, verhalen en cijfers die de groep nodig heeft voor een goede discussie, zonder te verzuipen in data). Belangrijk om te vermelden is dat het er in dit type evaluatie niet over gaat dat men het eens is aan het einde van de ‘tafel’, maar dat er ervaringen en perspectieven uitgewisseld worden zodat alle betrokkenen een volledig beeld krijgen over het organisatieproces en de ervaren publieke waarde van de partners. 

Afwijkend van reguliere evaluaties is het niet zo dat de Publieke Waarde Tafel uiteindelijk eindigt met een papieren evaluatieronde, gericht op het toetsen van doelstellingen van de overheden in plaats van de waarden. Na afloop van de tafel is het aan de betrokken organisaties om voor zichzelf vervolgstappen te bedenken om de publieke waardecreatie verder te versterken. Bijvoorbeeld door meer budget uit te trekken voor het organiseren van sportevenementen, een nieuwe strategische evenementenkalender met andere organisatoren op te stellen of simpelweg het delen van de kennis met geïnteresseerde organisaties. 

Evenementenonderzoek
Het zou zonde zijn als in Nederland vooral geld uitgegeven wordt aan het blijven herhalen van evaluaties bij hetzelfde evenement die incompleet zijn. Dit geldt zowel voor WESP-studies als lichtere MKBA-varianten zoals bij de Dam tot Damloop. De NSR slaat de spijker op zijn kop dat er juist geïnvesteerd zou moeten worden in verklarend onderzoek, zodat we de werkzame mechanismen van sportevenementen beter leren begrijpen. In het sociale domein worden bijvoorbeeld onderzoeken uitgevoerd die de effecten van interventies in kaart brengen, ook in relatie tot elkaar (zie voorbeeldmodel10). Welke facetten versterken elkaar en wat werkt elkaar tegen? 

Rondom sportevenementen moet deze puzzel nog gelegd worden. Welke effecten hebben verschillende typen evenementen en hoe kunnen deze geactiveerd worden? Voordat deze puzzel gelegd kan worden zal er veel vaker op een kwalitatieve wijze naar het organisatieproces gekeken moeten worden om te leren waar de stukjes moeten liggen. Om dit vervolgens te kunnen kwantificeren met het oog op een toekomstige MKBA zal er meer divers effectonderzoek plaats moeten vinden.

"Als overheden in hun keuzes binnen het evenementenbeleid gebruik zou maken van ‘reviews’ zouden er waarschijnlijk al veel betere beslissingen genomen kunnen worden"

Tot die tijd doen beleidsmakers er goed aan om de beslissing om wel of niet te investeren in een sportevenement en maatschappelijk activatieprogramma te baseren op een MKBA-light variant. Hierbij wordt wel naar alternatieven gekeken, wordt bestaande kennis over mogelijke effecten geïnventariseerd, maar is van kwantificering en monetarisering nog geen sprake. Zo pleit Pawson voor ‘evidence-based policy’ waarin elke keer gekeken wordt naar de inschatting van werkzame mechanismen, mogelijke uitkomsten in relatie tot de context waarin de interventie plaatsvindt. Een soort Publieke Waarde Tafel ex-ante. Als overheden in hun keuzes binnen het evenementenbeleid gebruik zou maken van ‘reviews’ van de bestaande kennis rondom evenementen, zoals die rondom maatschappelijke impact17, economische impact18 of sportieve impact19, dan zouden er waarschijnlijk al veel betere beslissingen genomen kunnen worden.

In de verantwoording heeft het dus veel meer waarde voor de praktijk, maar ook voor de maatschappij als evaluaties zich vaker op het proces zouden richten en dat de stakeholders gezamenlijk op zoek zouden gaan naar meer publieke waarde. Want de waarde van sportevenementen kan dan wel groot zijn, de meest interessante vraag is hoe deze nog groter zou kunnen worden.

Bake Dijk werkt als docent-onderzoeker bij de Hanzehogeschool Groningen, Instituut voor Sportstudies. Tot 1 februari was hij ook verbonden aan de Universiteit Utrecht, departement Bestuurs- en Organisatiewetenschap. Hij heeft onderzoek gedaan naar (het organisatieproces ten aanzien van) de maatschappelijke waarde van de Olympische Spelen 2012, EYOF Utrecht 2013, Le Grand Départ 2015 en de Giro d’Italia 2016. Daarnaast is hij medeauteur van de position papers ‘Integrity & Sport events’ en ‘Creating social impact with sport events’ die in opdracht van VWS zijn geschreven.
 
Hans Slender werkt als docent-onderzoeker bij de Hanzehogeschool Groningen, Instituut voor Sportstudies. Binnen het lectoraat Praktijkgerichte Sportwetenschap doet hij onderzoek naar de vitaliteit van sportverenigingen en de organisatie en effecten van sportevenementen. Hij werkt aan een proefschrift over de maatschappelijke waarde van sportevenementen en in die hoedanigheid is hij betrokken bij de evaluatie van zowel grotere als kleinere evenementen in Nederland. Daarnaast is hij betrokken bij de Werkgroep Evaluatie Sportevenementen (WESP) en het KennisCentrum Events. 

Noten:
1 Van der Voet, M., Langbroek, L., De Kruijff, J. & Van Wingerde, M. (2017). Nederland op de kaart. Analyse van 25 grote sportevenementen in Nederland. Den Haag: Nederlandse Sportraad.

2 De Nooij, M. & Horsselenber, P. (2014). Dam tot Damloop. Economische en maatschappelijke waarde. Amsterdam: Hogeschool van Amsterdam.

3 De Nooij, M. (2017). Een tropisch eiland en wat wijn. Column XL Sport Knowhow XL.

4 Zie Bijlage 3 van Nederland op de kaart: Overzicht van onderzoek naar evenementen. Hierin wordt alleen vermeld dat er rond deze evenementen WESP-studies zijn uitgevoerd. De procesevaluaties ten aanzien van de maatschappelijke waarde komen niet voor in het overzicht.

5 Preuss, H. (2007). The conceptualisation and measurement of mega sport event legacies. Journal of Sport & Tourism, 12(3-4), 207-228.

6 Chalip, L. (2006). Towards social leverage of sport events. Journal of Sport & Tourism, 11(2), 109-127.

7 Moore, M.H. (1997). Creating public value, Cambridge, MA.

8 Van de Noort, M., Douglas, S. & Van der Torre, L. (2017). Succesvol lokaal bestuur: Publieke Waardecreatie door gemeenten. Utrecht: Universiteit Utrecht.

9 Romijn, G. & Renes, G. (2013). Algemene leidraad voor maatschappelijke kosten-batenanalyse. Den Haag: CPB/PBL

10 Ecorys (2008). Handleiding voor kosten-batenanalyses in het sociale domein. Rotterdam: ECORYS Nederland BV.

11 De verschillende richtlijnen voor het evalueren van evenementen vanuit de WESP zijn hier te vinden 

12 Bevan, G., & Hood, C. (2006). What’s measured is what matters: targets and gaming in the English public health care system. Public administration, 84(3), 517-538.

13 Dijk, B. & Van Eekeren, F. (2014) Organisatieproces European Youth Olympic Festival Utrecht 2013 met betrekking tot de maatschappelijke opbrengsten. Universiteit Utrecht.

14 Van Bottenburg, M., Dijk, B., Hover, P., Bakker, S., Smits, F. & Slender, H. (2016) Evaluatie Le Grand Départ Utrecht 2015. Universiteit Utrecht.

15 De Boer, W., Schoemaker, J., Dijk, B., Bekhuis, H., Janssen, L. & De Pater, M. (2016) Evaluatie Giro Gelderland 2016. Hogeschool van Arnhem en Nijmegen.

16 Pawson, R. (2002). Evidence-based policy: The promise ofrealist synthesis'. Evaluation, 8(3), 340-358.

17 Hover, P., Dijk, B., Breedveld, K., van Eekeren, F. J. A., & Slender, H. (2016). Creating social impact with sport events. Utrecht: Mulier Instituut.

18 Kasimati, E. (2003). Economic aspects and the Summer Olympics: a review of related research. International journal of tourism research, 5(6), 433-444.

19 Weed, M., Coren, E., Fiore, J., Wellard, I., Chatziefstathiou, D., Mansfield, L., & Dowse, S. (2015). The Olympic Games and raising sport participation: a systematic review of evidence and an interrogation of policy for a demonstration effect. European Sport Management Quarterly, 15(2), 195-226.

« terug

Reacties: 2

Michiel de Nooij
30-05-2017

Beste Bake en Hans,

Dank voor jullie rijke bijdrage.

Mooi om bij jullie ook de onvrede met de EIA’s te lezen.

Goed om bij het verbeteren van de evaluaties de verschillende gebruikers en onderzoeksvragen goed in beeld te houden. Dat loopt nu wel eens door elkaar.

Ik wil als econoom en MKBA-ervaringsdeskundige toch een paar opmerkingen maken bij jullie notities over MKBA’s.

De Nederlandse Sportraad (NSR) introduceert de term MKBA-light. Ik weet niet wat dat is, de term staat bijvoorbeeld niet in de handleiding van Romijn en Rennes waar jullie naar verwijzen, noch in de Werkwijzer voor kosten-batenanalyse in het sociale domein van SEO (2016). Daar komt wel de term kengetallen kosten-batenanalyse voor, maar hier ontbreken juist de kentallen. Dus dat is lastig. Ik snap waar de term vandaan komt, een volledige MKBA is veel werk en kan dat niet minder.

Dat brengt mij bij jullie opmerkingen over de Dam tot damloop MKBA. Dit zou een MKBA-light zijn, afgezien dat ik niet weet wat dit is, snap ik jullie redenering ook niet. Een van jullie kenpunten is dat we het publiek gevraagd hebben wat het evenement hen waard is. Volgens jullie moet je eerst effecten bepalen en dan pas waarderen. Dat is precies wat gedaan hebben: mensen staan langs de kant omdat ze dat leuker vinden dan wat anders, dus de vraag is hoeveel mensen ervaren dit effect (langs de kant staan), en wat is het hen waard. Het plezier, geluk van het bezoek van een sportevenement hoort in een MKBA, dat is misschien wel het belangrijkste effect van het evenement. Ook van andere effecten is eerst de omvang vastgesteld (hoeveel meer wordt er gesport), voordat gewaardeerd is. En zoals we zelf ook aangegeven hebben, kunnen zowel effectmeting als waardering beter (als onderzoeker is er altijd wel iets te zien dat beter kan), maar waren een flinke stap vooruit.

Tot slot jullie pleidooi om eerst het MKBA-denkraam te kwalitatief te volgen en pas eventueel over een aantal jaren in te vullen als er meer detailonderzoek gedaan is. Het MKBA-denkkader toepassen is zeker nuttig, omdat het helpt te focussen op wat de welvaartseffecten van beleid (zoals steun aan sportevenementen) zijn. Alleen mist zoveel wat in een MKBA thuishoort dat je het in praktijk geen MKBA mag noemen (Romijn en Renes, 2013, p. 42). Mijn ervaring met het maken van MKBA’s is dat als je gaat kwantificeren en waarderen, dus getallen en waarden aan effecten toekennen, dat dan blijkt dat sommige effecten onverwacht groot of klein zijn. Je mist veel als je lang wacht met het invullen van MKBA’s.

Hartelijke groet

Michiel

Egbert Oldenboom
30-05-2017

Goede inhoudelijke bijdrage aan de discussie, met de kritiek op het gebruik van willingness to pay binnen MKBA ben ik het hartgrondig eens. Ook de andere punten zijn zeer interessant. Ik ben het niet eens met het frame dat er een keuze zou zijn: of economische impact studies te doen of andere studies. Volgens mij kan dat prima naast elkaar bestaan. En ik denk dat het herhalen van een methode en daarmee het opbouwen van een database aan kennis over economische impact op zich al waarde heeft. Vergelijkbaar met het CBS, die allerlei statistieken verzamelt die juist door hun herhaling tijdreeksen mogelijk maakt. Dan zeggen we ook niet: het CBS moet nu maar eens ophouden met het meten van het BNP want dat weten we nu wel.

Reactie toevoegen

Naam*
E-mailadres*
Reactie*
Stuur mij een e-mail als er een nieuwe reactie wordt geplaatst