Skip Navigation LinksHome-Nieuws-Column XL-Item

Een tropisch eiland en wat wijn 23 mei 2017

door: Michiel de Nooij1 

De evaluatie van de waarde van sportevenementen gebeurt vaak met behulp van een economische impact-analyse, een onderzoeksinstrument met geringe zeggingskracht. Veel relevante kosten en baten van het evenement neemt het niet mee. Erger nog: zelfs een plus- of min-resultaat van een economische impact-analyse heeft geen betekenis. Een economische impact-analyse heeft hoegenaamd geen zeggingskracht over de waarde van het evenement. Dat laat ik in dit artikel zien aan de hand van een aantal eenvoudige voorbeelden van een eiland dat wijn wil, maar dat niet krijgt als een men een economische impact-analyse inzet Mijn punt: het is de hoogste tijd om naar betere en buiten de sport meer gangbare methoden te grijpen als evaluatie-instrument van sportevenementen. Hoe verschillend de gehanteerde onderzoeksmethode uitwerkt laat ik zien met het voorbeeld van het eiland dat wijn wil.

Als men een sportevenement evalueert, laat men meestal een economische impact-analyse (EIA) maken. Een EIA schat hoeveel geld er door het evenement de regio binnenkomt minus hoeveel geld er door het evenement uit de regio verdwijnt. Bestedingen van bezoekers van buiten tellen positief mee, bestedingen van de organisatie buiten de regio tellen negatief mee, en bestedingen van lokale bezoekers tellen meestal niet mee. Bij de meeste evenementen komt er per saldo meer geld de regio binnen dan er uit de regio verdwijnt. 

"Academische economen wantrouwen economische impact-analyses zeer en geven de voorkeur aan maatschappelijke kosten-batenanalyses"

De werkgroep evaluatie sportevenementen (WESP) is op dit terrein erg actief. Aan EIA's kleven echter in mijn ogen nogal wat bezwaren. Niet alleen schatten veel EIA’s extra bestedingen te hoog in2, ook zit er tussen extra bestedingen en extra economische activiteit een 'magische multiplier', waardoor de baten met een factor 20 tot 50 worden overschat (zie mijn eerdere bijdrage op Sport Knowhow XL3). Ik schrijf bewust economische activiteit, niet welvaart. Een positief getal in een EIA zegt nog niet dat we van dat evenement of die activiteit beter worden, omdat kosten en andere baten buiten beeld blijven. Academische economen wantrouwen EIA’s dan ook zeer en geven de voorkeur aan maatschappelijke kosten-batenanalyses (MKBA’s).4 

Voorwaarde voor subsidie
In de praktijk zijn het echter de EIA’s die domineren. In aantallen domineren de EIA’s (de afgelopen jaren zijn meer dan vijftig EIA’s in Nederland gemaakt en slechts vier MKBA’s, (waarvan drie voor megasportevenementen: de Olympische Spelen en het WK voetbal). En in sportbeleidskringen zijn de EIA’s dominant over de MKBA’s: (het ministerie van VWS stelt EIA’s als voorwaarde voor subsidie).

Recentelijk heeft de Nederlandse Sportraad haar rapport ‘Nederland op de kaart. Analyse van 25 grote sportevenementen’ gepubliceerd, waar op Sport Knowhow XL ook tweemaal aandacht voor is geweest. In haar rapport concludeert de Nederlandse Sportraad dat de ‘de waarde van sportevenementen voor de samenleving groot [is], en dat geldt ook voor de economische impact.’ ‘Niet ieder evenement scoort even hoog, maar de economische impact van grote sportevenementen is positief over de gehele linie gemeten. Bij veertien sportevenementen waarvan de economische impact op vergelijkbare wijze is gemeten, bedraagt de opgetelde economische impact € 100 miljoen.’ De sportraad geeft aan dat dit is nog exclusief mediawaarde en eventuele lange termijn effecten.6 

"Meting van economische impact is niet zinnig. De methode van analyse moet niet worden verbeterd, maar compleet vervangen door een betere methode"

Dat klinkt indrukwekkend en goed. Maar zoals ik in dit artikel laat zien, valt dat erg tegen. De Nederlandse Sportraad concludeert verder dat ‘de onderzoeksrichtlijnen van de WESP, de modelaanpak en de Evenementassistent wel eens mogen worden afgestoft.’7 Zoals ik hieronder betoog is afstoffen niet zinnig: meting van economische impact is niet zinnig. De methode van analyse moet niet worden verbeterd, maar compleet vervangen door een betere methode.

In de discussies die volgden op mijn eerdere publicatie op Sport Knowhow XL merkte ik dat het probleem met EIA’s nog groter is dan meestal wordt gezien: een negatief teken zegt nog niet dat het geanalyseerde project of evenement slecht is voor de welvaart, en een positief teken zegt nog niet dat het goed is voor de welvaart. Kortom, een EIA geeft geen nuttige beleidsinformatie. Dit punt wil ik duidelijk maken met een aantal kleine gestileerde voorbeelden waardoor ingewikkelde economische theorie niet nodig is. Hopelijk is het hierdoor ook voor niet-economen goed te volgen en toe te passen.

Stel je voor: je woont op een tropisch eiland.. 
… met nog 9.999 andere vriendelijke mensen. Mooi weer en overvloedige kokosnoten en vis. Nu is dat prachtig, maar het menu verveelt op den duur toch wat. Dus hebben de bewoners bedacht dat ze wijn willen gaan importeren. Er is een bruikbare haven, maar is er een oude regulering dat deze alleen voor visserij bestemd is. Dus moet bij het eilandsbestuur een vergunning worden aangevraagd om wijn te mogen importeren via de haven. De vergunning wil het bestuur alleen verstrekken als duidelijk is dat de import van wijn goed is voor het eiland. 

De aanvragers van de nieuwe vergunning gaan daarom over tot het maken van een EIA. Eerst is onderzoek gedaan naar hoeveel vraag er is naar wijn. Voor de wijn kan men uit twee aanbieders kiezen: een met goede wijn en een met minder goede wijn. Voor het gemak neem ik aan dat ze niet beiden gekozen kunnen worden. En helaas geldt ook hier: wat goed is, is duurder. De vraag naar de goede wijn is 40 flessen als de prijs € 0 is, bij iedere prijsverhoging met € 1 daalt de vraag met een eenheid. Dus als de prijs € 40 is, is de vraag nul. (De vraagcurve is Qg = 40-Pg, waarbij Qg voor hoeveelheid goede wijn staat, Pg voor de prijs ervan). De slechte wijn is minder in trek: als de prijs € 0 is, is de vraag 20 flessen. Iedere prijsverhoging met € 1 verlaagt de vraag met 1. (De vraagcurve is Qs=20-Ps. Het subscript s geeft de slechte wijn aan).8

"Het lijkt uit economisch oogpunt geen goed plan om wijn in te voeren. En als je al wijn zou willen, zou je slechte wijn moeten willen"

De goede wijn kost € 10 om te importeren en de slechte € 5. Voor beide moeten lokaal nog € 4 per fles kosten gemaakt worden, de kosten van de winkel. De goede wijn kost de klant daarom € 14 en de slechte kost € 9. De vraag naar goede wijn is dan 26 flessen, terwijl de vraag naar slechte wijn 11 flessen is.

Vervolgens wordt een EIA gemaakt. En het nare is dat de uitkomst tegenvalt: de uitkomst van de EIA voor de goede wijn is - € 260 (namelijk 26 flessen maal de importprijs van € 10). Er gaat dus per saldo € 260 het eiland uit. De EIA voor de slechte wijn is - € 55 (namelijk 11 flessen maal de importprijs van € 5).

Kortom, het lijkt uit economisch oogpunt geen goed plan om wijn in te voeren. En als je al wijn zou willen, zou je slechte wijn moeten willen (onder de conclusies is een link naar een tabel opgenomen met voor alle voorbeelden de belangrijkste getallen)

Vrijwilligers bieden hulp aan
Een deel van de inwoners baalt flink van deze negatieve uitkomst. Een stel fanatieke wijnliefhebbers biedt aan de winkel van waaruit de verkoop zou gebeuren als vrijwilligers te runnen als de goede wijn wordt geïmporteerd. Hierdoor zijn er geen lokale kosten en daalt de prijs voor een klant naar de importprijs van € 10. Omdat de goede wijn zo goedkoper is, stijgt de vraag naar 30 flessen. Dit lijkt prachtig toch? Helaas daalt hierdoor de EIA naar - € 300. Goede wijn door vrijwilligers lijkt dus een slecht idee.

Nu de inzet van vrijwilligers geen oplossing is, wordt een andere oplossing voor de negatieve EIA gezocht. Een aantal slimmeriken heeft een deel van de studies over EIA’s en de kritiek erop gelezen en ze passen dat slim toe. Ze rekenen de EIA nu uit voor het dorp, waarin ook de haven ligt, en nemen de rest van het eiland mee als buitengebied. Voor het gemak nemen we aan dat de helft van de bevolking/wijnliefhebbers in deze havenplaats woont.

De EIA voor de havenplaats voor de goede wijn wordt nu: -€ 78 (namelijk -26 flessen maal de importprijs € 10 + de helft van de vraag (het deel van buiten het dorp; 13 flessen) maal de lokale prijs (€ 14)). De EIA is dus de importkosten van alle wijn minus wat aan de rest van het eiland wordt verkocht. 

De EIA voor de slechte wijn is nu - € 5,5 (-11 flessen maal de importprijs € 5 + de helft van de vraag (het deel van buiten het dorp; 5,5 flessen) maal de lokale prijs (€ 9)).

De vrijwilligers hebben zich nog niet uit het veld laten slaan en bieden nog steeds aan de goede wijn tegen inkoopkosten op het eiland te bezorgen. De EIA wordt dan:- € 150 (-30 flessen maal de importprijs € 10 + de helft van de vraag (het deel van buiten het dorp; 15 flessen) maal de lokale prijs (€ 10)). Wederom veel teleurstelling: ook voor de havenplaats kan wijn importeren niet uit. Al leek de slechte wijn nu bijna okay. En van de vrijwilligers zou je het al helemaal niet moeten hebben. 

De piraten bieden ‘hulp’…
Niet alle inwoners zijn aardig, er is een klein groepje van honderd piraten. Deze zien het wijndebat aan en gaan ook rekenen. Ze kunnen namelijk wijn stiekem aan land brengen. Ze hebben dus geen vergunning nodig. Maar het is wel duurder dan via de haven. De lokale kosten zijn dan € 8 in plaats van € 4. En de piraten bedenken dat ze er mooi extra aan kunnen verdienen door een extra winstmarge van € 3 op de prijs te gooien. De goede wijn bij de piraten kost dan € 21 en de slechte wijn € 16.

Nu geeft het feit dat de piraten niet aardig zijn een deel van de andere eilandbewoners een slecht gevoel. Daardoor is de vraag naar goede en slechte wijn 5 minder bij iedere prijs dan als de wijn door een gewone handelaar zou worden verkocht (de vraagcurves worden Qg=35-Pg en Qs=15-Ps). 

"Als inwoner van dat eiland zit je toch niet te wachten op slechte of dure wijn of onsympathieke verkopers?"

Slechte wijn aanbieden heeft voor de piraten geen zin, want de vraag bij een prijs van € 16 als zij het aanbieden is nul.

De goede wijn aanbieden geeft het piratendorp een EIA van € 151,06 (-14 flessen maal de importprijs € 10 + 99 procent van de vraag (het deel van buiten het piratendorp) maal de lokale prijs (€ 21)).

Kortom: een mooi positieve EIA. De eerste op het eiland! Het beste wat hier kennelijk kan gebeuren is dat piraten de wijn importeren op een dure manier, waarbij de prijs extra hoog ligt door een hoge winstmarge en de vraag lager ligt dan nodig omdat de piraten als uitbuiters een slecht gevoel geeft bij het drinken van de wijn. 

Daar krijg je als eilandbewoner die een vrolijker leven wil mooi een kater van, van dit soort EIA’s. Want laten we wel wezen: als inwoner van dat eiland zit je toch niet te wachten op slechte of dure wijn of onsympathieke verkopers? Hoe aantrekkelijker het voorstel lijkt, hoe slechter de EIA. Maar wat moet je dan? 

Maar wacht even, dit is toch een artikel over de waarde van sportevenementen?
Klopt, maar om die waarde te bepalen is het nodig iets te snappen van het instrument dat wordt gebruikt om te meten. En het punt van bovenstaande voorbeelden is juist dat het standaard meetinstrument niks oplevert: een negatieve EIA zegt niet dat een actie ongewenst is. De meeste lezers die zich op dat tropische eiland wanen, zullen het liefst de goede wijn tegen de laagste kosten hebben (die heeft de slechtste EIA). Dus het teken en de omvang zeggen niet zo veel. En ook voor sportevenementen kan je makkelijk met negatieve voorbeelden komen. 

Stel bijvoorbeeld een stad zonder basketbalclubs, maar wel met veel liefhebbers, wil een aantal buitenlandse teams uitnodigen om in hun stad een wedstrijd te organiseren. De kaartjes worden alleen aan de eigen inwoners verstrekt en de opbrengst van de kaartjes is steeds zo dat daar de kosten van het inhuren en invliegen van de buitenlandse teams van betaald kan worden. En hoe beter de teams, hoe meer men bereid is te betalen en hoe meer mensen er bij een gegeven prijs komen. Het enige dat nog ontbreekt is toestemming van de gemeente om de gemeentelijke sport- en evenementenhal te gebruiken. 

"Wat zou je advies zijn? Gewoon de NBA-sterren uitnodigen en een economische impact-analyse alleen gebruiken als het uitkomt?"

De keus is tussen twee NBA-teams uitnodigen die een echte wedstrijd spelen of twee Noorse eerste divisieclubs voor een demonstratiewedstrijd. Uiteraard zijn de NBA-sterren beroemder en beter. Ze zijn ook duurder. Dus de kaarten voor de NBA-sterren zijn duurder en er gaan meer mensen op af komen, dan op de Noorse teams. De EIA’s zijn beide negatief. Namelijk er gaat geld naar de buitenlandse teams om te komen, er komt geen geld van buiten. En omdat de NBA-teams duurder zijn, is die EIA negatiever dan die van de Noorse teams. Wat zou je advies zijn? Geen wedstrijd en teleurgestelde basketbalfans? Dan maar de slechte teams uitnodigen? Of gewoon de NBA-sterren uitnodigen en een EIA alleen gebruiken als het uitkomt?

Nog een voorbeeld: wielerwedstrijd op de weg
Of stel je voor een wielerwedstrijd op de weg, met gratis toegang. Er komen 100 lokale bezoekers en 10 mensen van buiten. De bezoekers van buiten geven gemiddeld € 2 uit. De EIA is € 20 (even aannemend dat de organisatie geen uitgaven buiten het eigen gebied doet en daar ook geen inkomen vandaan haalt). Nu heeft de organisatie meer geld nodig, en voert daarom toegangskaarten in. De kaarten kosten € 10 per stuk, waarvan € 5 nodig is om de kosten van het kaartsysteem te betalen. Veel minder mensen komen. 5 locals en 5 bezoekers van buiten. De EIA is nu: 5*10+5*2=60. Ruim drie keer zo groot! De organisatie heeft netto 10*5=€ 50 extra te besteden. 

Dat klinkt allemaal mooi. Maar de kosten zijn hoog. Zowel de kosten van de tickets (€ 50) als het feit dat veel bezoekers nu wegblijven. Die waardeerden het evenement toen het gratis was, maar minder dan de prijs die ze ervoor moeten betalen. De EIA zegt dat het evenement drie maal zo goed geworden is door de invoering van toegangsprijzen, terwijl nog maar 9 procent van de bezoekers komt. Is dat echt een vooruitgang? Heel concreet, als bij de start van de Giro in Gelderland de gemeten economische impact niet € 8,4 miljoen was maar € 25 miljoen terwijl het aantal bezoekers was gedaald van 482 duizend naar 44 duizend9, was de start dan een groter succes geweest?

Kortom, ook bij sport slaat een EIA nergens op.

Echte welvaartseconomie
Waar alle EIA’s een blinde vlek voor hebben is voor standaard welvaartseconomische maten als consumenten- en producentensurplus. Dit is ook de basis voor maatschappelijke kosten-batenanalyses, die op veel terreinen gemaakt worden en waar vanuit de overheid een handleiding beschikbaar voor is.10 Een consumentensurplus (CS) is het verschil tussen wat een klant wil betalen voor een product en dat wat hij moet betalen. Een klant die € 40 voor een fles wijn wil betalen maar slecht € 10 hoeft te betalen heeft een consumentensurplus van 30. Analoog is het producentensurplus het verschil tussen wat het de producent kost om een goed te maken en dat wat hij krijgt. Een wijnhandelaar die een fles wijn inkoopt voor € 5 en zonder extra kosten verkoopt voor € 10 heeft een surplus van 5.

Omdat ik met lineaire vraagcurves werk in mijn voorbeelden zijn de consumentensurplussen makkelijk te berekenen: een half maal (hoogste prijs die men bereid is te betalen minus echte prijs) maal hoeveelheid maal bevolkingsomvang (eiland, havenplaats, piratendorp). Voor de eerder beschreven situaties zijn de consumentensurplussen dan: 

  • Goede wijn voor het hele eiland (1/2*(40-14)*26)= 338
  • Slechte wijn voor het hele eiland (1/2*(20-9)*11)= 60,5
  • Goede wijn voor het hele eiland door vrijwilligers (1/2*(40-10)*30)= 450
  • Goede wijn voor de havenplaats (1/2*(40-14)*26) *50%= 169
  • Slechte wijn voor de havenplaats (1/2*(20-9)*11) *50%= 30,25
  • Goede wijn voor de havenplaats door vrijwilligers (1/2*(40-10)*30) *50%= 250
  • Goede wijn door de piraten (1/2*(35-21)*14) *1%= 0,98
  • Slechte wijn voor de piraten (1/2*(15-16)*0) *1%= 0

Het producentenverhaal is simpel, het producentensurplus is er meestal niet omdat ik steeds heb aangenomen dat de wijnverkopers tegen kostprijs verkopen. De uitzondering zit bij de piraten die de goede wijn verkopen. Die hebben ook nog een mooie opbrengst van de extra heffing: 3 maal 14 maal 99% = 41,58.

Uit deze analyses blijkt dat (i) wijnhandel goed is en de welvaart vergroot. (ii) Hoe groter de omvang van het gebied waar je rekening mee houdt hoe beter de uitkomst. M.a.w. het studiegebied verkleinen werkt hier niet. (iii) Een kostenverlaging (door de inzet van vrijwilligers) waar de afnemers op reageren vergroot de welvaart. (iv) De beste keus is de keus voor de wijnlevering van goede wijn door vrijwilligers. 

Ook berekening van het consumentensurplus bij de wielerwedstrijd laat zien wat verloren gaat door de toegangsprijzen. Het consumentensurplus dat verloren gaat bij de wegwedstrijd waar toegangsprijzen worden ingevoerd is: uitgaande van een lineaire vraagcurve: (10-0)*(100-5)*0,5=475. Een veelvoud van de EIA en een veelvoud van de opbrengst van de tickets. 

"Omvang en teken van een economische impact-analyse zeggen niks. Waarom dan wel bij de evaluatie van sportevenementen? Zo'n analyse zegt gewoon niks"

Conclusie en reflectie
De voorbeelden die ik gegeven heb, laten duidelijk zien dat een negatieve EIA niet overtuigt. Sterker nog, ik denk dat iedereen die op het eiland woont (of voor even denkt er te wonen) voor de situatie gaat met de meest negatieve EIA. Een potentieel paradijselijke situatie gaat naar de knoppen door slechte economie. Dus omvang en teken van een EIA zeggen niks. Waarom dan wel bij de evaluatie van sportevenementen? Omdat daar wel een positief teken staat? Omdat dat goed uitkomt? Tja. Een EIA zegt gewoon niks.11 In ieder geval niet of een project, evenement of voornemen een goed idee is. 

Een EIA zegt wel iets over de omgeving waarin het gemaakt en toegepast wordt. Waarom worden er dan zoveel EIA’s in de sport gemaakt? Deels is het een vertrouwd lijkend instrument. Het gaat om een vertrouwde maat (euro’s) en om grote getallen. Dus dat komt vertrouwd en goed over (zolang je maar niet kritisch naar de methode kijkt). En deels zit de verklaring in de markt en hoe die geordend is. Dit gaat om incentives en motieven, budgetten en kwalificaties. Hieronder mijn gedachten (en deels speculaties) hierover. 

  • De media nemen graag berichten over en zijn op berichten over sport vaak weinig kritisch omdat dat niet in hun belang is en deels omdat het gaat over economie en gerapporteerd wordt door sportjournalisten.12 Met een positief getal in euro’s kan je vooralsnog mooi scoren in de media als onderzoeker en sportorganisatie. Je kan als organisatie je subsidie ermee verantwoorden: een EIA telt voor veel subsidieverstrekkers als verantwoording. Het ministerie van VWS stelt expliciet deze eis. Andere subsidieverstrekkers volgens het ministerie van VWS in deze. 
     
  • Voor onderzoekers is een EIA minder ingewikkeld en minder werk dan een maatschappelijke kosten-batenanalyse13: niet alle (de meeste) onderzoekers die EIA’s maken, zijn in staat een goede maatschappelijke kosten-batenanalyse te maken en de gebruikelijke budgetten zijn niet toereikend voor een maatschappelijke kosten-batenanalyse.14 
     
  • De werkgroep evaluatie van sportevenementen (WESP) neemt een centrale positie in op de markt en maakt onder andere de leidraad waar de standaard EIA in Nederland op gebaseerd is. Deze WESP bestaat uit onderzoekers die veel EIA’s doen en geen MKBA’s. Die laten meedenken over of en hoe de analyses beter moeten, is toch een slager vragen zijn eigen vlees te keuren.
     
  • Kortom, naar de markt kijkend, ben ik niet optimistisch dat EIA’s gaan verdwijnen voor sportevenementen. Hopelijk is het begrip van het instrument vergroot en weet nu iedere lezer dat als iemand een EIA aanhaalt of doet, dat het getal niks zegt (zelfs het teken niet), maar dat er kennelijk een ander doel dat niet uitgesproken wordt gediend wordt. 

Klik hier voor een tabel met een overzicht van alle voorbeelden.

Noten:
1. Dank aan alle mensen met wie ik eerder over de multipliers en het evalueren van de waarde van sportevenementen gediscussieerd heb voor het scherpen van mijn gedachten. Uiteraard zijn eventuele fouten mijn verantwoordelijkheid. 

2. Zie bijvoorbeeld:
Crompton, J. (1995) Economic impact analysis of sports facilities and events: eleven sources of misapplication, Journal of Sport Management, vol. 9(1): 14-35.
Crompton, J. (2004). Beyond Economic Impact: An Alternative Rationale for the Public Subsidy of Major League Sports Facilities, Journal of Sport Management, 18 (1): 40-58

3. Michiel de Nooij (2016) De magische multiplier bij de economische evaluatie van sportevenementen

4. Daarom, en vanwege de problemen met EIA’s zoals beschreven door de eerder aangehaalde Crompton, hebben academisch economen een sterke voorkeur voor maatschappelijke kosten-batenanalyses boven EIA’s. zie bijvoorbeeld: 

  • Késenne, S.L.J. (2005) Do We Need an Economic Impact Study or a Cost-Benefit Analysis of a Sports Event? European Sport Management Quarterly, 5 (2), 133- 42. 
  • Heisey, K. (2009) Estimating the Intangible Benefits of Hosting the 2016 Olympic and Paralympic Games for Potential Bid Cities: Berlin, Chicago, and San Francisco. PhD thesis. Deutschen Sporthochschule Köln.
  • Coates, D. (2008) A Closer Look at Stadium Subsidies. Tuesday, April 29, 2008. The American, the Journal of the American Enterprise Institute. Downloaded december 9th 2010.
  • Andreff, W. (2012) The winner’s curse: why is the cost of mega sporting events so often underestimated. Chapter 4 in: Andrew S. Zimbalist, Wolfgang Maennig (eds) International Handbook on the Economics of Mega Sporting Events. Edward Elgar Publishing.
  • Marijke Taks, Stefan Kesenne, Laurence Chalip, B. Christine Green, and Scott Martyn (2011) Economic Impact Analysis Versus Cost Benefit Analysis: The Case of a Medium-Sized Sport Event. International Journal of Sport Finance, 6, 187-203.

5. De richtlijnen van WESP worden ook door het ministerie van VWS als voorwaarde gesteld voor subsidie aan grote sportevenementen (ministerie van VWS 2013, Beleidskader sportevenementen, p. 10).

6. Nederlandse Sportraad (2017) Nederland op de kaart. Analyse van 25 grote sportevenementen in Nederland. pp.9-10.

7. Mariëtte van der Voet (2017) Nederlandse Sportraad vindt randvoorwaarden voor grote sportevenementen nog niet optimaal.

8. Uiteraard kan je ook met grotere hoeveelheden werken, bijvoorbeeld met duizend flessen als eenheid van de wijn. Het enige wat dit verandert, is dat er overal drie nullen achter komen. Dit komt de leesbaarheid niet ten goede. 

9. Gegevens ontleend aan Hogeschool van Arnhem Nijmegen (2016) Wat heeft giro Gelderland opgeleverd? - Factsheet.

10. Romijn, Gerbert, en Gusta Renes (2013) Algemene leidraad voor maatschappelijke kosten-batenanalyse. CPB/PBL. 

11. Nee, het zegt ook niks over economische groei: een evenement dat tot meer export leidt (positieve EIA heeft), leidt ook weer tot import. Verschuiving van werkgelegenheid is het gevolg. Er is hooguit een stijging van de productie als de exporterende sectoren productiever zijn dan de importerende sectoren. Zie Michiel de Nooij (2016), De magische multiplier bij de economische evaluatie van sportevenementen

12. Jørgensen, Søren Schultz (2005) The World’s Best Advertising Agency: The Sports Press. Mandagmorgen. Nr. 37. 31 October. 1-7.

13. Zie bijvoorbeeld mijn vergelijking van de EIA en MKBA van de Dam tot damloop waar in voor de beschrijving van de bestedingen veel minder ruimte en vragen in de vragenlijst nodig had dan voor de maatschappelijke effecten. Zie bijvoorbeeld: 

  • Michiel de Nooij en Peter Horsselenberg (2016) Dam tot Damloop 2013: meer maatschappelijke dan economische waarde. TPEdigitaal 2016 jaargang 10(1) pagina 88-102
  • Michiel de Nooij, Peter Horsselenberg (2015) De waarde van een sportevenement Sportknowhow XL.

14. Dit wordt bevestigd door de Nederlandse sportraad als ze schrijft dat er voor de maatschappelijke impact meer aandacht nodig is en tegelijk concludeert dat onderzoek hiernaar al snel te snel complex of te duur genoemd wordt.’ pp 9-10. 

Michiel de Nooij is zelfstandig economisch onderzoeker bij Michiel de Nooij Economisch Onderzoek en Advies. Hij is géén lid meer van de werkgroep evaluatie sportevenementen (WESP). Voor meer informatie: info@michieldenooij.nl of www.michieldenooij.nl

« terug

Reacties: 4

Noud van Herpen
27-05-2017

Beste Michiel,

Dank voor je column. Zoals je inmiddels weet ben ik het op dit gebied niet (altijd) met je eens. Ik ben het met je eens dat dat er wetenschappelijk gezien betere en volledigere manieren zijn om een evenement te evalueren. Echter ben ik het er niet mee eens dat de evaluaties die we nu doen 'nutteloos en onzinnig zijn en maar verboden moeten worden' (is natuurlijk niet letterlijk wat je zegt maar als het handig om met extreme voorbeelden iets proberen duidelijk te maken dan kan ik dat ook maar beter doen).

Wij hebben afgelopen jaar 16 evenementen mogen evalueren voor de gemeente Den Haag. Hierbij hebben we enkel gekeken naar de bestedingen van bezoekers. Hebben we daarmee de economische impact van de evenementen bepaald? Nee zeker niet. Was dit onderzoek dan onzin en belachelijk? In mijn ogen niet. Er is nu namelijk heel veel informatie beschikbaar die we een jaar geleden niet hadden. Waarom is de gemiddelde besteding op het ene evenement veel hoger dan op het andere evenement? Kunnen we een verklaring vinden voor de verschillende bezoekersprofielen? Waarom komen op event X zo veel meer mensen met het openbaar vervoer dan bij event Y. Het interessante is namelijk dat als je evenementen op dezelfde manier evalueert dat het dan mogelijk is om deze tot op zekere hoogte met elkaar te vergelijken. M.a.w. ik kijk graag naar wat we wél uit de gegevens kunnen halen die we verzameld hebben ipv enkel te kijken naar wat er  wetenschappelijk gezien anders/beter zou kunnen. Daarnaast hebben studenten ook nog eens een waardevolle praktijkervaring opgedaan tijdens de evenementen. Al met al ben ik dus erg blij dat we dit onderzoek hebben mogen doen.

Met vriendelijke groet,

Noud van Herpen*

Docent en onderzoeker op de Haagse Hogeschool

*lid van de WESP. Dit omdat ik graag meedenk over hoe we sportevenementen op een goede, uitvoerbare én bruikbare manier kunnen evalueren.

Michiel de Nooij
29-05-2017

Beste Noud

Dank voor  je reactie.

Het is onjuist zoals je wetenschappelijk en praktisch onderzoek tegen elkaar weg zet. Wil je praktisch nuttig onderzoek doen, moet het ook (wetenschappelijk) kloppen. Daarbij hoeft ook niet ieder praktisch onderzoek wetenschappelijk uitgewerkt of vernieuwend te zijn (het moet wel praktisch blijven). Zoals je zelf aangeeft kan het evaluatieonderzoek bij sportevenementen wetenschappelijk beter. Mijn punt van deze en mijn vorige bijdragen op SportknowhowXL was dat het veel beter kan. Praktisch wordt er nu veel slecht en weinig goed onderzoek gedaan. En daar zijn (praktische) redenen voor, de essentie blijft helaas dat er rond de evaluatie van sportevenementen vooral slecht onderzoek gebeurd.

Je voorbeeld van de 16 evenementenevaluaties is mooi. Je gebruikt de term EIA er niet bij, maar ik neem aan dat je dat bedoelt (anders is het voorbeeld niet relevant in de discussie). Wat je aangeeft, is dat het onderzoek veel nuttige detailkennis heeft opgeleverd. Dat zal zeker. Al geldt dat even goed voor als je de onderzoeken volgens een wel goede methode zou doen. Maar wat je doet, is de EIA verdedigen, niet omdat het hoofddoel (de extra bestedingen) zo nuttig is, maar omdat de bijvangst zo zinnig is. Als het om de bijvangst gaat, vang alleen die. Als het je wel om het hoofddoel gaat, doe het dan goed: maak een maatschappelijke kosten-batenanalyse geen economische impact analyse.

Ik heb ook twee jaar op een Hogeschool gewerkt en realiseer me hoe moeilijk het is om studenten goed bij onderzoek te betrekken. EIA lijken daar goed geschikt voor: veel studenten kunnen praktisch ervaren wat er komt kijken bij het afnemen van veel enquêtes en eventueel het opstellen, verwerken en analyseren ervan. En toch… goed onderzoek begint bij wat willen we weten en hoe kunnen we daar achter komen. Dan kan je niet bij een EIA uitkomen…. Dus wat leer je de studenten nu echt?

Ik ben geen lid meer van de WESP, niet omdat ik niet graag meedenk over hoe we sportevenementen op een goede, uitvoerbare én bruikbare manier kunnen evalueren. Mijn ervaring is dat de WESP een sympathieke club mensen is die op EIA is gericht: hoe die uitgevoerd, verbeterd en verdedigd kunnen worden. De WESP verandert niet richting betere methodes. Ik kan er vrije tijd instoppen (en heb dat gedaan), dat verandert niks. Ik wil best meedenken over hoe het beter kan, maar dat moet dan wel zin hebben. Bij de WESP heeft het dat niet. Vandaar mijn afmelding.

Hartelijke groet

Michiel 

Noud van Herpen
30-05-2017

Beste Michiel,

Dank voor je reactie.

Stel, we willen weten hoe het zit met het percentage overgewicht in een bepaalde gemeente. We kunnen er dan voor kiezen om een BOD POD (http://www.tulipmed.nu/portfolio-items/bod-pod/) in te zetten en te meten hoeveel de inwoners wegen en wat de lichaamsamenstelling is. Wetenschappelijk gezien een van de de beste methodes. Echter is dit duur en tijdrovend, dit ondanks dat de meting snel gaat t.o.v. bijvoorbeeld een onderwaterweging waarbij we ook vetpercentage en gewicht kunnen bepalen. Echter vanwege de kosten en de tijd kunnen we dit bij slechts een deel van de inwoners van de gemeente doen.

Het alternatief is wetenschappelijk gezien minder, we gaan namelijk van iedere persoon in de gemeente de Body Mass Index bepalen (gewicht in kg / lengte in het kwadraat). Iedereen weet dat niet de beste methode is om overgewicht vast te stellen. Iemand kan namelijk veel spiermassa hebben en daarmee een (te) hoog BMI. Het voordeel is wel dat we dit bij veel meer mensen kunnen bepalen en ons dus alsnog veel informatie oplevert. 

In mijn ogen zeg jij nu ongeveer het volgende: 'Als je niet kan meten met de BOD POD moet je het niet doen. Bepalen van BMI is onzin en geen alternatief.' Dat kan een standpunt zijn. Ik kies er zelf voor om wel BMI te bepalen als de BOD POD niet beschikbaar is. Dit omdat de informatie die het oplevert ons toch iets leert over de bevolking in de desbetreffende gemeente. Het is dan wel zaak om de gemeente goed in te informeren over wat deze BMI cijfers betekenen. Dus dat niet iedere persoon met een (te) hoog BMI ook direct ongezond is.

En zo zie ik het ook bij de EIA, we moeten goed communiceren over wat deze uitkomsten betekenen en wat we wel en niet kunnen met deze informatie. We kunnen dus nooit zomaar zeggen: 'Evenement A is beter dan Evenement B om de EI van evenement A hoger was.'

Tot zover mijn reactie op je column. Mocht je hier nog op reageren, alvast dank. Ik zal het met interesse lezen. Ik ga alleen niet meer reageren, dit omdat ik vermoed dat we hier niet uit gaan komen op deze manier. We spreken elkaar vast snel op een andere gelegenheid.

Met sportieve groet,

Noud 

Michiel de Nooij
30-05-2017

Beste Noud,

Toch nog een korte reactie.

Ook ik ben heus zo realistisch om als de perfecte methode te duur is om vaak toe te passen, dan voor een mindere methode te gaan. Alleen dan gaat het er nog wel om hoe goed die mindere methode de betere methode benadert. Mijn bijdrage over de Dam tot damloop liet zien dat de EIA hooguit een derde van het effect van een MKBA vangt. Bij een grotere regio, en een lagere multiplier neemt de benadering van de EIA nog verder af (en voor beide zijn goede argumenten). Bij andere evenementen kan deze verhouding weer anders zijn, daar weten we nog niks van. Zoals mijn bijdrage nu laat zien, kan zelfs het teken verschillen tussen het praktischere instrument en het best metende instrument. Kortom, de benadering van EIA is echt te slecht.

Tegen beter communiceren kan ik niet zijn. Mijn ervaring is wel dat er grenzen zijn aan wat je bij kan sturen als een rapport of persbericht er ligt. Er wordt door de gebruikers van een EIA meestal snel gezocht naar de totaaluitkomst, niet altijd wordt dan verder gelezen. Dus als je wilt dat ze vooral de andere informatie uit je rapport halen, moet je misschien het totaal weglaten. Dat communiceert ook lastig, in verband met de verwachtingen van de lezers. Praktisch gezien ga je dan weg van het uitvoeren van een EIA. Kortom ik ben niet tegen beter communiceren maar zie er wel stevige grenzen aan.

Hartelijke groet

Michiel

Reactie toevoegen

Naam*
E-mailadres*
Reactie*
Stuur mij een e-mail als er een nieuwe reactie wordt geplaatst