Skip Navigation LinksHome-Nieuws-Column XL-Item

De magische multiplier bij de economische evaluatie van sportevenementen 5 juli 2016

door: Michiel de Nooij

Het EK atletiek staat op het punt van beginnen. Ik heb al twee lezingen voorbij zien komen die gaan over hoe goed dit soort evenementen zijn voor de (lokale) economie. Maar weinig mensen realiseren zich dat dit sprookjes zijn, waarbij de magie zit in de multiplier. Nu richten de onderzoekers zich op de bijzaak en niet op de hoofdzaak van sportevenementen. Niet de magie van de multiplier moet de evaluaties bepalen, maar de magie van het evenement: de beleving, het plezier de ervaring, de verbinding met elkaar. Juist daar draait het om.

Beleidsmakers en politici halen graag sportevenementen naar hun gemeente, regio of land omdat dit goed is voor publiciteit en een mooie economische spin-off heeft.1 De afgelopen jaren zijn vooral evaluaties van de economische spin-off gemaakt. Onder de vlag van de Werkgroep Evaluatie Sportevenementen (WESP)2 zijn ruim vijftig economische impactanalyses gemaakt, en er zijn er ook nog een aantal die niet onder deze vlag zijn gemaakt.

"Veel conclusies over de economische impact van sportevenementen zijn sprookjes "

Bij de berekening van de economische impact is een aantal onderdelen cruciaal (zoals een schatting van het aantal bezoekers en hoe om te gaan met uitgaven van lokale bezoekers), maar de meest cruciale is de multiplier. Ik wil het hier hebben over dit onderdeel dat het meeste uitmaakt voor de uitkomst en waar het het minste over gaat. Hieronder ga ik eerst na wat deze technische term betekent (op een niet-technische manier). Daarna beschrijf ik de verschillende manieren waarop onderzoekers er nu mee omgaan. Ik stel vast dat veel conclusies over de economische impact van sportevenementen sprookjes zijn. De magie zit in de multiplier.

Daarna ga ik in op de implicaties van de magie. Hopelijk volgen er geen magische evaluaties meer. Sportevenementen wel goed evalueren is onderzoekstechnisch lastiger, en vergt meer tijd en vaardigheden bij de onderzoekers en dus ook meer budget bij de uitbestedende organisaties. Een alternatief is niet evalueren. Ik hoop op minder maar betere onderzoeken, waarin de belangrijkste baat van een sportevenement centraal staat: de magie van het sportevenement zelf, het plezier, de ervaring, de verbinding met elkaar, de beleving.

Wat is de multiplier?
Een Economische Impact Analyse (verder kortweg EIA) analyseert de impact van een sportevenement op een lokale economie. De EIA’s die voor sportevenementen worden uitgevoerd, maken een schatting van alle uitgaven die extra zijn in een gebied en vermenigvuldigen dat met een multiplier. Zo komen ze op een groei van de lokale economie. Alles wat geen extra uitgave is, zit niet in een EIA. Dus bestedingen van lokale bewoners en niet-marktgoederen, zoals plezier, city marketing-effecten en trots, zitten niet in een EIA.

De gedachte van de multiplier is dat de extra bestedingen weer tot extra bestedingen leiden. Bijvoorbeeld als er extra overnachtingen zijn in een hotel, dan moet het hotel meer broodjes inkopen bij de bakker voor het ontbijtbuffet. Hierdoor heeft de bakker ook meer geld. De bakker gaat dat ook weer uitgeven. Hierdoor wordt het effect groter dan de oorspronkelijke extra bestedingen. Dit multipliereffect wordt ook wel aangeduid als een kettingreactie of sneeuwbaleffect. Hierdoor zou een multiplier groter dan 1 kunnen zijn.

Echter, het multipliereffect wordt beperkt doordat er ook weglekeffecten optreden. Een deel van de extra inkomsten van bedrijven en burgers wordt gespaard (spaarlek), komt bij de overheid (belastinglek) of in het buitenland terecht (invoerlek). Dit verkleint de multiplier en een multiplier kleiner dan 1 is ook mogelijk. Wat dit effect kan versterken, is dat bedrijven hun prijzen of lonen moeten verhogen om personeel aan te trekken voor de extra productie.

Hierdoor kunnen andere producenten besluiten hun productie te verlagen (algemeen-evenwichtseffect). Dus als de horeca veel extra personeel vraagt voor de bezoekers van een sportevenement, dan moet dat ergens vandaan komen (de bollentelers kunnen niet meer aan bollenpellers komen). Het kan zijn dat er tijdelijk meer gewerkt wordt, dat de werkeloosheid daalt, maar ook dat andere productie blijft liggen. Deze lagere productie is lastig te meten, maar bij grote sportevenementen waarschijnlijk belangrijk.

En meer nog, een uitgave door een buitenlander bij een sportevenement is een soort export. Er wordt een goed of dienst geleverd aan iemand van buiten. En als er geld verdiend wordt met export, leidt dat ook weer tot import. Bij het evalueren van een sportevenement kunnen we wel bezoekers van buiten bevragen naar hun bestedingen, dus dat zien en meten we. Maar het is niet te zien wie welke buitenlandse producten importeert. Dus dat meten en zien we niet. Maar het is er wel.

"Sportevenementen zijn als we ze evalueren als ‘hoeveel geld van buiten verdienen we ermee’, eigenlijk bijzondere vormen van export"

Een voorbeeld ter illustratie. Een Amerikaan drinkt een Nederlands biertje en of hij dat in Nederland of in Amerika doet maakt niet veel uit. Hij betaalt met dollars. Die worden ergens omgewisseld, maar Nederland heeft er meer dollars door. Die geven we uit. We importeren een Amerikaans biertje. Daardoor hebben we misschien wel een lekkerder biertje dan zonder de handel, maar er wordt niet meer bier geproduceerd (het geïmporteerde Amerikaanse biertje leidt tot lagere bierproductie hier).3

Even deze laatste gedachte vasthoudend: dus sportevenementen zijn als we ze evalueren als ‘hoeveel geld van buiten verdienen we ermee’, eigenlijk bijzondere vormen van export. De Nooij et al. hebben het export-stimuleringsbeleid van het ministerie van Economische Zaken geanalyseerd.4 Omdat exporterende bedrijven over het algemeen productiever zijn dan niet-exporterende bedrijven leidt meer export tot meer welvaart. De schatting voor deze extra welvaart was het verschil in productiviteit tussen exporterende en niet-exporterende bedrijven, 1,5 procent van iedere euro meer export is ook extra welvaart.5 In lijn hiermee is een multiplier van 0,015 logisch en is wat tot nu toe wordt gebruikt dus veel te hoog.

Wat gebeurt er in de praktijk bij Nederlands EIA’s?
Het gros van de Nederlandse EIA’s volgt de WESP-richtlijnen.6 Hierin wordt geen multiplier gebruikt, althans niet expliciet. Wat er gebeurt, is dat er uitgerekend wordt hoeveel extra bestedingen er zijn. Dit wordt als de economische impuls gebracht. Soms wordt expliciet aangegeven dat de extra bestedingen een bovengrens vormen omdat eventuele verdringing niet is meegerekend.7 Maar effectief worden de extra bestedingen gepresenteerd als de eindkomst. De meeste lezers van dit soort studies interpreteren dit als gelijk aan de groei van de lokale economie. Impliciet hanteert men daarmee een multiplier van 1.

Buiten WESP gebeuren afwijkende dingen. Zo heeft PWC (2014)8 een voorspellende EIA gemaakt van Amsterdam als speelstad tijdens Euro 2020. Deze EIA wijkt af van de WESP-methodologie en neigt naar een maatschappelijke kosten-batenanalyse, maar lijkt hier ook af te wijken van de standaardaanpak.9 PWC heeft de extra bestedingen geschat, deze vervolgens verminderd met de extra kosten die gemaakt moeten worden voor dit evenement en dit saldo vermenigvuldigd met een multiplier van 1,55. PWC verwacht dat verdringing een kleine rol speelt omdat de omvang van het evenement klein is (vier interlands).

De Hogeschool van Amsterdam, Hogeschool In Holland en Sport2B10 hebben in hun analyse van de TCS marathon in Amsterdam deze multiplier gebruikt met een neerwaartse bijstelling voor Amsterdam. Hierdoor was de multiplier hier 1,4, en werden de 11,3 miljoen euro additionele bestedingen een totale directe en indirecte economisch impact van 15,8 miljoen euro. Eenzelfde multiplier hebben deze auteurs gebruikt voor hun analyse van het WK roeien (2014).

Het Kenniscentrum Kusttourisme heeft de finish van de Tour in Zeeland geanalyseerd.11 Het hoofdstuk over de economische impact (p. 9, 10) beschrijft hoe de additionele bestedingen van bezoekers nog geen extra toegevoegde waarde zijn. Daarvoor corrigeren ze de additionele bestedingen eerst voor BTW en daarna wijzen ze de uitgaven aan de diverse sectoren in een input-output model toe. Hierbij zorgen goederen die geïmporteerd worden voor een verlaging van de impact voor Zeeland en zorgen de onderlinge leveringen tussen sectoren voor de bepaling van de uiteindelijke extra toegevoegde waarde in Zeeland. De additionele bestedingen van 2,1 tot 2,4 miljoen euro leiden na correctie voor BTW en import tot gecorrigeerde bestedingen van 1,5 tot 1,7 miljoen.12

Dit levert via het model een toegevoegde waarde op van 0,8 tot 0,9 miljoen euro.13 Dat zou een multiplier van 0,385 betekenen. In de samenvatting (p.24) worden wel de totale uitgaven en de additionele uitgaven genoemd maar niet de berekende toegevoegde waarde. Omdat de additionele uitgaven groter zijn dan de investering voor de Tour de France (1,6 miljoen euro) concludeert het Kenniscentrum Kusttoerisme dat de investering zich royaal terugverdiend heeft. Daarmee heeft deze EIA een interessante multiplieranalyse die vervolgens (in de conclusie die iedereen leest) niet gebruikt is. Naast economische impactanalyses zijn er een aantal maatschappelijke kosten-batenanalyses (MKBA’s) gemaakt waarbij bestedingen van bezoekers een (grote) rol spelen.

In de maatschappelijke kosten-batenanalyse van het WK voetbal leiden buitenlandse bestedingen tot een impuls van 114, en in de VMKB Olympische Spelen werd een multiplier van 0,5 gebruikt15, en in de MKBA van de Olympische Spelen werd de multiplier gevarieerd van 0,015, 0,5 en 1.16 De VMKBA schat dat iedere euro extra besteding in Nederland leidt tot 0,5 euro meer welvaart (een multiplier van 0,5). De multiplier is gecorrigeerd voor het weglekeffect van bestedingen naar het buitenland via import, en er is gecorrigeerd voor verdringing van reguliere toeristen. Er is geen verdringing of algemeen evenwichtseffect meegenomen voor mensen die in de toeristenindustrie werken, of voor het organiserend comité. In de samenvatting wordt dit wel besproken, maar het komt niet terug in de berekeningen. Deze MKBA’s gebruiken heel Nederland als basis terwijl de meeste EIA’s een veel kleiner gebied hanteren, wat leidt tot positievere uitkomsten (want meer uitgaven zijn additioneel).

Van de Dam tot Damloop heb ik eerder zowel een MKBA als een EIA gemaakt. In het hoofdrapport en een publicatie op Sport Knowhow XL hebben we een multiplier van 1 gebruikt.17 In een latere gevoeligheidsanalyse voor TPEdigitaal hebben we een multiplier van 0,02, 0,5 en 1 doorgerekend. De EIA-uitkomst daalt erg hard als de multiplier daalt. Het effect op de maatschappelijke kosten-baten is veel kleiner omdat een sportevenement veel andere maatschappelijke baten heeft dan bestedingen van buiten.18

"De economische impact die gevonden wordt, is altijd veel hoger dan hoeveel een economie groeit door een sportevenement"

Wat nu als je met deze redeneerlijnen kritisch naar de praktijk kijkt?
De meeste EIA’s hanteren een multiplier van 1, sommige van ruim daarboven en een heel enkele een lagere. Het maakt dus al uit wie een evenement evalueert. Wat verder opvalt is dat de multiplier bijna nooit beargumenteerd wordt, maar impliciet gelaten wordt. Als de multiplier wordt beargumenteerd worden de argumenten voor een lage multiplier nooit allemaal genoemd of gebruikt. Algemeen evenwichtseffecten (verdringing op de arbeidsmarkt) en dat export tot import leidt, worden niet benoemd, laat staan doorgerekend. De economische impact die gevonden wordt, is daarom altijd veel hoger dan hoeveel een economie groeit door een sportevenement. Door de magische multiplier geven de EIA’s een te rooskleurig beeld van het economisch belang van sportevenementen.

En nu dan?
Dat roept de vraag op hoe verder, zowel met sportevenementen als met de uitvoering van evaluaties. Laten we eerst kijken waarom we evalueren. Zolang er alleen private beslissingen zijn, hoeft er niet zoveel geëvalueerd te worden. Als mensen ergens hun eigen geld en tijd aan uitgeven is dat omdat hun baten groter zijn dan hun kosten, en is dat economisch gezien meestal goed. Het verhaal wordt anders als er publiek geld wordt uitgegeven. Dan wordt in wezen andermans geld uitgegeven en is een verantwoording waarom dit goed is nodig.

"Een economische impactanalyse geeft geen goed beeld van of een sportevenement goed is voor de economie, maar ook niet of het evenement goed is voor de welvaar"

Daar schieten EIA’s dus flink in tekort. Ze kunnen hooguit de schijn van verantwoording wekken. Deels speelt die magische multiplier een rol. En deels mist veel in een EIA: alle niet-geldelijke baten, het plezier dat er (gratis) is en de slecht gemeten en ronduit beroerd gewaardeerde mediawaarde. Een EIA geeft daarom geen goed beeld van of een sportevenement goed is voor de economie, maar ook niet of het evenement goed is voor de welvaart.

Kortom, dit is zonde van alle tijd, geld en energie van onderzoekers, enquêteurs, organisaties en de vrijwilligers die vragenlijsten invullen bij die ruim vijftig onderzoeken die de afgelopen jaren gehouden zijn. Willen onderzoeken iets zinnigs zeggen over of een evenement goed is voor de welvaart of niet (en dus overheidssteun terecht kan zijn), dan moeten de belangrijkste maatschappelijke kosten en baten gemeten en gewaardeerd worden.19 In de vergelijking EIA en MKBA bij de Dam tot Damloop heb ik hier samen met collega’s een eerste aanzet toe gegeven, maar verdere methodologische stappen zijn nodig. Net als meer empirisch waarderingsonderzoek naar zachte effecten (plezier, geluk, spanning, sensatie) nodig is. Onderzoeken naar bestedingen zijn niet zo interessant meer. We weten er al veel van, en met een goed doordachte multiplier is het belang ervan klein.

Deze nieuwe richting voor onderzoek is onderzoekstechnisch lastiger, en vergt meer tijd en vaardigheden bij de onderzoekers en dus ook meer budget bij de uitbestedende organisaties (‘alle waar is naar zijn prijs’ geldt helaas ook bij onderzoek). Samenwerking van een aantal evenementen of gemeenten kan een oplossing zijn.

Of, als het geld voor goed onderzoek er niet is, kunnen we ook als maatschappij ervoor kiezen het niet te onderzoeken. We weten dan net zo veel als nu20 en het kost minder.  Mijn droom is dat als de magie van de multiplier uitgewerkt is, er veel minder onderzoeken gebeuren, maar dat er in plaats van de vijftig EIA’s van de afgelopen jaren bijvoorbeeld tien onderzoeken gebeuren met een navenant hoger budget, waarvan we wel leren wat de maatschappelijke baten zijn van sportevenementen.

Dus geen magie meer? Juist wel!
Mijn pleidooi is dus om de magische multiplier serieus te nemen en ons niet meer op extra bestedingen te richten. Dat is geen maatschappelijke baat of hooguit een kleine. Is er dan geen magie meer? Jawel. En daar moet het onderzoek zich juist oprichten. De magie van een sportevenement, het plezier, de ervaring, de verbinding met elkaar, de beleving. Ik herinner mij de start van de Giro in Amsterdam nog, wat ik de rest van het weekend gedaan heb? Geen idee. Voor die magie organiseren we sportevenementen, daarvoor gaan we ernaar toe. Niet voor die twee bier die ik daar drink. En juist die magie moeten we centraal stellen als we iets zinnigs willen zeggen over maatschappelijke baten.

Noten:
1. Zie bijvoorbeeld Sport Knowhow XL, 14 april 2016 'Gelderland reserveert 15 miljoen voor sportevenementen'

2. www.evenementenevaluatie.nl

3. In het voorbeeld gebruik ik een niet-EU ingezete als voorbeeld, dat legt makkelijker uit door verschillen in valuta. Het verhaal gaat op voor alle bezoekers van buiten het studiegebied, ook als ze met euro’s betalen.

4. Michiel de Nooij, Marcel van den Berg, Harry Garretsen en Henri de Groot (2010) MKBA van Handelsbeleid: Een illustratie aan de hand van het Programma Starters op Buitenlandse Markten. TPEdigitaal, 2010 jaargang 4(1) pagina 108-126.

5. Dit was het compositie-effect. Er kan ook een leereffect optreden als er ook medewerkers in het exporterende bedrijf zijn die niet voor de export werken. Dit is kleiner 0,5 procent en lijkt voor sportevenementen niet waarschijnlijk

6. De richtlijnen van WESP worden ook door het ministerie van VWS als voorwaarde gesteld voor subsidie aan grote sportevenementen (ministerie van VWS 2013, Beleidskader sportevenementen, p. 10).

7. Zie bijvoorbeeld Zuyd Hogeschool, NHTV, Mulier Instituut (2013) Evaluatie WK wielrennen. Economische impact, beleving onder lokale bevolking en promotionele waarde.

8. PWC (2014) EURO 2020: Economische impactanalyse

9.  Romijn, Gerbert, en Gusta Renes (2013) Algemene leidraad voor maatschappelijke kosten-batenanalyse. CPB/PBL.

10. Hogeschool van Amsterdam, Hogeschool Inholland en Sport2B (2015). TCS Amsterdam Marathon 2014.

11. Kenniscentrum Kusttourisme (2016) Tour de France Zeeland: Geslaagd!

12. Additionele bestedingen worden berekend op basis van enquêtes en met behulp van bezoekers aantallen. Volgens Omroep Zeeland zijn de additionele bestedingen van het Kenniscentrum Kusttourisme veel te hoog omdat ze het aantal bezoekers veel te hoog hebben ingeschat.

13. Het rapport meldt hierbij tevens de werkgelegenheidsbaten in FTE met als grote risico dat deze beide als baat worden geïnterpreteerd terwijl het één een andere weergave van de ander is.
 
14. Michiel de Nooij, Marcel van den Berg en Carl Koopmans (2010) Brood of spelen? Kosten-batenanalyse van het WK Voetbal in Nederland. TPEdigitaal, jaargang 4(3) pagina 79-100
 
15. Blok, P., G-J. Fernhout, E. Gerdes, H. Kandel, S. Schenk, C. Tunnel en T. Bridges, 2011, Verkenning Maatschappelijke Kosten en Baten van de Olympische en Paralympische Spelen 2028 in Nederland - Eindrapport, Rebel, Arup.

16. Michiel de Nooij (2012) Een alternatieve maatschappelijke kosten-batenanalyse van het organiseren van de Olympische Spelen in Nederland in 2028. TPEdigitaal, 2012 jaargang 6(1) pagina 91-107.

17. Michiel de Nooij, Peter Horsselenberg (2015) Op Sport Knowhow XL, 24 maart 2016, De waarde van een sportevenement

18. Michiel de Nooij en Peter Horsselenberg (2016) Dam tot Damloop 2013: meer maatschappelijke dan economische waarde. TPEdigitaal 2016 jaargang 10(1) pagina 88-102

19. Ik ben binnen de sport niet mainstream, in de zin dat ik vooral MKBAs maak en geen EIAs. Daarmee ben ik buiten de sport juist weer wel mainstream want daar gebeuren bijna geen EIAs en juist wel MKBAs. De twee grootste sportevenementen waar de laatste jaren sprake van geweest zou zijn, het WK voetbal en de Olympische Spelen, worden niet met een EIA doorgerekend maar juist met een MKBA. En ja, een MKBA is lastiger en bewerkelijke om te maken, en dus duurder, maar als EIA’s niet geschikt zijn om grote evenementen mee te analyseren, zouden ze het dan wel zijn voor kleine evenementen?

20. Bijkomend probleem is de voorspelbaarheid van EIA’s. Zo goed als altijd zijn bestedingen van bezoekers in de regio groter dan de uitgaven van de organisatie naar elders. De uitkomst is dus altijd een positieve bestedingsimpuls. Ik ben er zeker van dat van de komende 50 EIAs er minstens 49 positieve bestedingsimpuls hebben. Maar zolang de multiplier veel te hoog wordt gehouden, overschatten we de maatschappelijke baat van deze impuls flink. En we weten niet of de baat groter is dan de kosten, want dat vergelijken we niet in een EIA.

Michiel de Nooij is zelfstandig economisch onderzoeker bij Michiel de Nooij Economisch Onderzoek en Advies. Voor meer informatie: info@michieldenooij.nl of www.michieldenooij.nl

« terug

Reacties: 20

Koen Breedveld
05-07-2016

Goed stuk. Geen onderzoek omdat het moet, maar om antwoord te geven op een vraag. Niet tien keer zelfde trucje toepassen, met tien keer dezelfde beperkingen, maar samenwerken om echt verder te komen. Doet UK Sport wel. Voorbeeld.  

Bas Schnater
05-07-2016

Beste Michiel,

Een directe voltreffer waar ik het helemaal mee eens ben. Multipliers vertekenen vaak het beeld, wat bijvoorbeeld ook voorkomt bij kijkcijferonderzoeken. Deze worden doorgaans artificieel opgeblazen ten faveure van advertentie-inkomsten, maar de werkelijke kijkcijfers liggen echter lager. Zo gaat het ook met de impact van sportevenementen. Diverse onderzoeken hebben uitgewezen dat alleen de Olympische Spelen van Los Angeles echt economische winst hebben opgeleverd, ook alleen maar omdat het IOC anders failliet ging als ze niet akkoord ging met de economische eisen van de stad LA. Het IOC had toen namelijk nog geen financiele reserves en zat in de wurggreep. Daarnaast heeft de toernooidirecteur destijds dankzij grote lokale sponsorcontracten alsnog winst gemaakt.

Meer on-topic: een andere methode, veel meer gebruikt door sporteconomen, is de cost-benefit-analysis (CBA). Een groot manco van een EIA is dat de geldstromen wel in kaart worden gebracht, maar daar nooit echt duidelijk uit wordt voor wie dit precies een kostenpost is en voor wie dit winst oplevert. Een CBA doet dit wel, en legt meestal pijnlijk (voor de FIFA en IOC) bloot waar het geld naartoe stroomt: in de zakken van deze organisaties en niet naar de lokale overheden. Een CBA is daarom een meer accurate methode om de realistische impact van een sportevenement te meten (Kesenne, 2005 (1); Taks, Kesenne, Chalip, Green, Martyn, 2011 (2))  

(1) http://www.tandfonline.com/doi/abs/10.1080/16184740500188789
(2) http://search.proquest.com/docview/889138760?pq-origsite=gscholar

Bas Schnater
05-07-2016

Beste Michiel,

Een directe voltreffer waar ik het helemaal mee eens ben. Multipliers vertekenen vaak het beeld, wat bijvoorbeeld ook voorkomt bij kijkcijferonderzoeken. Deze worden doorgaans artificieel opgeblazen ten faveure van advertentie-inkomsten, maar de werkelijke kijkcijfers liggen echter lager. Zo gaat het ook met de impact van sportevenementen. Diverse onderzoeken hebben uitgewezen dat alleen de Olympische Spelen van Los Angeles echt economische winst hebben opgeleverd, ook alleen maar omdat het IOC anders failliet ging als ze niet akkoord ging met de economische eisen van de stad LA. Het IOC had toen namelijk nog geen financiele reserves en zat in de wurggreep. Daarnaast heeft de toernooidirecteur destijds dankzij grote lokale sponsorcontracten alsnog winst gemaakt.

Meer on-topic: een andere methode, veel meer gebruikt door sporteconomen, is de cost-benefit-analysis (CBA). Een groot manco van een EIA is dat de geldstromen wel in kaart worden gebracht, maar daar nooit echt duidelijk uit wordt voor wie dit precies een kostenpost is en voor wie dit winst oplevert. Een CBA doet dit wel, en legt meestal pijnlijk (voor de FIFA en IOC) bloot waar het geld naartoe stroomt: in de zakken van deze organisaties en niet naar de lokale overheden. Een CBA is daarom een meer accurate methode om de realistische impact van een sportevenement te meten (Kesenne, 2005 (1); Taks, Kesenne, Chalip, Green, Martyn, 2011 (2))  

(1) http://www.tandfonline.com/doi/abs/10.1080/16184740500188789
(2) http://search.proquest.com/docview/889138760?pq-origsite=gscholar

Stan Stolwerk
05-07-2016

Niet makkelijk leesbaar maar erg goed artikel; demystificatie, ontmythologiserend. de hype en onzin rondom de economische waarde van events nu eens in perspectief en normaal zakelijk beschreven. Kom je te weinig tegen!

Stan Stolwerk
05-07-2016

Niet makkelijk leesbaar maar erg goed artikel; demystificatie, ontmythologiserend. de hype en onzin rondom de economische waarde van events nu eens in perspectief en normaal zakelijk beschreven. Kom je te weinig tegen!

Michiel de Nooij
05-07-2016

Beste Bas

Ik ben het helemaal met je eens dat we veel meer cost-benefit analysis (CBA) zouden moeten doen, en geen EIA's. In mijn stuk heb ik die onder het kopje ‘En nu dan?’ met de Nederlandse term maatschappelijke kosten-batenanalyse (MKBA)  (kort) besproken en bepleit.

In de voetnoten staan al een paar verwijzingen naar Nederlandse MKBA’s (van mijn hand, zie nummer 14, 16, 17, 18).

Een goede MKBA/CBA opstellen is nog een flinke uitdaging, zie bijvoorbeeld mijn kritiek op de studie van Taks et al. die je aanhaalt: http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2393427

Kortom we gebruiken andere woorden, en bedoelen hetzelfde: graag meer MKBA’s/CBA’s!

Vriendelijke groet

Michiel

Michiel de Nooij
05-07-2016

Beste Bas

Ik ben het helemaal met je eens dat we veel meer cost-benefit analysis (CBA) zouden moeten doen, en geen EIA's. In mijn stuk heb ik die onder het kopje ‘En nu dan?’ met de Nederlandse term maatschappelijke kosten-batenanalyse (MKBA)  (kort) besproken en bepleit.

In de voetnoten staan al een paar verwijzingen naar Nederlandse MKBA’s (van mijn hand, zie nummer 14, 16, 17, 18).

Een goede MKBA/CBA opstellen is nog een flinke uitdaging, zie bijvoorbeeld mijn kritiek op de studie van Taks et al. die je aanhaalt: http://papers.ssrn.com/sol3/papers.cfm?abstract_id=2393427

Kortom we gebruiken andere woorden, en bedoelen hetzelfde: graag meer MKBA’s/CBA’s!

Vriendelijke groet

Michiel

Marco Kooiman
05-07-2016

Ha Michiel,
goed doorwrocht stuk! ik herken er veel van je eerder geuite kritiek in en ben het ook met veel eens. Je studie naar de economische en maatschappelijke waarde van de Damtotdamloop komt nog regelmatig in beeld. Juist van die maatschappelijke waarde van sportevenementen zou ik graag een beter beeld willen. Wat doen die bijvoorbeeld voor de wekelijkse sportdeelname van de Nederlander? En dan zeker niet alleen de hele grote evenementen, maar juist de betekenis van de hele grote hoeveelheid breedtesportevenementen. Op de kalenders van Atletiekunie en NTFU staan er alleen al bijna 5000 per jaar! Ik kom bij lang niet allemaal, maar bij degene die ik bezoek of waar ik aan deelneem zie en ervaar ik enorm veel sportplezier.

Zie ik je misschien nog bij het EK Atletiek deze week? Ook zoeen waar je hopelijk over vijfentwintig jaar nog met veel plezier aan terugdenkt. Praat ik graag eens met je over door. Die twee biertjes wil ik dan wel voor je halen ... ;-)

Marco Kooiman
05-07-2016

Ha Michiel,
goed doorwrocht stuk! ik herken er veel van je eerder geuite kritiek in en ben het ook met veel eens. Je studie naar de economische en maatschappelijke waarde van de Damtotdamloop komt nog regelmatig in beeld. Juist van die maatschappelijke waarde van sportevenementen zou ik graag een beter beeld willen. Wat doen die bijvoorbeeld voor de wekelijkse sportdeelname van de Nederlander? En dan zeker niet alleen de hele grote evenementen, maar juist de betekenis van de hele grote hoeveelheid breedtesportevenementen. Op de kalenders van Atletiekunie en NTFU staan er alleen al bijna 5000 per jaar! Ik kom bij lang niet allemaal, maar bij degene die ik bezoek of waar ik aan deelneem zie en ervaar ik enorm veel sportplezier.

Zie ik je misschien nog bij het EK Atletiek deze week? Ook zoeen waar je hopelijk over vijfentwintig jaar nog met veel plezier aan terugdenkt. Praat ik graag eens met je over door. Die twee biertjes wil ik dan wel voor je halen ... ;-)

Michiel de Nooij
05-07-2016

Beste Marco,

dank voor de complimenten over dit stuk en het Dam tot damlooponderzoek. Ik ga zeker naar het EK atletiek, dat wou ik niet missen. De belevenis trekt!

Over die maatschappelijke waarde van sportevenmenten groot en klein, praat ik erg graag met je door! Dat aanbod neem ik graag aan

groet

Michiel

Michiel de Nooij
05-07-2016

Beste Marco,

dank voor de complimenten over dit stuk en het Dam tot damlooponderzoek. Ik ga zeker naar het EK atletiek, dat wou ik niet missen. De belevenis trekt!

Over die maatschappelijke waarde van sportevenmenten groot en klein, praat ik erg graag met je door! Dat aanbod neem ik graag aan

groet

Michiel

Paul Hover (Mulier Instituut)
05-07-2016

Hoi Michiel,

Interessant om je bijdrage te lezen, je breekt - terecht - een lans voor MKBA's. Dit ligt in lijn met ons brancherapport "Sportevenementen in Nederland" (https://www.kennisbanksportenbewegen.nl/?file=4177&m=1427984376&action=file.download), waar je een mooie bijdrage aan leverde. Er is veel geloof in de kracht van sportevenementen. Met publieke investeringen in sportevenementen wordt beoogd een positieve bijdrage te leveren aan economische en sociale doelen. De bewijsvoering voor het optreden van (niet-financiële) effecten is daarentegen mager, evenals inzicht in de condities en de kritische succesfactoren waarbij positieve maatschappelijke spin-off kan worden bevorderd. Deels komt dat doordat aan onderzoekers veelal wordt gevraagd om relatief eenvoudige (en goedkopere) EIA's uit te voeren.

Tegelijkertijd constateer ik dat er in de internationale academische wereld iets meer aandacht voor niet-financiële effecten lijkt te komen. We zijn nog ver weg van het op grote schaal uitvoeren van MKBA's, zoals in andere sectoren (milieu, infrastructuur), maar er lijkt meer aandacht te zijn gekomen voor niet-financiële effecten als trots, geluk, plezier en stimulering van de sportdeelname. Dat is terecht. Een bescheiden stap lijkt gezet om bij de effecten van sportevenementen niet alleen te rekenen in termen van een bijdrage aan het Bruto Nationaal Product, maar ook aan het Bruto Nationaal Geluk en aan het Bruto Nationaal Tekort aan Beweging.

Graag tot ziens bij de EK in Amsterdam!

Paul Hover (Mulier Instituut)
05-07-2016

Hoi Michiel,

Interessant om je bijdrage te lezen, je breekt - terecht - een lans voor MKBA's. Dit ligt in lijn met ons brancherapport "Sportevenementen in Nederland" (https://www.kennisbanksportenbewegen.nl/?file=4177&m=1427984376&action=file.download), waar je een mooie bijdrage aan leverde. Er is veel geloof in de kracht van sportevenementen. Met publieke investeringen in sportevenementen wordt beoogd een positieve bijdrage te leveren aan economische en sociale doelen. De bewijsvoering voor het optreden van (niet-financiële) effecten is daarentegen mager, evenals inzicht in de condities en de kritische succesfactoren waarbij positieve maatschappelijke spin-off kan worden bevorderd. Deels komt dat doordat aan onderzoekers veelal wordt gevraagd om relatief eenvoudige (en goedkopere) EIA's uit te voeren.

Tegelijkertijd constateer ik dat er in de internationale academische wereld iets meer aandacht voor niet-financiële effecten lijkt te komen. We zijn nog ver weg van het op grote schaal uitvoeren van MKBA's, zoals in andere sectoren (milieu, infrastructuur), maar er lijkt meer aandacht te zijn gekomen voor niet-financiële effecten als trots, geluk, plezier en stimulering van de sportdeelname. Dat is terecht. Een bescheiden stap lijkt gezet om bij de effecten van sportevenementen niet alleen te rekenen in termen van een bijdrage aan het Bruto Nationaal Product, maar ook aan het Bruto Nationaal Geluk en aan het Bruto Nationaal Tekort aan Beweging.

Graag tot ziens bij de EK in Amsterdam!

Egbert Oldenboom, Mark van den Heuvel
05-07-2016

Economische Impact Analyses (EIA’s) hebben zeker hun beperkingen, dat weet iedereen die er mee werkt. Al in 1999 pleitte Oldenboom in ‘Brood en Spelen’ voor MKBA’s in plaats van EIA’s.  De problemen met de multiplier waren toen ook bekend en komen ook in hetzelfde boek uitgebreid aan de orde. Ook pleit hij voor samenwerking tussen organisaties om  hun onderzoeksbehoeftes te bundelen. De kritiek en de oplossingen die De Nooij heeft, is oude wijn in nieuwe zakken.

Maar sinds 1999 is er wel wat gebeurd. De afgelopen jaren zijn er, dankzij de WESP richtlijnen, nog nooit zoveel EIA’s uitgevoerd als daarvoor. Volgens de Nooij is dat nu het probleem, want dat geld had beter in andere studies gestoken kunnen worden.

Hiermee maakt De Nooij een klassieke evaluatiefout: hij vergelijkt de werkelijke situatie niet met een realistisch alternatief, maar met een achteraf geconstrueerde ideale situatie. Uiteraard schiet de realiteit tekort ten opzichte van het ideaal. Maar het is een denkfout om te concluderen dat er ‘dus’ een foute keuze is gemaakt. Je zou het ook kunnen formuleren dat volgens De Nooij het glas halfleeg is. Wij denken dat het glas halfvol is.

In de echte wereld is de keuze nooit tussen één MKBA of een EIA (of  5 EIA’s). In de werkelijke situatie is de keuze tussen wel of geen EIA. En dan zijn wij blij dat er tegenwoordig gekozen wordt voor het imperfecte instrument van de EIA in plaats van geen enkel onderzoek. En dat er gekozen wordt volgens een onderzoek volgens vastgelegde richtlijnen van de WESP.

Want dat is wat de Nooij vergeet in zijn betoog: dankzij dit instrument is het wel mogelijk om vergelijkingen te maken tussen evenementen. En ook al is het instrument niet perfect, het geeft wel degelijk een orde van grootte en het maakt vergelijking tussen evenementen mogelijk. En we zijn bezig om de richtlijnen van de EIA aan te passen aan nieuwe inzichten en we willen De Nooij (overigens lid van de WESP) graag opnieuw uitnodigen om hiervoor input te leveren.

Het gaat er namelijk niet om een keuze tussen MKBA’s en EIA’s. We kunnen het ene doen en het andere niet laten. Dus laten we kijken hoe we standaarden voor moeilijker meetbare effecten kunnen vaststellen. Dit is overigens met wisselend succes al gebeurd binnen de WESP.

De eenvoud van een EIA is ook zijn kracht. Het probleem met meer geavanceerdere methodes is dat de uitkomsten nog veel gevoeliger zijn voor de keuzes van een onderzoeker , dan die van een EIA. Er is geen goede standaard voor het uitvoeren van een MKBA, dus de verschillen in resultaten tussen onderzoeksinstituten zijn op dit moment navenant groter. Er zijn grote methodologische bezwaren tegen de methode die De Nooij wil hanteren (zie het proefschrift van Oldenboom).

De WESP is een voorstander van beter onderzoek waarbij ook moeilijker meetbare effecten aan de orde komen. Wij geloven dat onderzoek een doorgaand proces is waarbij juist in een vaker toegepaste methodologie winst schuilt. Dit geldt voor de resultaten, want er is nog veel te winnen in de analyses van WESP resultaten. Maar ook in de methodes, waarin de laatste tijd echt vooruitgang wordt geboekt.

Daarom zoeken wij naar richtlijnen en methodes die transparant, valide zijn en betaalbaar.  Wij willen richtlijnen die veel gebruikt worden, zodat we leren in de toepassing van de richtlijnen. Wij nodigen iedereen uit om constructief mee te denken, en zo onderzoek stapje voor stapje beter en relevanter te maken. Het lijkt ons niet verstandig om het kind met het badwater weg te gooien. 

Egbert Oldenboom en Mark van den Heuvel

Lid en secretaris WESP

Egbert Oldenboom, Mark van den Heuvel
05-07-2016

Economische Impact Analyses (EIA’s) hebben zeker hun beperkingen, dat weet iedereen die er mee werkt. Al in 1999 pleitte Oldenboom in ‘Brood en Spelen’ voor MKBA’s in plaats van EIA’s.  De problemen met de multiplier waren toen ook bekend en komen ook in hetzelfde boek uitgebreid aan de orde. Ook pleit hij voor samenwerking tussen organisaties om  hun onderzoeksbehoeftes te bundelen. De kritiek en de oplossingen die De Nooij heeft, is oude wijn in nieuwe zakken.

Maar sinds 1999 is er wel wat gebeurd. De afgelopen jaren zijn er, dankzij de WESP richtlijnen, nog nooit zoveel EIA’s uitgevoerd als daarvoor. Volgens de Nooij is dat nu het probleem, want dat geld had beter in andere studies gestoken kunnen worden.

Hiermee maakt De Nooij een klassieke evaluatiefout: hij vergelijkt de werkelijke situatie niet met een realistisch alternatief, maar met een achteraf geconstrueerde ideale situatie. Uiteraard schiet de realiteit tekort ten opzichte van het ideaal. Maar het is een denkfout om te concluderen dat er ‘dus’ een foute keuze is gemaakt. Je zou het ook kunnen formuleren dat volgens De Nooij het glas halfleeg is. Wij denken dat het glas halfvol is.

In de echte wereld is de keuze nooit tussen één MKBA of een EIA (of  5 EIA’s). In de werkelijke situatie is de keuze tussen wel of geen EIA. En dan zijn wij blij dat er tegenwoordig gekozen wordt voor het imperfecte instrument van de EIA in plaats van geen enkel onderzoek. En dat er gekozen wordt volgens een onderzoek volgens vastgelegde richtlijnen van de WESP.

Want dat is wat de Nooij vergeet in zijn betoog: dankzij dit instrument is het wel mogelijk om vergelijkingen te maken tussen evenementen. En ook al is het instrument niet perfect, het geeft wel degelijk een orde van grootte en het maakt vergelijking tussen evenementen mogelijk. En we zijn bezig om de richtlijnen van de EIA aan te passen aan nieuwe inzichten en we willen De Nooij (overigens lid van de WESP) graag opnieuw uitnodigen om hiervoor input te leveren.

Het gaat er namelijk niet om een keuze tussen MKBA’s en EIA’s. We kunnen het ene doen en het andere niet laten. Dus laten we kijken hoe we standaarden voor moeilijker meetbare effecten kunnen vaststellen. Dit is overigens met wisselend succes al gebeurd binnen de WESP.

De eenvoud van een EIA is ook zijn kracht. Het probleem met meer geavanceerdere methodes is dat de uitkomsten nog veel gevoeliger zijn voor de keuzes van een onderzoeker , dan die van een EIA. Er is geen goede standaard voor het uitvoeren van een MKBA, dus de verschillen in resultaten tussen onderzoeksinstituten zijn op dit moment navenant groter. Er zijn grote methodologische bezwaren tegen de methode die De Nooij wil hanteren (zie het proefschrift van Oldenboom).

De WESP is een voorstander van beter onderzoek waarbij ook moeilijker meetbare effecten aan de orde komen. Wij geloven dat onderzoek een doorgaand proces is waarbij juist in een vaker toegepaste methodologie winst schuilt. Dit geldt voor de resultaten, want er is nog veel te winnen in de analyses van WESP resultaten. Maar ook in de methodes, waarin de laatste tijd echt vooruitgang wordt geboekt.

Daarom zoeken wij naar richtlijnen en methodes die transparant, valide zijn en betaalbaar.  Wij willen richtlijnen die veel gebruikt worden, zodat we leren in de toepassing van de richtlijnen. Wij nodigen iedereen uit om constructief mee te denken, en zo onderzoek stapje voor stapje beter en relevanter te maken. Het lijkt ons niet verstandig om het kind met het badwater weg te gooien. 

Egbert Oldenboom en Mark van den Heuvel

Lid en secretaris WESP

Michiel de Nooij
05-07-2016

Egbert Oldenboom en Mark van den Heuvel stemmen in hun reactie in met mijn twee belangrijkste punten: de multiplier is een groot probleem bij EIA’s en het is beter om een MKBA te maken dan een EIA. Daarna verdedigen ze vol verve het maken van EIA’s. Dat en hun verdediging van de EIA overtuigt niet. Ik pik er een paar punten uit.

17 jaar geleden pleitte Oldenboom ervoor MKBA’s te doen en geen EIA’s. De afgelopen 17 jaar heeft hij (met uitzondering van Euro 2000) geen MKBA’s maar EIA’s gemaakt. Dan is er of iets anders beleden dan gedaan, of een slechte strategie gevolgd.

Het klopt dat de EIA’s tegenwoordig beter zijn dan vroeger en dat de toepassing ervan meer gestandaardiseerd en goedkoper is dan toen. Maar als, zoals ik beargumenteer, een multiplier van 1 wordt gebruikt door de onderzoeker of de lezer, dan worden de effecten op de economie nog steeds een factor 20 tot 50 overschat. Best fors als je het mij vraagt.

Maak ik een klassieke evaluatiefout? Dat lijkt me niet. Bij de evaluatie van onderzoek is een kernvraag: “Beantwoordt het onderzoek een relevante vraag?”. Relevante vragen bij een evaluatie van een sportevenement zijn: “Worden we er beter van?, Is het goed voor de welvaart?, Is het terecht dat de overheid dit evenement steunt?”. Op al deze vragen geeft de EIA geen antwoord, hooguit de schijn van een antwoord. Dan is het onderzoek dus niet goed. En dan kan het in de loop van de tijd steeds beter worden, maar zolang deze essentiële vragen niet beantwoord worden, is het onderzoek niet goed en zinloos. Dus: stop met EIA’s!

Het punt dat we door EIA’s sportevenementen nu kunnen vergelijken, is waar. Het blijft jammer dat dat niet kan op een relevante eenheid. Sportevenement x heeft twee maal zoveel bestedingen als evenement y. Als de overheid zou moeten kiezen welk van de twee ze steunt (het budget is beperkt), dan weet ze nog steeds niet welk evenement beter is voor de samenleving.

Oldenboom en Van den Heuvel schrijven dat er geen goede standaard is voor het doen van een MKBA.  Dat is onzin. Zij zijn er blijkbaar niet mee bekend. Het CPB heeft in 2013 een algemene MKBA richtlijn gepubliceerd. Dit is een veralgemenisering en actualisering van de richtlijn uit 2000 die vooral over infrastructuur ging (zie Romijn, Gerbert, en Gusta Renes (2013) Algemene leidraad voor maatschappelijke kosten-batenanalyse. CPB/PBL). Dat laat zeker nog genoeg lastige onderzoekspunten over als we deze richtlijn willen toepassen op sport en sportevenementen. Maar een goede standaard is er zeker. Deze richtlijn is ook voor MKBA’s voor de rijksoverheid verplicht gesteld.

Voor mij is de keuze inderdaad geen onderzoek of goed onderzoek. EIA’s passen daar niet in. Het probleem is dat lang niet iedereen die met EIA’s bezig is, snapt wat de beperkingen zijn. Ik betwijfel of alle onderzoekers de beperkingen snappen, veel opdrachtgevers zeker niet, en in de media zijn die beperkingen echt niet bekend. Een van mijn redenen om voor geen onderzoek of goed onderzoek te kiezen, is dat zolang er EIA’s verkocht worden, dit de stap naar goede evaluaties belemmert, omdat een deel van de opdrachtgevers het verschil niet weet (of niet per se goed onderzoek wil) en dan voor het goedkoopste kiest. Oldenboom en Van den Heuvel staan dus niet voor het beste onderzoek. En daarmee staan ze dat in de weg. 

Michiel de Nooij
05-07-2016

Egbert Oldenboom en Mark van den Heuvel stemmen in hun reactie in met mijn twee belangrijkste punten: de multiplier is een groot probleem bij EIA’s en het is beter om een MKBA te maken dan een EIA. Daarna verdedigen ze vol verve het maken van EIA’s. Dat en hun verdediging van de EIA overtuigt niet. Ik pik er een paar punten uit.

17 jaar geleden pleitte Oldenboom ervoor MKBA’s te doen en geen EIA’s. De afgelopen 17 jaar heeft hij (met uitzondering van Euro 2000) geen MKBA’s maar EIA’s gemaakt. Dan is er of iets anders beleden dan gedaan, of een slechte strategie gevolgd.

Het klopt dat de EIA’s tegenwoordig beter zijn dan vroeger en dat de toepassing ervan meer gestandaardiseerd en goedkoper is dan toen. Maar als, zoals ik beargumenteer, een multiplier van 1 wordt gebruikt door de onderzoeker of de lezer, dan worden de effecten op de economie nog steeds een factor 20 tot 50 overschat. Best fors als je het mij vraagt.

Maak ik een klassieke evaluatiefout? Dat lijkt me niet. Bij de evaluatie van onderzoek is een kernvraag: “Beantwoordt het onderzoek een relevante vraag?”. Relevante vragen bij een evaluatie van een sportevenement zijn: “Worden we er beter van?, Is het goed voor de welvaart?, Is het terecht dat de overheid dit evenement steunt?”. Op al deze vragen geeft de EIA geen antwoord, hooguit de schijn van een antwoord. Dan is het onderzoek dus niet goed. En dan kan het in de loop van de tijd steeds beter worden, maar zolang deze essentiële vragen niet beantwoord worden, is het onderzoek niet goed en zinloos. Dus: stop met EIA’s!

Het punt dat we door EIA’s sportevenementen nu kunnen vergelijken, is waar. Het blijft jammer dat dat niet kan op een relevante eenheid. Sportevenement x heeft twee maal zoveel bestedingen als evenement y. Als de overheid zou moeten kiezen welk van de twee ze steunt (het budget is beperkt), dan weet ze nog steeds niet welk evenement beter is voor de samenleving.

Oldenboom en Van den Heuvel schrijven dat er geen goede standaard is voor het doen van een MKBA.  Dat is onzin. Zij zijn er blijkbaar niet mee bekend. Het CPB heeft in 2013 een algemene MKBA richtlijn gepubliceerd. Dit is een veralgemenisering en actualisering van de richtlijn uit 2000 die vooral over infrastructuur ging (zie Romijn, Gerbert, en Gusta Renes (2013) Algemene leidraad voor maatschappelijke kosten-batenanalyse. CPB/PBL). Dat laat zeker nog genoeg lastige onderzoekspunten over als we deze richtlijn willen toepassen op sport en sportevenementen. Maar een goede standaard is er zeker. Deze richtlijn is ook voor MKBA’s voor de rijksoverheid verplicht gesteld.

Voor mij is de keuze inderdaad geen onderzoek of goed onderzoek. EIA’s passen daar niet in. Het probleem is dat lang niet iedereen die met EIA’s bezig is, snapt wat de beperkingen zijn. Ik betwijfel of alle onderzoekers de beperkingen snappen, veel opdrachtgevers zeker niet, en in de media zijn die beperkingen echt niet bekend. Een van mijn redenen om voor geen onderzoek of goed onderzoek te kiezen, is dat zolang er EIA’s verkocht worden, dit de stap naar goede evaluaties belemmert, omdat een deel van de opdrachtgevers het verschil niet weet (of niet per se goed onderzoek wil) en dan voor het goedkoopste kiest. Oldenboom en Van den Heuvel staan dus niet voor het beste onderzoek. En daarmee staan ze dat in de weg. 

Egbert Oldenboom en Mark van den Heuvel
13-07-2016

(onderstaande reactie was al eerder geplaatst, maar blijkbaar iets misgegaan?)

In tegenstelling tot De Nooij denken wij dat veel beleidsmakers zich wel degelijk bewust zijn van de beperktheid van de informatie waarop zij beslissingen baseren. Beleidsmakers weten dat zij op basis van onvolledige informatie beslissingen nemen, het is een ‘fact of life’.  

Een economische impact analyse probeert vast te stellen hoeveel extra geld er in een lokale economie vloeit, niet meer, niet minder. Gegoochel met multipliers, of je ze nu extreem groot of extreem klein maakt, blijft gegoochel, onderhevig aan moeilijk te controleren vooronderstellingen. Soms inderdaad interessant, vaak afleidend.

WESP richtlijnen en impactstudies hebben aantoonbaar geleid tot voorzichtiger schattingen van bijvoorbeeld bezoekersaantallen en ook tot inzichten voor beleidsmakers met betrekking tot factoren die de impact van een evenement op hun lokale economie bepalen. Dat is pure winst. Daarnaast, zoals gezegd, wordt er vanuit de WESP steeds meer aandacht  besteed aan maatschappelijke betekenissen van sportevenementen zodat het beeld completer wordt. 

Wij zijn van mening dat onderzoek zelden het eindantwoord kan geven bij een beleidsbeslissing. Het doel van onderzoek is beslissingen zo goed mogelijk ondersteunen. Enige bescheidenheid van de onderzoeker is daarbij op zijn plaats.

Egbert Oldenboom en Mark van den Heuvel
13-07-2016

(onderstaande reactie was al eerder geplaatst, maar blijkbaar iets misgegaan?)

In tegenstelling tot De Nooij denken wij dat veel beleidsmakers zich wel degelijk bewust zijn van de beperktheid van de informatie waarop zij beslissingen baseren. Beleidsmakers weten dat zij op basis van onvolledige informatie beslissingen nemen, het is een ‘fact of life’.  

Een economische impact analyse probeert vast te stellen hoeveel extra geld er in een lokale economie vloeit, niet meer, niet minder. Gegoochel met multipliers, of je ze nu extreem groot of extreem klein maakt, blijft gegoochel, onderhevig aan moeilijk te controleren vooronderstellingen. Soms inderdaad interessant, vaak afleidend.

WESP richtlijnen en impactstudies hebben aantoonbaar geleid tot voorzichtiger schattingen van bijvoorbeeld bezoekersaantallen en ook tot inzichten voor beleidsmakers met betrekking tot factoren die de impact van een evenement op hun lokale economie bepalen. Dat is pure winst. Daarnaast, zoals gezegd, wordt er vanuit de WESP steeds meer aandacht  besteed aan maatschappelijke betekenissen van sportevenementen zodat het beeld completer wordt. 

Wij zijn van mening dat onderzoek zelden het eindantwoord kan geven bij een beleidsbeslissing. Het doel van onderzoek is beslissingen zo goed mogelijk ondersteunen. Enige bescheidenheid van de onderzoeker is daarbij op zijn plaats.

Wouter de Groot
20-09-2016

Wat een heerlijke discussie! We moeten toe naar steeds betere onderzoeksmethoden om de waarde of economische impact van sportevenementen goed te kunnen bepalen. Publiekelijk dient nu eenmaal verantwoord te worden wat een evenement heeft 'opgeleverd' en of de publieke middelen 'terecht' zijn geinvesteerd. Economisme noemt GroenLinks dit. Bij mij roept altijd het onderdeel mediawaarde in de WESP-methode vragen op en ik vind het ook opvallend dat nagenoeg alle evenementen 'winst' opleveren. Ik ben van mening dat we juist door continu aan de methodes te blijven sleutelen een steeds beter beeld krijgen van wat een (sport)evenement nu precies betekent voor een stad/provincie/dorp. Met alle imperfecties die daarbij horen. WESP is een platform dat daar nadrukkelijk aan werkt. Vooral doorgaan dus. Ook de bezwaren die Michiel maakt zijn belangrijk voor het verder brengen van de discussie en het verbeteren van de meetmethodes. Ik zie dit vooral als een proces dat onderzoekers stimuleert om steeds betere onderzoeksmethoden te ontwikkelen waar 'we' als samenleving steeds beter op kunnen vertrouwen. Uiteindelijk komt het neer op het waarderen van de glimlach van een kind. En we weten dat die je doet beseffen dat je leeft.

Reactie toevoegen

Naam*
E-mailadres*
Reactie*
Stuur mij een e-mail als er een nieuwe reactie wordt geplaatst