Recent is het advies van de Raad voor Cultuur over de Culturele Basisinfrastructuur 2017-2020 verschenen. In dit advies geeft de raad aan welke instellingen naar zijn oordeel voor rijkssubsidie in aanmerking komen. Hoewel de criteria op basis waarvan de raad de aanvragen beoordeelt (bv. maatschappelijke waarde en publieksbereik), zijn vastgelegd in de subsidieregeling, zal menigeen zich afvragen hoe de raad de ‘artistieke waarde’ van culturele instellingen evalueert. De vraag is of het überhaupt mogelijk is om de artistieke waarde van een culturele uiting, objectief te beoordelen, omdat een culturele uiting ontastbaar is en subjectief wordt beleefd. Francesco Chiaravalloti beschrijft in zijn proefschrift hoe culturele instellingen hun eigen artistieke waarde trachten te beoordelen, en hoe overheden dat doen. Ook gaat hij in op de verschillen daartussen. Dankzij deze waardevolle inzichten én de actualiteit daarvan door het recente advies van Raad voor Cultuur, kon de presentatie van Chiaravalloti tijdens Onderzoek in Zicht, 30 mei jongstleden, op veel belangstelling rekenen.
Managementfilosofie
Chiaravalloti brengt een onderscheid aan tussen hoe culturele instellingen hun eigen artistieke prestaties evalueren, en hoe subsidiërende overheden dat doen. Gedreven door de managementfilosofie New Public Management (NPM) uit de jaren negentig, ligt bij de overheid de nadruk op het bedrijfsmatig analyseren van prestaties. Waardes als zuinigheid, doelmatigheid en doeltreffendheid zijn hierbij belangrijke kernwoorden. De financiële dimensie, in de vorm van diverse indicatoren, krijgt zodoende een belangrijke rol toebedeeld. Chiaravalloti spreekt dan ook van nauwkeurige doorontwikkelde prestatiemetingen in plaats van holistische evaluaties van prestaties. De overheid beschouwt evalueren als een formele procedure, terwijl juist een holistische evaluatie meer op zijn plaats zou zijn, betoogde Chiaravalloti. Overheden zouden door deze focus op de economische logica uit het bedrijfsleven niet goed in staat zijn om de kernwaarde van culturele instellingen – de artistieke waarde – te bepalen en te waarderen (bv. met een positief advies).
Vier domeinen
Op basis van een breed literatuuronderzoek en een diepgaande casestudie van een gesubsidieerd operagezelschap heeft Chiaravalloti beschreven hoe culturele instellingen hun eigen prestaties evalueren. Artistieke, zakelijke en technische bestuurders voeren deze evaluaties uit met behulp van informatie die in belangrijke mate kwalitatief en ongeschreven is en via onderlinge discussies, gebaren en emoties wordt uitgewisseld. De mate waarin de artistieke waarde wordt gecreëerd, is afhankelijk van het succes in vier domeinen: het artistieke, het sociale, het organisatorische en het financiële domein. In de eigen evaluatie zijn de eerste twee domeinen echter van fundamenteel belang voor de bepaling van de uitkomsten van artistieke processen. De laatste twee domeinen fungeren als belangrijke randvoorwaarden om de artistieke processen te kunnen uitvoeren; de uitkomsten worden daardoor minder belangrijk geacht.
Het eerste, artistieke domein, omvat indicatoren met betrekking tot programmering, productie en receptie. Zo moet de artistieke directeur artistiek leiderschap tonen en innovatief zijn. Ook moet hij in staat zijn kwaliteit te herkennen (programmering). De artiesten moeten natuurlijk goed kunnen zingen en acteren en het productieteam en de decorbouwers moeten bijvoorbeeld in staat zijn de bedoelingen van de regisseur adequaat op te volgen (productie). Tenslotte moet er synergie zijn tussen het gebouw, het decor, de artiesten en het publiek zodat de bezoeker volledig ondergedompeld wordt in de voorstelling, en idealiter is er ook weerklank in de media (receptie). Het tweede domein betreft het sociale: is er kennis over het publiek en is men in staat diverse doelgroepen aan te spreken? Biedt men op regelmatige basis cultuureducatie aan en weet men het publiek aan zich te binden? Andere indicatoren betreffen de gemiddelde stoelbezetting en het aantal verkochte tickets. Bij het organisatorische domein gaat het onder andere over het kunnen waarborgen van veiligheid en duurzaamheid. Maar ook de kwaliteit van het teamwork, de inbreng van nieuwe ideeën door medewerkers, de aangeboden talentprogramma’s en het type leiderschap zijn belangrijke indicatoren voor dit derde domein. Het vierde domein betreft een financiële; wordt er efficiënt omgegaan met subsidies en budgetten en lukt het om eigen inkomsten te genereren?
Informeel verband
Belangrijk hierbij is dat de artistieke waarde bepaald wordt door alle belanghebbenden die betrokken zijn bij de creatie en verspreiding van kunst, zoals medewerkers, zangers, musici, publiek en pers. Dit betekent dat interne evaluaties met betrekking tot de artistieke waarde vaak in informeel verband plaatsvinden en moeilijk kwantificeerbaar zijn. Daarentegen is de informatie over de sociale, organisatorische en financiële domeinen over het algemeen wel goed kwantificeerbaar en daardoor beter geschikt voor een externe beoordeling.
Overigens kunnen de evaluaties van de afzonderlijke vier domeinen onafhankelijk van elkaar plaatsvinden en de resultaten elkaar tegenspreken. Zo kunnen er lovende kritieken zijn vanuit het publiek en de pers (artistieke domein), maar kan de financiële dimensie erg tegenvallen. Binnen de organisatie wordt het eerste naar interne reacties gekeken en daarna worden reacties van externe stakeholders beschouwd. Zoals een zakelijk leider tegen Chiaravalloti zei: 'De media kan dan wel enthousiast zijn, maar als het publiek dat niet is, dan is de productie toch een flop'. Om optimaal te kunnen presteren, binnen de gestelde financiële kaders, zijn alle vier domeinen belangrijk. Hoewel de evaluatie van het artistieke succes vooral leunt op het artistieke en sociale domein. De overheid en het publiek zijn hierbij formeel steeds belangrijke ‘evaluators’ van gesubsidieerde kunstorganisaties. Hun relevantie voor de feitelijke evaluatie van de organisaties loopt echter uiteen. De overheid is een relevante evaluator van het organisatorische en financiële domein. Het publiek is een relevante evaluator voor het artistieke en sociale domein.
Kernwaarde moeilijk te vatten
Het proefschrift van Chiaravalloti, ’Performance evaluation in the arts: from the margins of accounting to the core of accountability, toont aan dat de procedures waarmee overheden rekenschap vragen over de prestaties van gesubsidieerde culturele instellingen, niet in staat zijn om de kernwaarde van deze instellingen te evalueren, namelijk de artistieke waarde. Culturele instellingen gebruiken zelf ook niet de op NPM gestoelde indicatoren van de overheid voor zelfevaluatie. Voor culturele instellingen gaat het vooral om de informele en kwalitatieve informatie.
Artistieke taal
Voordat overheden nieuwe procedures voor het evalueren van de prestaties van culturele instellingen implementeren, is diepgaand inzicht in de werkprocessen van culturele instellingen en in de wijze waarop zij zelf hun prestaties beoordelen, noodzakelijk. Alleen procedures die rekening houden met de aard van het artistieke werk en gebruik maken van een ‘artistieke taal’ waarmee culturele instellingen hun bijdrage aan de samenleving kunnen verwoorden, zijn relevant voor deze instellingen en hun belanghebbenden.
Reacties uit het publiek
Het publiek van Onderzoek in Zicht vond het begrijpelijk dat de indicatoren die de overheid gebruikt, niet direct in staat waren de artsitieke waarde te kunnen bepalen. Zodoende speelt ook de mening van de Raad voor Cultuur bij de ontwikkeling van voorstellingen geen belanghebbende rol. Dit heeft te maken met het feit dat er geen dagelijks contact is met culturele instellingen. Deze evaluaties vinden één keer per vier jaar plaats en zit dus niet echt in de mindset van de instellingen. De Raad beoordeelt de kwaliteit dan ook niet op basis van een beperkt aantal voorstellingen maar over een langere periode. Bovendien kijkt de Raad naar het functioneren van een sector als geheel en past daar hun advies op aan. Maar de suggestie dat de raad enkel en alleen op basis van documenten beoordeelt, is nonsens. Commissieleden van de Raad voor Cultuur bezoeken ook weleens een voorstelling. Maar volgens Chiaravalloti is dit voor de culturele instellingen te weinig om hun artistieke werk op inhoudelijk zinvolle wijze te kunnen beoordelen.
