Direct naar (in deze pagina): inhoud of menu.

Handreiking beleidsdoorlichtingen

Leeswijzer/snelmenu

Processtappen

 

Thematisch

 

Stap 1: Start van de beleidsdoorlichting

 

Scope van de beleidsdoorlichting

Evalueren van 'lastige' beleidsdoelen

Stap 2: Opzet en vraagstelling verzenden naar Tweede Kamer

 

Onderzoeksopzet naar de Tweede Kamer sturen

Kwaliteit van onderliggende evaluaties

Stap 3: Uitvoeren beleidsdoorlichting

 

Uitbesteden of zelf doen?

Syntheseonderzoek

Stap 4: Opstellen rapport en kabinetsreactie

 

Betrekken van onafhankelijke deskundige(n)

Het meten van doeltreffendheid

Stap 5: Behandeling in ministerraad en verzenden naar Tweede Kamer

 

Planning en budget

Het meten van doelmatigheid

Stap 6: Vervolgacties in gang zetten

 

De beleidstheorie

De 20%-besparingsvariant

Introductie

Waarom een handreiking?

Sinds 2006 is in de Regeling Periodiek Evaluatieonderzoek (RPE) opgenomen dat ministers verplicht zijn om periodiek beleidsdoorlichtingen te (laten) verrichten. Een beleidsdoorlichting is een syntheseonderzoek waarin de doelstellingen van lopend beleid tegen het licht worden gehouden. Het beleid wordt beschreven en beoordeeld aan de hand van een aantal vragen. De uitkomsten laten als het goed is zien, op basis van kwalitatieve en kwantitatieve informatie, in hoeverre het ‘beleid werkt’ en in hoeverre ‘het beleid waar voor zijn geld levert’.

Deze handreiking is bedoeld als praktisch hulpmiddel bij de uitvoering van een beleidsdoorlichting. We beschrijven het proces stapsgewijs en voorzien elke stap van toelichting. Op die manier reiken we opstellers van beleidsdoorlichtingen de benodigde bouwstenen aan. Uiteraard is elke beleidsdoorlichting maatwerk. Deze handreiking is dan ook een hulpmiddel en geen blauwdruk.

We hopen met deze handreiking een bijdrage te leveren aan de totstandkoming van kwalitatief goede en bruikbare beleidsdoorlichtingen.

Wat kunt u in deze handreiking vinden?

In deze handreiking wordt het uitvoeren van een beleidsdoorlichting beschreven in zes stappen.

Bij elke stap hoort een aantal webpagina’s waarop we het proces en mogelijke acties beschrijven. De teksten zijn zoveel mogelijk voorzien van tips en voorbeelden uit de praktijk. De handreiking begint bij de start van een beleidsdoorlichting, maar de onderliggende evaluaties die nodig zijn moeten uiteraard eerder worden uitgevoerd.

Proces van een beleidsdoorlichting

Moment

Duur

Jaar

Stap 1: Start van de beleidsdoorlichting

4 of uiterlijk 7 jaar na invoering beleid c.q. 4 of uiterlijk 7 jaar na vorige beleidsdoorlichting

16-18 maanden

t-2

Stap 2: Opzet en vraagstelling verzenden naar Tweede Kamer

Prinsjesdag in jaar vóór oplevering beleidsdoorlichting

1 dag

t-1

Stap 3: Uitvoeren beleidsdoorlichting

Na instemming Tweede Kamer met onderzoeksopzet

3-10 maanden

t

Stap 4: Opstellen rapport en kabinetsreactie

Na afronding evaluatieonderzoek

3 maanden

t

Stap 5: Behandeling in ministerraad en verzenden naar Tweede Kamer

Publicatiedatum

1 week

t

Stap 6: Vervolgacties in gang zetten

Na behandeling in Tweede Kamer

Wisselend

t, t+1

 

Op diverse plaatsen in deze handreiking vindt u informatie over aandachtspunten die tijdens het doorlopen van het stappenplan aan de orde kunnen zijn:

 

Wat is een beleidsdoorlichting precies?

Waarom zijn de beleidsdoorlichtingen bedacht

Eén van de redenen om in de 2004 de begroting te herzien was dat veel van de indicatoren en kengetallen uit de departementale begrotingen te weinig waarde hadden voor het vaststellen van de doelmatigheid en de doeltreffendheid van gevoerd beleid. Met name de causaliteit tussen beleid en realisatie kan beperkt met indicatoren worden vastgesteld. Bovendien leidden de vele indicatoren tot onleesbare begrotingen. Daarom zijn bij de invoering van de nieuwe begrotingssystematiek  in 2004 de indicatoren uit de begroting gehaald en beleidsdoorlichtingen ingevoerd voor het voorzien van informatie over de doeltreffendheid en doelmatigheid van beleid.

Het doel van evalueren

Het is voor beleidsmakers van belang om te weten of beleid werkt en of het efficiënt is. En ook: hoe het komt als beleid niet werkt en/of niet efficiënt is. De overheid evalueert daarom beleidsinstrumenten zoals subsidies en wetten regelmatig op doelmatigheid en doeltreffendheid. Politici en ambtenaren op ministeries kunnen de uitkomsten gebruiken om goed overheidsbeleid te ontwerpen en om bestaand overheidsbeleid te verbeteren. Ook controleurs als de Algemene Rekenkamer en de Tweede Kamer hebben informatie over de werking van beleid nodig. Zij moeten immers een oordeel kunnen vellen over de doeltreffendheid en doelmatigheid van het gevoerde beleid.

Het doel van een beleidsdoorlichting

Informatie over de uitkomsten van beleidsevaluaties is in de praktijk vaak versnipperd aanwezig in uiteenlopende documenten. Beleidsdoorlichtingen zijn bedoeld om informatie uit verschillende evaluaties samen te brengen. Het betreft, met andere woorden, syntheseonderzoek. Een goede beleidsdoorlichting geeft op basis van deze samengebrachte informatie inzicht in:

  • de mate waarin het onderzochte beleid doeltreffend en doelmatig is;
  • de succesfactoren die het beleid doeltreffend en doelmatig hebben gemaakt;
  • de redenen waardoor de doeltreffendheid en doelmatigheid tekortschiet, zodat er lessen kunnen worden getrokken voor de toekomst;
  • de onbedoelde positieve dan wel negatieve neveneffecten die zijn opgetreden.

Omdat de beleidsdoorlichting berust op onderliggende evaluaties (het is een syntheseonderzoek), vergt dit een evaluatieplanning in de jaren voordat de doorlichting wordt uitgevoerd.

Betekenis van de termen ‘doeltreffendheid’ en ‘doelmatigheid’

Als een maatschappelijke doelstelling van een minister wordt gerealiseerd dankzij het beleid dat daarvoor is ingezet, is het beleid volgens de uitgangspunten van de RPE effectief, oftewel: doeltreffend (RPE artikel 1, lid d). We spreken hier niet voor niks over een maatschappelijke doelstelling. Want doelen die betrekking hebben op door het ministerie te leveren prestaties (bijvoorbeeld: het jaarlijks afgeven van een x aantal beschikkingen), zijn in principe niet de doelen die onderwerp zijn van een beleidsdoorlichting.

Als een minister beleid heeft ingezet en de effecten daarvan hadden niet op een goedkopere manier kunnen worden bereikt, is het volgens de uitgangspunten van de RPE efficiënt, oftewel: doelmatig. Ook als we kunnen vaststellen dat er met gegeven budget niet méér effecten van dezelfde kwaliteit tot stand gebracht hadden kunnen worden, is het beleid volgens de RPE doelmatig te noemen (RPE, artikel 1, lid e).

Eisen aan beleidsdoorlichtingen in de Rijksbegrotingsvoorschriften

In de Rijksbegrotingsvoorschriften staat dat in de begroting van een ministerie een meerjarenplanning van beleidsdoorlichtingen moet worden opgenomen. Daarnaast moet in het jaarverslag van een ministerie een tabel staan die weergeeft welke beleidsdoorlichtingen er zijn uitgevoerd. Tevens is in een bijlage inzichtelijk gemaakt het totaal van alle evaluaties en doorlichtingen voor t-4- t+4.

In 2014 en 2015 zijn hieraan twee nog verplichtingen toegevoegd:

 

Eisen aan beleidsdoorlichtingen in de Regeling Periodiek Evaluatieonderzoek (RPE)

De RPE schrijft voor dat er ‘periodiek’ beleidsdoorlichtingen moeten worden verricht. Concreet houdt dit in dat ieder beleidsartikel uit de Rijksbegroting eens in de vier tot zeven jaar moet worden geëvalueerd in een beleidsdoorlichting. Daarbij mag overigens worden afgeweken van de artikelindeling; belangrijk is dat het gaat over een samenhangend deel van een artikel of delen van artikelen.

Ook schrijft de RPE voor wat er in een beleidsdoorlichting moet staan. Kort samengevat gaat het om een goede beschrijving van het beleid zelf en van de doelmatigheid en doeltreffendheid ervan. Ook moet een beschouwing worden opgenomen van mogelijke maatregelen om de doeltreffendheid en doelmatigheid van het beleid te verbeteren.  

In onderstaand kader staat de volledige lijst van eisen die de RPE aan de inhoud van een beleidsdoorlichting stelt.

Verplichte onderdelen van een beleidsdoorlichting volgens de RPE, artikel 3.2

  • afbakening van het te onderzoeken beleidsterrein (in tijd, geld en welke onderdelen van het artikel(onderdeel) dan wel waarom hiervan wordt afgeweken.
  • motivering van het beleid en de met het beleid beoogde doelen
  • beschrijving van het beleidsterrein en onderbouwing van de daarmee gemoeide uitgaven
  • overzicht van eerder uitgevoerd onderzoek naar doeltreffendheid en doelmatigheid en onderbouwing van de gekozen evaluatieprogrammering
  • effecten van het gevoerde beleid en analyse/beoordeling van doeltreffendheid en doelmatigheid van het gevoerde beleid
  • beschouwing over maatregelen die kunnen worden genomen ter vergroting van doelmatigheid en doeltreffendheid van het beleid;
  • beschrijving van beleidsopties voor het geval er significant minder budget (-/- 20%) beschikbaar is.

De verplichte onderdelen die de RPE in artikel 3.2 vermeldt, zijn in de toelichting bij de RPE uitgewerkt in vijftien vragen. Deze onderzoeksvragen behoren de kern te vormen van elke beleidsdoorlichting. Het staat vrij om de volgorde/structuur naar eigen inzicht aan te passen zolang daarmee maar op alle vragen antwoord wordt gegeven.

De vijftien onderzoeksvragen in een beleidsdoorlichting volgens de toelichting bij de RPE

  1. Welk(e) artikel(en) (onderdeel of onderdelen) wordt of worden behandeld in de beleidsdoorlichting?
  2. Indien van toepassing: wanneer worden / zijn de andere artikelonderdelen doorgelicht?
  3. Wat was de aanleiding voor het beleid? Is deze aanleiding nog actueel?
  4. Wat is de verantwoordelijkheid van de rijksoverheid?
  5. Wat is de aard en samenhang van de ingezette instrumenten?
  6. Met welke uitgaven gaat het beleid gepaard, inclusief kosten op andere terreinen of voor andere partijen?
  7. Wat is de onderbouwing van de uitgaven? Hoe zijn deze te relateren aan de componenten volume/gebruik en aan prijzen/tarieven?
  8. Welke evaluaties (met bronvermelding) zijn uitgevoerd, op welke manier is het beleid geëvalueerd en om welke redenen?
  9. Welke beleidsonderdelen zijn (nog) niet geëvalueerd? Inclusief uitleg over de mogelijkheid en onmogelijkheid om de doeltreffendheid en de doelmatigheid van het beleid in de toekomst te evalueren.
  10. In hoeverre maakt het beschikbare onderzoeksmateriaal uitspraken over de doeltreffendheid en de doelmatigheid van het beleidsterrein mogelijk?
  11. Zijn de doelen van het beleid gerealiseerd?
  12. Hoe doeltreffend is het beleid geweest? Zijn er positieve en/of negatieve neveneffecten?
  13. Hoe doelmatig is het beleid geweest?
  14. Welke maatregelen kunnen worden genomen om de doelmatigheid en doeltreffendheid verder te verhogen?
  15. In het geval dat er significant minder middelen beschikbaar zijn (-/- circa 20% van de middelen op het (de) beleidsartikel(en)), welke beleidsopties zijn dan mogelijk?

 

Werkwijze als een vraag niet kan worden beantwoord

In de praktijk blijkt het vaak moeilijk om een duidelijk antwoord te geven op alle vijftien vragen uit de RPE. Soms ligt dat aan het beleid zelf. Als het doel van het beleid erg globaal is of niet al te duidelijk is geformuleerd, is het vaak lastig om de doeltreffendheid en doelmatigheid te toetsen. Deze handreiking voorziet in een aantal tips om met globale of onduidelijke doelen om te gaan zoals te vinden onder de paragraaf ‘De beleidstheorie’ en ‘Evalueren van ‘lastige’ beleidsdoelen’. Ook als het beleid dat onder een begrotingsartikel is gegroepeerd niet duidelijk met elkaar samenhangt of als beleid in de loop der tijd sterk is veranderd, kan dat problemen opleveren bij het beantwoorden van de vijftien vragen. In het onderdeel 'Scope van de beleidsdoorlichting' worden tips gegeven hoe hiermee kan worden omgegaan. De algemene tip is om voor iedere niet te beantwoorden vraag, helder aan te geven waarom dit niet mogelijk is en op welke manier hiermee nu (in deze beleidsdoorlichting) en in de toekomst zal worden omgegaan.

Ook wordt soms de beantwoording van de vijftien vragen bemoeilijkt doordat er niet (tijdig) voldoende goede evaluaties zijn opgesteld om de beleidsdoorlichting op te baseren. Daarom is het bij het beantwoorden van vraag 10 nodig om duidelijk aan te geven welke uitspraken wel en niet mogelijk zijn op basis van het beschikbare materiaal. En ook: om aan te geven op welke manier ervoor zal worden gezorgd dat er voor de volgende beleidsvoorlichting méér informatie voorhanden is.

Verantwoordelijkheid departement bij beleidsdoorlichtingen 

De vakminister is verantwoordelijk voor de beleidsdoorlichtingen van zijn departement. Hij draagt zorg voor een dekkende programmering van beleidsdoorlichtingen van maximaal eens in de 7 jaar.

Betrokkenheid van Tweede Kamer bij beleidsdoorlichtingen

Het is aan de Tweede Kamer om vakministers inhoudelijk aan te spreken op de doorlichtingen. De Tweede Kamer heeft de laatste jaren steeds meer aandacht voor beleidsdoorlichtingen. Om de overzichtsstudies nog beter bruikbaar te maken, heeft de Kamer de minister van Financiën gevraagd om een aantal wijzigingen door te voeren in de regels. Tegenwoordig moet bijvoorbeeld voor de start van het onderzoek de opzet en vraagstelling van elke beleidsdoorlichting aan de Kamer worden gestuurd. Hiermee wil de Kamer bereiken dat zij beter in staat is om met het kabinet het gesprek aan te gaan over de doeltreffendheid en doelmatigheid van het gevoerde beleid.

Verantwoordelijkheid Financiën bij beleidsdoorlichtingen

De minister van Financiën ziet toe op een doelmatige besteding van het overheidsgeld en is derhalve stelselverantwoordelijk voor de beleidsdoorlichtingen. Dat wil zeggen dat de regels in beheer liggen bij de minister van Financiën, en eventuele vragen van de Tweede Kamer over de regels of de werking van het stelsel door de minister van Financiën worden beantwoord. Vanuit deze rol is het van belang dat de IRF betrokken is bij de opzet en uitvoering van een beleidsdoorlichting. De IRF kijkt mee of de regels met betrekking tot beleidsdoorlichtingen worden nageleefd en de vragen uit de RPE in de beleidsdoorlichting worden beantwoord en op basis van het onderliggende onderzoek (de juiste) uitspraken worden gedaan over de doeltreffendheid en doelmatigheid van het beleid.

Relatie tussen beleidsdoorlichtingen en interdepartementale beleidsonderzoeken

Behalve beleidsdoorlichtingen kent het Rijk ook interdepartementale beleidsonderzoeken (IBO’s).

Het zijn verschillende soorten onderzoek. In een beleidsdoorlichting wordt (vooral) teruggekeken, in een IBO wordt vooruitgeblikt: een interdepartementale werkgroep formuleert opties tot aanpassing van het beleid. Een IBO is dus ook niet, zoals een beleidsdoorlichting, aan een begrotingsartikel gebonden, maar kijkt meestal naar een breder maatschappelijk probleem. Het enige vooruitblikkende element in een beleidsdoorlichting is het antwoord op de vraag welke beleidsopties mogelijk zijn indien er significant minder budget beschikbaar is.

Soms heeft een ministerie de wens om een IBO en een beleidsdoorlichting samen te voegen. Dit is op zichzelf mogelijk. De praktijk leert echter dat in zo’n gecombineerde beleidsstudie de vragen die in een beleidsdoorlichting aan de orde horen te komen, er nog wel eens bij inschieten.

Om dit te voorkomen is het belangrijk om bij het opstellen van een combinatie van IBO en beleidsdoorlichting er op te letten dat alle terugblikkende vragen net zo goed en zorgvuldig worden beantwoord als de vooruitblikkende vragen.