Recommendations de la SOLEP asbl quant au Kulturentwecklungsplang
La SOLEP est une asbl dont une des missions est de promouvoir l'évaluation des politiques publiques en vue de contribuer à la qualité des prises de décision. Dans le cadre de sa mission, la SOLEP a revu avec intérêt le Plan de développement culturel dévoilé fin juin. Elle souhaite apporter les commentaires suivants au chapitre V de mise en œuvre du Plan dédié entre autres aux questions de suivi et évaluation :
1. Encourager l'auto-évaluation accompagnée
La SOLEP rejoint les auteurs du Plan sur le fait que les arts et la culture forment un secteur à part, ne pouvant être réduit à la gestion de budgets et à des données quantitatives (p.168). Les effets des politiques culturelles sont de nature intrinsèquement qualitative et doivent, comme le souligne le Plan, être appréhendés sur le long terme. Dans ce contexte, l'évaluation ne doit pas se limiter à un contrôle d'exécution budgétaire de type « budgets → décaissements → réalisatons », relevant d'ailleurs davantage de l'audit que de l'évaluation stratégique - voir section (4) ci-dessous à ce sujet. Il conviendrait plutôt de privilégier l'auto-évaluation, à savoir une évaluation réalisée par ceux qui ont la responsabilité de concevoir et de mettre en œuvre une action donnée.
Dans ce processus de nature relativement participative, l'expert-évaluateur se limite à assurer une certaine discipline méthodologique dans l'application de la démarche évaluative alors que les acteurs sont encouragés à tenir compte des spécificités de leurs secteurs respectifs dans la définition des résultats attendus. Ce processus permet d'accorder les acteurs concernés sur les résultats attendus de leur démarche, ceci à un rythme adapté et à des coûts relativement modérés. Il permet in fine d'encourager l'apprentissage et de répondre au constat tiré par le Plan de « l'impossibilité de décrire [actuellement] avec précision les résultats des efforts [engendrés] » (p.168).
Ce type d'apprentissage collectif pourrait être facilité avec l'aide d'un organe central d'évaluation.
2. L'utilité d'un organe central d'évaluation
La SOLEP constate avec intérêt que les auteurs du Plan envisagent un rôle équivalent à un organe central d'évaluation conjointement pour un « Observatoire des politiques culturelles » et un « Commissaire de gouvernement au plan de développement culturel ».
Selon le Plan, l'Observatoire est un service regroupant des fonctions (i) d'observation, (ii) de coordination statistique, (ii) de suivi de la performance des acteurs* et (iv) de coordination et d'accompagnement des évaluations (pp.168 et 172). De son côté, outre sa mission principale de suivi de la mise en œuvre du Plan, le Commissaire met en place, avec l'aide de l'Observatoire, un « échéancier d'évaluations » (p.171). Le Commissaire veille au respect dudit échéancier et établit les recommandations. Il assure enfin un « accès public aux documents, aux analyses, aux rapports d'échange, d'activité, de consultation, etc. »** (p.171).
La SOLEP rappelle ici l'utilité d'un organe central d'évaluation, même de taille modeste. Outre la commande d'évaluations selon un degré de priorisation donné, un tel organe se doit de sensibiliser à l'évaluation et de renforcer les connaissances et capacités. En ligne avec l'objectif du Plan de « définition de méthodologie de travail » (p.169), cet organe devrait notamment prévoir :
- la publicité des évaluations (et non nécessairement la publication - voir section (3) ci-dessous à ce sujet) avec la tenue d'un planning officiel de celles-ci, mais également
- le contrôle qualité des évaluations menées,
- la dissémination de bonnes pratiques en matière d'évaluation,
- la publication de lignes directives d'ordres méthodologique, éthique ou procédural,
- l'adoption de définitions uniformes,
- l'organisation de formations à destination des acteurs et administrations,
- l'assurance de la prise en compte des résultats des évaluations, ou encore
- la centralisation et la communication dans un langage compréhensible des leçons d'évaluation.
Plus encore que le « rapport annuel » sur l'état du secteur prévu par le Plan (pp. 168 et 172), ce travail de systématisation de l'approche évaluative aiderait à un apprentissage collectif permettant de mieux comprendre (mais également de communiquer sur) les effets des politiques culturelles.
3. La publicité des évaluations (et non leur publication) dans un premier temps
Il est vrai que, sauf intérêt sécuritaire et/ou national majeur, la bonne pratique à l'international consiste à publier le contenu de toute évaluation ou, à défaut, au moins un résumé exécutif sincère.
La SOLEP comprend néanmoins qu'au Luxembourg, mis à part l'agence nationale de coopération au développement « LuxDev », il existe une certaine appréhension à publier les évaluations, ou même à les annoncer (l'on parle alors, non pas de « publication », mais de « publicité » des évaluations). La préférence va clairement dans le sens d'une analyse des conclusions des évaluations à huis clos, par exemple en réunions tripartites ou en commissions parlementaires. De l'expérience des membres de la SOLEP, il faut en effet du temps pour que la publication des résultats des évaluations fasse son chemin. Un tel shift dans la culture administrative ne peut s'effectuer du jour au lendemain.
La SOLEP recommande donc dans un premier temps et en ligne avec le Plan la publicité des évaluations, qu'elles soient prévues dans la loi au moyen de clauses dites « évaluatives » ou répertoriées dans un planning des évaluations tenu par un organe central. La publicité des évaluations contribue à structurer les activités et à renforcer la transparence et la responsabilité.
4. Sensibiliser à l'évaluation et clarifier les bases
La SOLEP constate qu'au Luxembourg l'évaluation peut être perçue, à tort, comme un audit, ou du moins comme un exercice à visée « punitive ». Il est important, aux yeux de la SOLEP, de ne pas confondre audit - qui teste la conformité de l'action avec le cadre légal, réglementaire et/ou contractuel dans lequel elle s'inscrit - et évaluation. Et, même au sein de l'évaluation, l'on retrouve communément les approches suivantes :
- l'évaluation de la performance de nature organisationnelle : principes d'économie et d'efficacité (produits réalisés vs. planifiés) appliqués aux résultats opérationnels, comme le nombre de volumes traités ou de bénéficiaires encadrés, et pertinence d'une politique non questionnée (ou alors indirectement via des constats d'(in)efficience par exemple),
- l'évaluation classique de nature stratégique et qualitative : sur base des principes d'efficience et d'efficacité appliqués aux résultats stratégiques (résultats obtenus vs. escomptés consistant la plupart du temps en des changements de comportement dans le chef du public-cible visé par une action donnée) avec entre autres le questionnement de la pertinence et de la soutenabilité, ou encore
- l'évaluation (économétrique) d'impact qui, sous conditions expérimentales strictes et de disponibilité des données, est appliquée directement aux résultats stratégiques d'impact (réduire le chômage, la pauvreté ou encore, au niveau culturel, rendre la culture plus accessible), parfois en complément à une évaluation organisationnelle ou stratégique de nature plus qualitative.
Même si l'objectif intrinsèque de l'évaluation est de rendre compte, il est aussi et surtout celui de l'éclairage et de l'apprentissage, sans lesquels l'on ne peut sereinement évoluer.
En conclusion, la SOLEP insiste sur l'importance de sensibiliser et de renforcer les connaissances en évaluation. La sensibilisation à l'évaluation est une des missions-clés de la SOLEP à l'horizon 2020 et, dans ce cadre, elle organise de courtes formations de clarification des bases notamment à destination de secteur associatif luxembourgeois.
* A savoir principalement les instituts culturels de l'Etat, les établissements publics et les structures conventionnées.
** La publication des rapports d'évaluation n'apparaît donc pas être prévue par le Plan - voir section (3) ci-dessous à ce sujet.
