NEWS

Leçons du Colloque de la SQEP 2016

Le 13 et 14 Octobre dernier, l’Université du Québec à Montréal accueillait les membres de la Société Québecoise d’Évaluation de Programme (SQEP) pour son 25e colloque annuel, axé autour du thème des “Révolutions de l’Évaluation – Regards vers le Futur de la Discipline”. Le colloque, qui s’organisa autour de formations, présentations, et tables rondes, attira une centaine de participant(e)s du secteur public, privé, communautaire, et académique.

Universalia est depuis longtemps un membre actif de la SQEP, présentement représenté sur le conseil d’administration par notre consultant Juan-David Gonzales, ainsi que sur le pannel de clôture du colloque de cette année par notre consultant senior, Emmanuel Trépanier (voir photo, au podium). Ci-dessous, Esther Rouleau, Juan-David Gonzales et Lorenzo Daïeff, présents au colloque pour Universalia, résument les principales leçons retenues de l’évènement.

Parmi les principaux thèmes abordés lors de ces deux journées, l’évaluation participative est une des approches qui a été le plus mise de l’avant lors des panels et formations. Celle-ci est définie comme une démarche qui engage les intervenants d’un programme ou d’une politique dans le processus d’évaluation (conception, collecte, analyse et production des rapports) et qui permet, entre autres, d’accroitre l’appropriation des résultats du processus par les parties prenantes. Dans ce genre d’évaluation, c’est davantage le processus et l’accompagnement offert par l’évaluateur que le livrable final qui compte. Pour s’assurer de bien pouvoir le mener à terme, les formateurs ont suggéré diverses stratégies à prendre en compte pour leur mise en œuvre:

  • Temps et ressources. Une évaluation participative requiert certainement plus de temps pour être menée étant donné le besoin de mobiliser, à plusieurs reprises, les parties prenantes à impliquer. Plus le nombre de participants à inclure est élevé, plus longues seront les consultations. Pour gérer le temps, le nombre de documents et de données brutes fournies doit être choisi avec discernement avant et durant les rencontres.
  • Accès aux données. Plusieurs options existent en ce qui concerne la gestion de l’accès aux données : 1) envoyer les données et demander à chacun de les analyser individuellement; 2) fournir les données au groupe pour discuter en personne; 3) créer des sous-groupes pour analyser des portions des données qui seront ensuite présentées à tout le groupe et; 4) faire en sorte que des sous groupes animent des discussions pour tout le groupe. Chacune de ces étapes peut se faire en temps réel (personne, vidéoconférence, tel.) ou en différé (courriel, forums de discussion).
  • Analyse préliminaire. Étant donné les capacités et l’aisance variable des participants pour l’analyse qualitative ou quantitative, il est recommandé de s’adapter au plus petit dénominateur commun (en termes de capacités). Il importe ensuite de préparer (ou de former) les participants au travail qu’ils devront faire individuellement ou en petits groupes homogènes (p. ex. partager les instructions à l’avance, spécifier les tâches qu’ils devront faire). Il importe également de préparer une animation conséquente au public ciblé et aux objectifs de l’évaluation afin de maximiser la participation.
  • Présentation des données. Les données peuvent être présentées de différentes façons et avoir été analysées/classées préalablement par l’évaluateur en tenant en compte les capacités des participants et l’objectif de l’évaluation (quel degré de données brutes ou pré analysées fournir?). Il faut tenir compte que toute manipulation risque d’orienter la discussion. Somme toute, la clarté et la simplicité des données présentées sont clés.
  • Rigueur. Pour maximiser la rigueur de l’analyse, il faut reconnaitre les positions a priori des analystes (quels points de vues représentent-ils?), rendre l’analyse sous-jacente explicite, et intégrer une fonction de remise en cause (p. ex. rôle d’avocat du diable).

Un autre moment fort du colloque a été la conférence principale. Le conférencier principal, M. Yves-Alexandre de Montjoye, spécialistes des méga données du MIT Media Lab, a entretenu le public des enjeux actuels liés à la compilation et l’utilisation des métadonnées (Big Data). Il explique ainsi que des métadonnées contenant l’information sur la vie privée des gens sont constamment collectés par les opérateurs de téléphones portables, de cartes de crédit ou de différents sites web (Google, Facebook, Twitter, etc.) sur les comportements d’utilisateurs individuels. Malgré les efforts déployés depuis de nombreuses années pour anonymiser ces données et assurer la confidentialité du public, ses études démontrent que quatre points spatio-temporels sont suffisants pour identifier de manière unique un utilisateur de téléphone cellulaires dans 95% des cas (à partir d’une base de données de 1.5 million de personnes) ainsi qu’un utilisateur de carte de crédit dans 90% des cas  (à partir d’une base de données de 1 million de personnes). Puisque ces données s’avèrent néanmoins être d’une utilité grandissante pour comprendre les comportements humains (recensements, mouvements de populations, réponses aux catastrophes naturelles, etc.), d’importants travaux sont en cours pour comprendre comment ces métadonnées peuvent être rendues accessibles, en open data, de manière sécuritaire.

Finalement, un fil conducteur sous-jacent a été la mise en valeur du rôle – et de l’utilité – de la subjectivité en évaluation. Traditionnellement définie en négatif comme la tendance à porter des jugements en fonction de ses propres expériences et préférences, plutôt qu’en fonction des données ‘objectives‘, la subjectivité a longtemps eu une relation difficile avec l’évaluation. Plusieurs éléments du colloque ont pourtant semblé prôner une approche alternative, dans laquelle la subjectivité est reconnue, mise à profit, et intégrée au processus d’évaluation. On peut notamment citer les deux exemples suivants:

  1. L’importance accordée aux processus participatifs, non seulement dans la collecte de données, mais aussi dans l’analyse de celles-ci avec les parties prenantes. Cette analyse commune devient essentielle dès lors que l’on reconnaît que les évaluateurs/trices ont leurs propres cadres de référence, comme l’illustrait l’exemple d’une participante qui disait s’être rendu compte que ses bénéficiaires, au vécu différent, utilisaient des catégories d’interprétations différentes aux siennes pour les mêmes données. Sans mise en commun des subjectivités pendant l’évaluation, le rapport final risque de manquer d’utilité pour les parties prenantes. Plus généralement, l’évaluation ne vise donc pas nécessairement à créer simplement de l’information et des constats « objectifs », mais bien à donner un sens aux données, à travers de la mise en relation de celles-ci avec les valeurs, missions et mandats des parties prenantes.
  2. L’intérêt émergent pour ladite “évaluation évolutive” (developmental evaluation), une approche qui se traduit par un rapport flexible entre évaluateurs/trices et parties prenantes dès le début d’un projet, visant à offrir un service d’assistance continu. Cette approche, très présente au colloque et discutée dans de multiples présentations, reconnait la fluidité de certains programmes et des besoins des parties prenantes, qui ne peuvent ou ne gagnent pas toujours à être fixés d’avance. Dans l’absence de plan fixe, il revient à l’évaluateur/trice de constamment s’adapter aux besoins dynamiques des parties prenantes, et ce de façon proactive; comme le décrivait une présentatrice, elle sentit que ses parties prenantes avait des interprétations divergentes du mandat d’un projet, et conçut des outils afin de cartographier et comparer les différentes visions. Il reste à noter que d’un point de vue de consultant(e)s, la difficulté de cette approche reste de trouver un mode contractuel approprié, vu que les tâches ne sont pas déterminées au préalable.

Au final, aucun de ces éléments ne prône un départ de l’idéal de la rigueur méthodologique, mais ils présentent une vision de l’évaluation axée sur les sujets et leurs valeurs, visions, et réalités, une approche qui rapprochent les évaluateurs de leurs parties prenantes, et les transforme peu à peu en facilitateurs plutôt que figure d’autorité. Des idées, au final, ni nouvelles ni universellement applicables, mais pertinentes pour la SQEP.

 

Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s