Évaluation et révision des programmes

Organisme client : Société du Plan Nord. Mandat : Considérant une directive du Secrétariat du Conseil du trésor (SCT) comportant des obligations de suivi et d’évaluation du Plan d’action nordique 2020-2023 (PAN 20-23), la Société du Plan Nord (SPN) a entamé le processus d’évaluation par la réalisation d’un cadre d’évaluation. Ce dernier a permis de décrire l’objet évalué par l’élaboration d’un modèle logique établissant les fondements du PAN 20-23, son fonctionnement et les résultats attendus sous forme d’extrants et d’effets. Le cadre d’évaluation a également permis de préciser le mandat de l’évaluation en déterminant les enjeux et les questions d’évaluation. Les enjeux ciblés portaient sur la gouvernance, la pertinence et l’efficacité. Méthodologie: Sogémap a procédé à l’évaluation de la gouvernance, la pertinence et l’efficacité du PAN 20-23. La méthodologie utilisée pour recueillir l’information nécessaire à l’évaluation a été déterminée par Sogémap inc. et soumise à la SPN dans un plan de travail. Cette méthodologie comprenait sept stratégies de collecte : revue de la documentation et des documents officiels de la SPN; analyse des données administratives portant sur les actions du plan d’action; entretiens semi-structurés auprès de représentants de directions de la SPN; entretiens de groupe avec des responsables d’action à la SPN et des responsables d’entente à la SPN; entretiens semi-structurés auprès de représentants des ministères ou des organismes gouvernementaux impliqués dans le Plan d’action nordique; entretiens semi-structurés auprès de membres de l’Assemblée des partenaires (élus municipaux, représentants autochtones, représentants d’industries et représentants d’institutions régionales). Le rapport d’évaluation comprenait des recommandations visant à mieux orienter le prochain PAN vers des problématiques spécifiques, à préciser les effets attendus sur le territoire et à renforcer le partenariat.

Organisme client : Les Offices jeunesse internationaux du Québec. Mandat : LOJIQ souhaitait revoir ses programmes afin de s’assurer de leur pertinence. L’objectif était de fournir à la direction et aux membres du conseil d’administration de l’information stratégique afin qu’ils puissent prendre des décisions éclairées quant au maintien des programmes ou à leur réorientation. Méthodologie : La démarche d’analyse des programmes de LOJIQ a consisté à répondre à quatre questions : 1) Les programmes sont-ils bien définis et cohérents? 2) Ont-ils un impact significatif sur les jeunes participants? 3) La gestion des programmes est-elle optimale? 4) Les programmes s’alignent-ils avec les orientations gouvernementales? Pour répondre à ces questions, chaque programme et volet ont été minutieusement examinés; les gestionnaires, interviewés; le fonctionnement, analysé; et les données financières et administratives, étudiées. Le rapport a présenté une analyse des programmes et proposé des recommandations pour une gestion rigoureuse de ceux-ci.

Organisme client : Ministère de la Santé et des Services sociaux. Mandat :La troisième évaluation de la Loi s’est réalisée dans une perspective de révision. Ainsi, tout en assurant une continuité d’analyse avec le rapport d’évaluation précédent (2011-2015), la troisième évaluation (2016-2020) devait également comparer la Loi avec les autres lois canadiennes afin de poser un jugement sur l’approche québécoise et de formuler des recommandations pour accroître son efficacité et renforcer sa gouvernance. Étant donné l’importance de cette Loi, les travaux pour ce mandat d’évaluation se sont concentrés sur trois volets, soit la mise en œuvre, l’efficacité et la gouvernance de la Loi. Méthodologie : Un cadre d’évaluation a d’abord été produit. Il a permis d’assurer une compréhension commune des étapes de l’évaluation et du fonctionnement de ladite Loi avec les membres du Comité d’évaluation. Ce cadre a été réalisé conformément à la Directive du Secrétariat du Conseil du trésor concernant l’évaluation de programme dans les ministères et les organismes publics. Pour ce qui est de la démarche de collecte de renseignement et d’analyse, elle a consisté à : réaliser une revue de la documentation sur la Loi et la problématique de l’intégration des personnes handicapées; consulter des ministères, organismes publics et municipalités assujetties à la Loi (sondage Web et entrevue individuelle), consulter des représentants du milieu associatif (entrevue individuelle), consulter des experts (entrevue individuelle) et analyser les autres lois canadiennes (provinciales et fédérales) en matière de droits des personnes handicapées. À la lumière des informations recueillies lors de l’évaluation, neuf recommandations ont été transmises au ministre responsable des services sociaux. Ces recommandations visaient trois objectifs : s’assurer de l’application de la Loi par l’ensemble des organisations assujetties, améliorer le processus de suivi et de reddition de compte et, finalement, prévoir une mesure d’impact de la Loi sur les personnes handicapées.

Organismes clients : Ministère des Affaires municipales et de l’Habitationet et Relations Couronne-Autochtones et Affaires du Nord Canada. Mandat : Conformément au paragraphe 7.1 de l’Entente, le comité sur l’habitation dans la région Kativik (CHK) a la responsabilité de réaliser une évaluation et de formuler, le cas échéant, des recommandations aux signataires de l’Entente. Le CHK a donc mandaté la firme Sogémap inc. pour réaliser cette évaluation. L’évaluation était financée par le ministère des Affaires municipales et de l’Habitation et Relations Couronne-Autochtones et Affaires du Nord Canada. Méthodologie : Tout en étant en continuité avec les évaluations antérieures, l’évaluation a adopté une démarche évaluative conforme aux règles en vigueur au Gouvernement du Québec. Un cadre d’évaluation a d’abord été produit. Ce cadre a permis de présenter aux membres du comité de suivi de l’évaluation, notre compréhension de l’Entente sous forme de modèle logique. Le document comprenait également la stratégie d’évaluation de même que les méthodes de collecte et d’analyse des renseignements. La démarche proposée a porté sur l’analyse de quatre enjeux d’évaluation, soit la mise en œuvre de l’Entente, sa gouvernance, la conformité des activités réalisées et les effets obtenus sur la population. La stratégie de collecte de renseignement s’est appuyée essentiellement sur l’analyse des documents fournis par les signataires de l’Entente, les données financières, des recherches documentaires dans Internet et des entrevues auprès des représentants de l’Entente.

Organisme client : Sûreté du Québec. Mandat : Une évaluation a été demandée par la Grande fonction des enquêtes criminelles (GFEC). Cette évaluation, qui est inscrite dans le plan pluriannuel d’évaluation 2021-2024 de la Sûreté du Québec (Sûreté), devait porter sur la mise en œuvre du programme (fonctionnement), son efficacité et son efficience. Plus précisément, le mandat consistait à déterminer l’atteinte des objectifs du programme, à documenter la relation entre les effets du programme et les ressources utilisées pour produire ces effets de même qu’à décrire son fonctionnement. Le rapport d’évaluation devait faire des propositions en vue d’améliorer son efficacité et son efficience. Méthodologie : Après avoir constaté que trop peu de données sur le programme étaient disponibles pour être en mesure de produire un rapport d’évaluation à court terme, Sogémap a proposé l’élaboration d’un cadre d’évaluation. Ce cadre d’évaluation devait permettre à l’équipe de la Direction de la vérification interne de faire elle-même l’évaluation au moment opportun. Ce cadre comprenait notamment une description du GECS et de sa raison d’être, un plan de suivi des principaux extrants, un modèle logique, des indicateurs ainsi qu’une stratégie globale d’évaluation, comprenant des questions d’évaluation et une stratégie de collecte.

Organisme client : Sûreté du Québec. Mandat : Le mandat confié à Sogémap consistait à répondre aux questions d’évaluation déterminées par les représentants des principales parties prenantes et par la Direction de la vérification. Ces questions concernaient différents aspects de la gouvernance du programme. Plus précisément, le mandat consistait à documenter les rôles et responsabilités des parties prenantes, à déterminer si le programme était en mesure de rejoindre efficacement la clientèle cible (les municipalités, les élus, les citoyens) et à évaluer si les mécanismes de coordination et de collaboration mis en place facilitent l’atteinte des objectifs de l’intervention. Méthodologie : À partir du cadre d’évaluation produit par la Direction de la vérification interne, Sogémap a réalisé la collecte de renseignement et l’analyse. La démarche de collecte de renseignements a porté sur trois stratégies : revue documentaire, entrevues semi-dirigées et extractions de données de l’application PARL. La revue documentaire a consisté à analyser la documentation interne de la Sûreté, soit des rapports, des guides d’utilisation de l’application PARL, des guides de reddition de comptes et divers documents de référence. Des entrevues semi-dirigées ont été réalisées auprès d’un responsable du système informatique, de conseillers de district, de directeurs de centres de services de MRC (CSMRC), de directeurs de poste, d’adjoints et de superviseurs de relève. Finalement, des extractions de données sur une période de 10 ans ont permis de brosser un portrait global des priorités d’actions et des activités inscrites au PARL. Le rapport présente une analyse des fondements du PARL, de son évolution depuis sa création, de son efficacité, des rôles et responsabilités des parties prenantes, et des recommandations pour son amélioration.

Organisme client : CIUSSS du Centre-Sud-de-l’Île-de-Montréal. Mandat : La Direction régionale de santé publique du CIUSSS du Centre-Sud-de-l’Île-de-Montréal (DRSP), en partenariat avec le cégep du Vieux Montréal, a proposé de réaliser un projet pilote comportant la diffusion d’une campagne de communication positive associée à des interventions de terrain fondées sur les meilleures pratiques, et d’en évaluer les retombées. Le mandat de Sogémap consistait, dans un premier temps, à soutenir les membres du comité de travail dans la préparation du projet pilote. Dans un deuxième temps, Sogémap avait la responsabilité de proposer une stratégie de mesure des résultats et de procéder à l’évaluation du projet, en vue de documenter l’expérimentation, afin de permettre à d’autres établissements d’enseignement d’offrir le projet à leurs étudiants. Méthodologie : Tout au long de la conception du projet, Sogémap a soutenu le comité de travail dans la préparation d’outils de suivi du projet : plan d’action, modèle logique, objectifs mesurables, indicateurs de suivi et stratégies de mesures des résultats. Au cours du projet, trois sondages Web ont été réalisés auprès des étudiantes et étudiants du CVM. Au total, 4 466 personnes ont participé au sondage. Le nombre élevé de répondants aux trois sondages a permis de documenter avec précision le comportement de la clientèle du CVM à l’égard de sa sexualité, des comportements à risque, de l’utilisation du condom et du recours au test de dépistage. Le contexte pandémique a permis également de documenter l’impact du confinement sur la sexualité en comparant le comportement de la clientèle du CVM avant le confinement et durant le confinement. Finalement, les données du troisième sondage ont permis de mesurer la notoriété de la campagne de communication virtuelle et d’émettre certaines hypothèses sur les effets de celle-ci sur la clientèle du CVM.

Organisme client : Commission de la construction du Québec. Mandat : Dans le cadre de la Stratégie gouvernementale pour l’égalité entre les femmes et les hommes vers 2021, le ministère du Travail, de l’Emploi et de la Solidarité sociale (MTESS), par l’entremise d’Emploi-Québec (EQ), la Commission de la construction du Québec (CCQ) et le Secrétariat à la condition féminine (SCF) se sont engagés à mettre en place des initiatives pour accroître la présence des femmes en emploi dans le secteur de la construction. Ainsi, un appel de projets destinés aux organismes communautaires spécialisés en développement de l’employabilité a été lancé et deux projets ont été retenus. Ces projets avaient pour objectif de réduire les obstacles à l’intégration et au maintien en emploi des femmes dans les métiers et occupations de l’industrie de la construction. Le mandat de Sogémap consistait, dans un premier temps, à accompagner les organismes communautaires dans la détermination des indicateurs de suivi des projets qui sont nécessaires à la reddition de comptes. Dans un deuxième temps, Sogémap devait réaliser l’évaluation des deux projets. Méthodologie : Le mandat était sous la supervision d’un comité d’évaluation composé de représentants des bailleurs de fonds, soit le MTESS, EQ, la CCQ, le SCF de même que les responsables des projets. La démarche évaluative a commencé par la préparation d’un cadre d’évaluation général. Ce cadre comprenait un modèle logique décrivant l’initiative conjointe des ministères, les questions d’évaluation et un échéancier. Par la suite, les deux projets évalués ont fait l’objet d’une évaluation spécifique en trois étapes : 1^re étape — production d’un cadre d’évaluation spécifique; 2^e étape — élaboration d’une stratégie de suivi des activités et accompagnement des organismes dans la collecte de données; 3^e étape — la réalisation des évaluations. Dans le cadre de l’évaluation, Sogémap a analysé la documentation en lien avec les projets, traité les données de suivi et réalisé des entrevues auprès des partenaires et des femmes qui ont bénéficié des projets. Les rapports d’évaluation ont ensuite été présentés aux comités d’évaluation à des fins de discussion et d’approbation. Une fois les évaluations terminées, un rapport synthèse a été produit incluant des recommandations en vue de réaliser des projets d’intégration efficaces et efficients.

Organisme client : ministère de la Santé et des Services sociaux. Mandat : Conformément aux obligations inscrites dans la loi sur l’INESSS, le MSSS est dans l’obligation de procéder à l’évaluation de l’Institut tous les cinq ans par une firme externe. Le mandat consistait donc à faire le point sur la mise en œuvre de la loi sur l’INESSS depuis 2015 et à faire état de l’évolution des résultats depuis le premier cycle d’évaluation. L’évaluation avait aussi pour but de formuler à la ministre de la Santé et des Services sociaux, et au gouvernement du Québec, les recommandations menant à sa bonification ou aux ajustements requis. De plus, elle doit permettre de mieux outiller l’Institut et le gouvernement du Québec en démontrant si les mécanismes ou les processus retenus se sont avérés adéquats, si des modifications ou des ajustements sont nécessaires et, le cas échéant, de les mettre en contexte, d’en expliquer les motifs et d’en faire ressortir les répercussions sur l’ensemble de sa mise en œuvre. Méthodologie : Afin de soutenir les responsables de l’évaluation dans leur démarche, un comité d’évaluation a été mis sur pied. Ce comité regroupait des représentants du MSSS et de l’INESSS. Sogémap a d’abord produit un cadre d’évaluation présentant la logique d’intervention de l’INESSS, les enjeux d’évaluation, l’approche évaluative, la méthodologie de collecte de renseignements et les questions d’évaluation. Par la suite, Sogémap a procédé à l’évaluation. Dans le cadre des travaux d’évaluation, une étude approfondie des fondements de la loi sur l’INESSS a été réalisée afin de rappeler les raisons pour lesquelles un institut d’excellence a été créé au Québec et de déterminer si l’INESSS d’aujourd’hui atteignait toujours les objectifs du législateur. Par la suite, Sogémap a procédé à l’analyse des produits de l’INESSS de même que des processus de production et de diffusion de ceux-ci. Les utilisateurs des produits de l’INESSS (représentants du MSSS et du réseau de la santé et des services sociaux) ont également été consultés, des études de cas ont été réalisées de même qu’une étude d’étalonnage comparant l’INESSS avec d’autres instituts dans le monde.

Organisme client : Commission des normes, de l’équité, de la santé et de la sécurité du travail. Mandat : La Direction de la planification, de la performance et de l’innovation de la Commission des normes, de l’équité, de la santé et de la sécurité du travail (CNESST) souhaite instaurer au sein de l’organisation l’évaluation de programme comme pratique de gestion axée sur les résultats. Pour ce faire, elle a mandaté la firme Sogémap afin d’offrir une formation adaptée visant à renseigner les membres de la haute direction de l’organisation sur l’apport et les avantages de cette discipline en termes de performance des organisations. Méthodologie : Le mandat a consisté à réaliser une capsule vidéo de formation de soixante minutes permettant d’expliquer ce qu’est l’évaluation de programme, son apport au sein d’une organisation comme la CNESST, les liens et les avantages qu’elle procure pour rendre une organisation performante. Une rencontre a ensuite été planifiée, permettant de faire un résumé de la formation et de répondre aux questions des personnes présentes au comité de direction de la CNESST.

Organisme client : Société du Plan Nord (SPN). Mandat : En mars 2015, le Conseil du trésor rendait une décision comportant des obligations de suivi et d’évaluation du Plan Nord à l’horizon 2035, plan d’action 2015-2020 (PNPA15-20). Ces obligations portaient notamment sur la réalisation d’un cadre d’évaluation et une évaluation du PNPA 2015-2020. Le mandat de Sogémap consistait à réaliser l’évaluation du PNPA 2015-2020 conformément au cadre d’évaluation préalablement produit par la Société du Plan Nord. Méthodologie : L’évaluation a porté sur trois enjeux : la gouvernance, la pertinence et l’efficacité du Plan d’action. L’objectif était de soutenir la direction de la SPN dans sa prise de décision à l’égard de la planification du nouveau Plan d’action 2020-2023. Pour ce faire, la démarche de collecte de renseignements utilisée s’est basée sur quatre stratégies : une revue documentaire, une analyse approfondie des priorités d’actions en cours, des entretiens semi-structurés menés auprès de représentants de la direction de la Société du Plan Nord et des membres du personnel de même que des entretiens semi-structurés menés auprès de représentants de partenaires ministériels et des membres de l’Assemblée des partenaires.

Organisme client : Commission de la construction du Québec. Mandat : La Direction de la vérification interne a reçu le mandat d’instaurer la fonction d’évaluation de programme au sein de la CCQ. Pour ce faire, elle devait concevoir un processus et des outils d’évaluation permettant d’encadrer la fonction, d’identifier les meilleures procédures de mise en œuvre, d’identifier les éléments de structure et de gouvernance nécessaires de même que les méthodologies appropriées. Méthodologie : La démarche retenue a consisté à offrir des services-conseils pour l’accompagnement et le suivi dans le processus d’évaluation. Sogémap a mis à la disposition de la CCQ une ressource professionnelle qui a accompagné des membres de la Direction de la vérification interne dans les étapes suivantes : instaurer un cadre réglementaire de la fonction évaluation; déterminer une planification des travaux d’évaluation; identifier les programmes et projets soumis à la fonction évaluation; décrire la structure des programmes et projets identifiés; identifier des indicateurs de suivi et des indicateurs de résultats (effets); instaurer un système de suivi-évaluation; accompagner l’organisation à la mise en œuvre d’un projet pilote retenu pour l’évaluation.

Organisme client: Institut national de santé publique du Québec. Mandat : Dans le cadre de sa planification stratégique, l’Institut s’est doté d’objectifs pour lesquels il doit atteindre des résultats tangibles auprès de ses clientèles et partenaires. Le mandat consistait donc à mesurer certains de ces objectifs, soit ceux de l’axe 2.2 du plan stratégique. Cet axe d’intervention vise à améliorer l’adéquation des produits et services « aux besoins et attentes des divers utilisateurs visés et redoubler d’efforts afin d’accroître la portée de l’expertise auprès de publics moins bien atteints par le passé, notamment les publics intersectoriels que concerne l’action sur les déterminants de la santé ». Méthodologie : Pour la mesure des objectifs, un sondage Web a été réalisé auprès d’utilisateurs de sept produits de l’INSPQ. Ces produits sont la Boîte à outils environnementale, le Bulletin de veille scientifique sur l’obésité, l’Observatoire cartographique des environnements liés aux habitudes de vie et à la petite enfance, l’Infographie sur le vieillissement, les vidéos Pixel, Santéscope et les webinaires du Portail d’information périnatale. Les mesures d’atteinte des objectifs ont porté sur l’utilisation et la satisfaction à l’égard des produits.

Organisme client : Commission de la construction du Québec.  Mandat : Les responsables du Programme pour la formation des femmes en entreprise souhaitaient retenir les services d’un professionnel en évaluation afin de les soutenir dans le cadre d’une démarche d’évaluation continue. Cette démarche d’évaluation devait permettre ultimement de répondre aux questions suivantes : 1) Le programme a-t-il permis une progression des apprentissages des participantes? 2) Le programme a-t-il favorisé la sensibilisation à l’intégration des femmes au sein des équipes de travail ? Méthodologie : La première étape a consisté à élaborer un plan d’évaluation. Le plan d’évaluation comprenait une brève description des fondements du projet (raison d’être, cible visée et objectifs), de son fonctionnement (tel que prévu lors de sa planification) et de la stratégie d’évaluation. Dans un deuxième temps, Sogémap a accompagné les responsables de l’évaluation dans les différentes étapes évaluatives : élaboration des outils de collecte (guide de discussion et/ou questionnaires); collecte et analyse des résultats colligés; et rédaction du rapport d’évaluation.

Organisme client : Ministère de la Santé et des Services sociaux. Mandat : Lors de l’adoption de la Loi en 2004, le législateur avait prévu en évaluer la mise en œuvre cinq ans après son entrée en vigueur et, par la suite, tous les cinq ans. Une première évaluation a donc eu lieu en 2009 et Sogémap a été mandatée pour réaliser la deuxième évaluation couvrant la période 2011-2015. Le mandat d’évaluation comportait trois volets, soit d’évaluer la mise en œuvre de la Loi, d’analyser la portée de la Loi québécoise par rapport à celles d’autres juridictions et d’identifier des pratiques novatrices et prometteuses. Méthodologie : La démarche utilisée était composée d’une analyse descriptive et d’une analyse évaluative. L’analyse descriptive consistait à présenter l’information recueillie dans le cadre de l’évaluation (analyse de documents, entretiens avec les différents acteurs, analyses des politiques et règlements et identifications des actions réalisées dans le cadre de la Loi), alors que l’analyse évaluative consiste à traiter cette information dans une perspective évaluative, c’est-à-dire en matière de cohérence, de conformité, d’efficacité et d’efficience de la Loi. Dans le cadre de la démarche évaluative, des sondages Web ont également été réalisés auprès des ministères et organismes publics, des municipalités de plus de 15 000 habitants, des organismes de transports publics de même qu’auprès d’organismes régionaux et nationaux représentant les personnes handicapées.

Organismes clients : Secrétariat à la politique linguistique et Office québécois de la langue française. Mandat : Dans le cadre de la révision de ses interventions auprès des entreprises, le Secrétariat à la politique linguistique a mandaté la firme Sogémap afin de déterminer si les activités de financement des centrales syndicales pouvaient être intégrées au Programme de soutien aux associations et organismes pour la promotion de la francisation dans les entreprises. Méthodologie : La démarche utilisée a consisté à réaliser une analyse exhaustive du Programme de soutien à la francisation pour les centrales syndicales. Pour ce faire, Sogémap a réalisé une revue de la documentation sur le programme, une analyse des projets financés, une compilation des données administratives sur le financement des projets et des entrevues en profondeur auprès des représentants des centrales syndicales, auprès du personnel de l’OQLF de même qu’auprès des gestionnaires responsables du programme. Des recommandations ont ensuite été présentées au Secrétariat en vue d’intégrer le financement des centrales syndicales au Programme de soutien aux associations et organismes pour la promotion de la francisation dans les entreprises.

Organismes clients : Secrétariat à la politique linguistique et Office québécois de la langue française Mandat : Dans le cadre d’un processus de révision de ses programmes, le Secrétariat à la politique linguistique a mandaté la firme Sogémap pour réaliser l’évaluation de son Programme de soutien aux associations et organismes pour la promotion de la francisation dans les entreprises. Cette évaluation devait se faire conformément à la directive émise par le Secrétariat du Conseil du trésor concernant l’évaluation de programme dans les ministères et organismes. Méthodologie : La démarche utilisée portait sur une évaluation globale du Programme. L’évaluation a permis, dans un premier temps, une analyse descriptive portant sur les fondements du Programme, son fonctionnement, sa production et les résultats attendus. Dans un deuxième temps, une analyse évaluative a été réalisée afin de répondre à une série de questions portant sur la pertinence du Programme et de ses interventions, sa cohérence, son efficacité et son efficience. Pour ce faire, plusieurs méthodes de collecte de renseignements ont été utilisées : revue de la documentation sur le Programme, analyse des ententes de financement, analyse des données administratives de l’Office, consultation des 40 associations qui ont reçu des subventions et consultation du personnel de l’Office.

Organismes clients : ministère du Travail, de l’Emploi et de la Solidarité sociale et Commission des partenaires du marché du travail. Mandat : La Commission des partenaires du marché du travail (CPMT) a pris l’engagement, à la suite de son bilan d’activités 2011-2012, de procéder à l’évaluation des retombées de ses programmes de subvention, dont le programme Soutien aux promoteurs collectifs et le programme Soutien régionalisé aux entreprises. L’engagement de procéder à l’évaluation de ces deux programmes répondait également aux recommandations émises en 2009-2010 par la vérificatrice générale, qui demandait entre autres à la CPMT d’évaluer régulièrement les programmes sur les effets des services et des subventions aux entreprises et de tenir compte des résultats dans le processus décisionnel. La CPMT a donc mandaté la Direction de l’évaluation du ministère du Travail, de l’Emploi et de la Solidarité sociale pour réaliser l’évaluation. Méthodologie : L’approche retenue était de nature qualitative et l’information a été recueillie par la méthode des études de cas. L’évaluation visait à : cerner la mise en œuvre des projets dans les entreprises; décrire le déroulement, les difficultés et les obstacles, les facteurs d’échec et de succès; examiner la pertinence des projets subventionnés par rapport aux buts et objectifs des programmes; examiner la pertinence des projets subventionnés par rapport aux besoins de formation des travailleurs des entreprises; établir les retombées réelles des projets par rapport aux retombées attendues. L’étude de cas a porté sur dix projets subventionnés dans le cadre du programme Soutien aux promoteurs collectifs et sur six projets subventionnés dans le cadre du programme Soutien régionalisé aux entreprises.

Organisme client : Sûreté du Québec. Mandat : Le PIMS est un programme qui définit l’intervention policière en milieu scolaire dans le cadre de la lutte aux drogues, au taxage et à la violence dans les écoles secondaires. Après plusieurs années de fonctionnement (27 ans), il devenait nécessaire de connaître avec précision comment et de quelle façon le programme était appliqué dans les différents territoires de MRC et comment il avait été adapté aux nouvelles réalités des écoles secondaires. Le mandat d’évaluation consistait donc à documenter l’application du PIMS sur le territoire du Québec et à analyser l’évolution de ce programme au fil des ans. Il devait également documenter les bonnes pratiques et les difficultés éprouvées dans l’implantation au niveau local (territoire de MRC). Méthodologie : Pour la réalisation du mandat, nous avons privilégié une évaluation d’implantation. Il s’agit d’une approche qui a permis de bien décrire les fondements du PIMS (ce qui avait été prévu par les gestionnaires du programme), son évolution dans le temps (modifications apportées depuis sa création) et son application sur les différents territoires du Québec. Ces différentes analyses ont permis de présenter un portrait à jour de la mise en œuvre et du fonctionnement du PIMS afin que la Sûreté du Québec soit en mesure d’ajuster les actions de façon à favoriser l’atteinte des objectifs fixés. Dans le cadre de cette évaluation, nous avons réalisé une revue de la documentation, une analyse de données sur les activités des agents PIMS, des groupes de discussion, des entrevues auprès d’experts et des sondages Web auprès d’intervenants (direction et personnel des écoles, intervenants œuvrant auprès des jeunes, élus municipaux, directeurs de poste de police et agents PIMS). Une étude de cas a également été réalisée afin de documenter l’application du PIMS dans huit territoires de MRC.

Organisme client : Régie des rentes du Québec Mandat : La Direction de la statistique et de l'analyse quantitative a reçu un premier mandat d'évaluation afin de procéder à l'évaluation du service de gestion des plaintes à la Régie des rentes du Québec. Pour réaliser ce mandat, et les prochains qui lui seront confiés, la Direction de la statistique et de l'analyse quantitative s'est adjoint les services d'un expert-conseil de la firme Sogémap inc. afin de la soutenir dans son mandat. Méthodologie : Formation et soutien de l'équipe d'évaluation du personnel de la Direction de la statistique et de l'analyse quantitative.

Organisme client : Bureau de soutien à la communication en santé publique Mandat : Accompagner l’équipe du Bureau du soutien à la communication en santé publique en réalisant une partie de l’évaluation de ses activités et la conseiller sur une stratégie afin de mesurer sa notoriété et sa mission; l’utilisation et la satisfaction de ses services; l’impact de ses activités sur la pratique; et son offre de service élargie.Méthodologie : Accompagnement de l’équipe du Bureau pour la conception d’un questionnaire de sondage en ligne, la conception d’un guide d’animation pour des groupes de discussion, l’animation des groupes de discussion, un suivi de l’enquête en ligne et l’analyse des résultats. Méthodologie : Accompagnement de l’équipe du Bureau pour la conception d’un questionnaire de sondage en ligne, la conception d’un guide d’animation pour des groupes de discussion, l’animation des groupes de discussion, un suivi de l’enquête en ligne et l’analyse des résultats.

Organisme client : Agence de la santé et des services sociaux des Laurentides Mandat : Le mandat d’évaluation consiste à évaluer deux interventions. La première est le Programme 0-5-30 COMBINAISON PRÉVENTION. L’évaluation doit vérifier si des effets sont observables dans certains milieux de travail en lien avec les activités implantées dans le cadre du Programme et évaluer les effets de la stratégie éducationnelle auprès des professionnels de la santé des CSSS. Les résultats de cette évaluation doivent tenir compte de ceux obtenus lors de l’évaluation d’implantation du Programme, qui a été réalisée en 2008. La seconde intervention est le Soutien aux milieux cliniques pour l’application de pratiques cliniques préventives et des Centres d’adoption de saines habitudes de vie (CASH). Pour cette intervention, l’évaluation doit décrire le niveau d’implantation du Soutien aux milieux cliniques pour l’application de pratiques cliniques préventives et des CASH, et évaluer les résultats de type formatif qui permettent de constater si des effets sont observables à la suite de leur implantation. Méthodologie : Le cadre de l’évaluation ainsi qu’une combinaison de méthodes de collecte de renseignements et d’analyses qualitatives et quantitatives ont été utilisés. Cette approche a permis, dans un premier temps, de documenter l’implantation et le fonctionnement des interventions et, dans un deuxième temps, d’évaluer les effets. L’évaluation des effets était basée à la fois sur la perception des intervenants et, lorsqu’il a été possible de le faire, sur des mesures d’impact. De façon plus précise, la démarche de collecte de renseignements était basée sur une analyse de la documentation sur les interventions, sur des entrevues en profondeur auprès de personnes ayant un rôle stratégique dans le fonctionnement des interventions, sur des entrevues téléphoniques, sur une consultation en ligne auprès d’intervenants et sur une compilation de données de nature quantitative portant sur les plans d’action et sur les clientèles cibles.

Organismes clients : ministère de l’Emploi et de la Solidarité sociale et Commission des partenaires du marché du travail. Mandat : En mai 2007, une entente a été signée entre Ressources humaines et Développement social Canada (RHDSC) et la Commission des partenaires du marché du travail (CPMT) pour la réalisation d’un projet pilote portant notamment sur cinq expérimentations de dispositifs visant la reconnaissance et le développement de compétences en milieu de travail élaborées par des comités sectoriels de main-d’œuvre (CSMO). Dans le cadre de cette entente, une démarche évaluative était prévue. Le mandat consistait à : documenter les stratégies et les outils conçus dans chaque expérimentation; examiner les résultats et les effets de chaque expérimentation; déterminer les stratégies et les dispositifs transférables à d’autres secteurs d’activité; résumer et diffuser les résultats et les leçons apprises. Méthodologie : Dans le cadre d’une démarche d’évaluation formative, un cadre d’évaluation a d’abord été produit. Par la suite, les différentes démarches de collecte de renseignements et de consultation menées sur une période de deux ans auprès des entreprises et des employés participants ont permis de réaliser un rapport d’évaluation portant sur l’implantation des expérimentations, sur leur pertinence, sur leur efficacité et sur leur efficience. Pour ce faire, des entrevues en profondeur ont été réalisées auprès des personnes qui ont conçu les expérimentations dans les CSMO, des entreprises ont été visitées et une enquête téléphonique a été effectuée auprès d’entreprises participantes et non participantes à une expérimentation.

Organismes clients : ministère de l’Emploi et de la Solidarité sociale et Commission des partenaires du marché du travail. Mandat : En mai 2007, une entente a été signée entre Ressources humaines et Développement social Canada (RHDSC) et la Commission des partenaires du marché du travail (CPMT) pour la réalisation d’un projet pilote portant notamment sur cinq expérimentations d’acquisition de compétences en milieu de travail élaborées par des comités sectoriels de main-d’œuvre (CSMO). Dans le cadre de cette entente, une démarche évaluative était prévue. Le mandat consistait à : documenter les stratégies et les outils conçus dans chaque expérimentation; examiner les résultats et les effets de chaque expérimentation; déterminer les stratégies et les dispositifs transférables à d’autres secteurs d’activité; résumer et diffuser les résultats et les leçons apprises. Méthodologie : Dans le cadre d’une démarche d’évaluation formative, un cadre d’évaluation a d’abord été produit. Par la suite, les différentes démarches de collecte de renseignements et de consultation menées sur une période de deux ans auprès des entreprises et des employés participants ont permis de réaliser un rapport d’évaluation portant sur l’implantation des expérimentations, sur leur pertinence, sur leur efficacité et sur leur efficience. Pour ce faire, des entrevues en profondeur ont été réalisées auprès des personnes qui ont conçu les expérimentations dans les CSMO, des entreprises ont été visitées et une enquête téléphonique a été effectuée auprès d’entreprises participantes et non participantes à une expérimentation.

Organisme client : ministère de la Santé et des Services sociaux.  (Mandat réalisé sous la supervision d’un comité d’évaluation composé de représentants de Loto-Québec, du ministère des Finances, du ministère de la Santé et des Services sociaux, du ministère de la Sécurité publique et de la Régie des alcools, des courses et des jeux.) Mandat : L’évaluation avait pour but de faire le point sur l’implantation des mesures du plan d’action et de formuler pour les ministères et les organismes responsables de son application les recommandations menant à leur bonification ou aux ajustements requis. Elle devait permettre de mieux les outiller en démontrant que les mécanismes retenus se sont avérés adéquats, si des modifications ou des ajustements ont été apportés et, le cas échéant, de les mettre en contexte, d’en expliquer les motifs et d’en faire ressortir les répercussions sur l’ensemble de la mise en œuvre. L’évaluation avait également comme objectif de cibler les mesures du plan qui devraient faire l’objet d’une évaluation d’impact approfondie. Méthodologie : La démarche évaluative réalisée était composée d’une approche globale et d’une approche spécifique. L’approche globale a permis d’analyser le plan d’action dans son ensemble, c’est-à-dire en évaluant sa mise en œuvre et sa démarche partenariale. Quant à l’approche spécifique, elle a permis d’analyser l’implantation de chacune des mesures sur les plans national, régional et local. La démarche de collecte de renseignements était composée de plusieurs stratégies : revue de la documentation, recension de démarche partenariale et de plan d’action portant sur le jeu pathologique, enquête téléphonique, entrevue individuelle, groupes de discussion et analyse quantitative et qualitative des activités réalisées dans le cadre du plan d’action.

Organisme client : ministère de l’Agriculture, des Pêcheries et de l’Alimentation. Mandat : L’entente intervenue entre le MAPAQ et la SODIM concernant la gestion du Fonds d’investissement arrivant à échéance, le MAPAQ a mandaté Sogémap afin de lui fournir une information pertinente et utile à la prise de décision quant à la recapitalisation ou non du Fonds d’investissement. L’évaluation portait sur les fondements du Fonds, son fonctionnement, les résultats obtenus et le rendement des sommes investies. Méthodologie : Un cadre d’évaluation a d’abord été produit. Par la suite, la démarche évaluative a consisté en une revue de la documentation sur l’industrie maricole, une analyse des demandes de financement et des résultats financiers du Fonds, une évaluation de la gouvernance du Fonds et du processus d’évaluation des demandes de financement et, finalement, des entrevues en profondeur avec les membres de la direction de la SODIM, les membres du Conseil d’administration et des observateurs du milieu.

Organisme client : ministère de la Santé et des Services sociaux. Mandat : En avril 2003, l’AETMIS, qui relevait du ministre des Finances, de l’Économie et de la Recherche, a été transférée sous la responsabilité du ministre de la Santé et des Services sociaux. Lors de ce transfert, les autorités du MSSS ont augmenté le budget de l’AETMIS et procédé à une réorientation majeure. À la suite de l’implantation de ces changements, le MSSS a pris l’engagement de déposer un bilan de l’utilité et de l’influence des travaux de l’AETMIS. Méthodologie : La démarche d’évaluation a porté sur deux axes. Pour l’axe 1 (démarche globale), tous les rapports de l’AETMIS dont la requête a été formulée après le 1er avril 2003 ont fait l’objet d’une première analyse. Pour l’axe 2 (approche spécifique), une analyse détaillée d’une sélection de productions de l’AETMIS a été effectuée afin d’évaluer l’utilité et l’influence des rapports de l’AETMIS. Des entrevues en profondeur ont été réalisées auprès de chercheurs, des membres du Conseil d’administration et du Conseil d’orientation, de même que des personnes directement concernées par les productions de l’AETMIS.

Organisme client : ministère de l’Emploi et de la Solidarité sociale. Mandat : Depuis l’adoption du premier plan d’affectation des ressources du FDRCMO en 1997-1998, les programmes de subvention à l’intention des entreprises ou de regroupements avaient uniquement fait l’objet de rapports annuels d’activités et d’un monitorage de gestion ponctuel. Compte tenu de l’importance des sommes investies annuellement, la Commission des partenaires du marché du travail souhaitait qu’une étude évaluative soit réalisée. La mesure et l’analyse des effets et des répercussions des activités du Fonds devaient apporter un éclairage additionnel à la poursuite de la réflexion quant à l’utilisation du Fonds et, éventuellement, quant aux conditions d’attribution des sommes rendues disponibles pour le développement de la main-d’œuvre en emploi. Méthodologie : Analyse qualitative de l’utilisation des programmes auprès de dix entreprises ayant obtenu des subventions dans le cadre du programme d’intervention individuelle et de cinq regroupements ayant obtenu des subventions dans le cadre du programme d’intervention regroupée en 2005-2006. L’examen s’est fait au moyen d’une analyse documentaire et d’entrevues auprès d’interlocuteurs clés : les promoteurs de projet, les experts-conseils, les formateurs externes, de même que les cadres et les employés directement concernés par les projets de formation dans les entreprises visées.

Organismes clients : ministère des Affaires municipales et des Régions et Développement économique Canada. Mandat : Le mandat consistait à réaliser l’évaluation formative du programme FIMR issu de l’Entente Canada-Québec signée le 18 juillet 2005 afin de répondre aux questions suivantes : Est-ce que le programme répond aux besoins réels de façon réaliste?; Est-ce que la conception et la mise en œuvre du programme sont appropriées?; Recueille-t-on et utilise-t-on les renseignements appropriés pour prendre des décisions en matière de gestion? Méthodologie : L’approche préconisée est basée sur six stratégies de collecte de renseignements : une revue de la documentation, une étude des demandes de financement reçues par le MAMR, des entrevues auprès des gestionnaires du programme, une collecte de données auprès de 120 promoteurs (questionnaire téléphonique et formulaire en ligne), des entrevues auprès de spécialistes des infrastructures municipales et une analyse des systèmes de gestion d’information des deux ministères (DEC et MAMR).

Organismes clients : ministère de l’Agriculture, des Pêcheries et de l’Alimentation, Fédération des producteurs de cultures commerciales du Québec et Coop fédérée. Mandat : Après plus de sept années d’activité et à la veille de prendre possession de leurs nouvelles infrastructures qui vont nécessiter un investissement de 11,7 M$, les organismes membres ont convenu de procéder à l’évaluation du CÉROM. Le mandat d’évaluation consistait à faire le point sur les résultats obtenus à ce jour, à connaître le point de vue des principaux intervenants dans le secteur des grains et à envisager les perspectives en matière d’utilisation optimale des ressources. Méthodologie : Quatre méthodes ont été utilisées pour recueillir l’information nécessaire à la réalisation de la présente étude : une revue de la documentation; une enquête téléphonique auprès de clients et d’intervenants du secteur des grains; la tenue de groupes de discussion auprès du personnel du CÉROM et de représentants du MAPAQ; et des entrevues individuelles auprès de la direction du CÉROM et de ses membres.

Organisme client : ministère de l’Éducation, du Loisir et du Sport. Mandat : À la suite de l’évaluation d’implantation, cette deuxième phase d’évaluation visait à approfondir l’analyse des activités prévues dans les plans d’action régionaux et locaux et à évaluer si les activités mises en place correspondent aux besoins de la clientèle visée par le programme. Méthodologie : Globalement, la démarche évaluative visait à connaître le contenu des plans d’action régionaux et locaux et à analyser l’information qu’ils contiennent. Afin de valider la concordance entre les activités prévues et les besoins de la clientèle visée par le programme, des entrevues ont été réalisées avec des intervenants terrain au palier local. Cent entrevues téléphoniques semi-structurées d’une durée de 15 minutes ont été organisées dans dix projets locaux avec des intervenants provenant de dix types d’organismes. Ces organismes sont les suivants : bibliothèques publiques ou CRSBP, commissions scolaires - éducation des adultes, commissions scolaires - éducation préscolaire, CLE, CLSC, CPE et autres services de garde, groupes d’alphabétisation populaires autonomes, organismes communautaires de service à l’enfance et à la famille, écoles et centres jeunesse. La démarche d’évaluation consistait également à interroger un nombre d’intervenants locaux qui mettent en place des activités d’éveil à la lecture et à l’écriture.

Organisme client : ministère de l’Emploi et de la Solidarité sociale. Mandat : Effectuer une évaluation de nature formative afin de documenter l’expérimentation : le processus de concertation, son développement, sa réalisation de même que la perception des principaux acteurs sur le projet et sur ses premiers effets. Méthodologie : L’approche retenue était participative et comprenait trois étapes : 1) mener des entrevues individuelles (37) auprès d’acteurs concernés par la lutte contre la pauvreté et l’exclusion sociale; 2) organiser dans chacune des MRC une rencontre de groupe avec les acteurs touchés pour approfondir la compréhension des actions qui ont été posées et pour partager les points de vue sur le développement et la réalisation du plan d’action; 3) effectuer un retour auprès des acteurs qui ont été invités à transmettre sur une base individuelle leurs réactions sur les premiers constats provenant de l’analyse préliminaire.

Organismes clients : ministère de l’Éducation, du Loisir et du Sport et ministère de l’Emploi et de la Solidarité sociale. Mandat : Réaliser une évaluation de nature formative afin d’établir dans quelle mesure la mise en œuvre s’est déroulée selon la démarche et l’approche écosystémique que le programme propose. Méthodologie : Approche formative de nature qualitative basée sur une collecte de renseignements provenant de plusieurs sources : étude documentaire, entrevues semi-structurées téléphoniques (95) auprès de différents interlocuteurs clés (directions régionales du MELS, commissions scolaires, agents de développement, responsables du programme au palier national), questionnaire électronique adressé aux partenaires des équipes locales (290) et analyse des plans d’action élaborés par les équipes locales.

Organisme client : ministère de l’Éducation, du Loisir et du Sport. Mandat : Le mandat visait à réaliser l’évaluation de l’implantation du programme sous trois dimensions : les structures mises en place et les partenaires, les mesures d’appui offertes et le contexte prévalant à l’implantation du programme. Cette évaluation s’intégrait dans un processus d’amélioration continue et devait permettre d’appuyer la démarche du Ministère dans sa gestion axée sur les résultats. Méthodologie : La démarche évaluative comportait deux approches : une approche spécifique et une approche globale. L’approche spécifique a permis d’analyser, de façon détaillée, quatre régions où a été expérimenté le programme (Montréal, Québec, Côte-Nord et Mauricie). L’approche globale a permis, quant à elle, d’analyser le programme dans son ensemble en présentant les fondements de celui-ci et les résultats obtenus dans le cadre de l’implantation. Dans le cadre du mandat, près de 80 entrevues individuelles ont été menées auprès de représentants de commissions scolaires, de directeurs d’école, d’enseignants, de parents, de représentants d’organismes du milieu et de représentants de ministères impliqués dans le programme. Une enquête postale a été dirigée auprès de 250 personnes impliquées dans l’implantation du programme. Enfin, une revue de la documentation et une analyse des données administratives ont été effectuées.

Organisme client : ministère de l’Éducation, du Loisir et du Sport. Mandat : Le mandat visait à réaliser l’évaluation de l’implantation du programme sous trois dimensions : les structures mises en place et les partenaires, les mesures d’appui offertes et le contexte prévalant à l’implantation du programme. Cette évaluation s’intégrait dans un processus d’amélioration continue et devait permettre d’appuyer la démarche du Ministère dans sa gestion axée sur les résultats. Méthodologie : La démarche évaluative comportait deux approches : une approche spécifique et une approche globale. L’approche spécifique a permis d’analyser, de façon détaillée, quatre régions qui ont mis en œuvre des projets dans le cadre du programme. L’approche globale a permis, quant à elle, d’analyser le programme dans son ensemble en présentant les fondements de celui-ci et les résultats obtenus dans le cadre de l’implantation. Dans le cadre du mandat, près de 80 entrevues individuelles ont été organisées auprès de gestionnaires du programme, de coordonnateurs de projets locaux, de représentants des directions régionales du Ministère, de représentants de ministères participant au comité régional (s’il y a lieu) et de représentants d’organismes du milieu. Une enquête postale a été menée auprès de 350 personnes impliquées dans l’implantation du programme. Une enquête téléphonique a également été réalisée auprès de ministères ou d’organismes partenaires des projets locaux. Enfin, une revue de la documentation et une analyse des données administratives ont été effectuées.

Organisme client : École nationale d’administration publique. (Mandat réalisé pour le compte du Comité de gestion de l’Entente Canada/Québec [ministère des Affaires municipales et de la Métropole, ministère des Transports et Développement économique Canada]), [André Ouellette 418 691-2005 poste 3123] Mandat : Être en mesure de porter un premier jugement de nature qualitative sur l’impact potentiel des projets inscrits à l’Entente. Méthodologie : Revue de la documentation et des données disponibles sur l’état des infrastructures, constitution et analyse d’une base de données portant sur 888 projets d’infrastructures inscrits à l’Entente et entrevues réalisées auprès des ministères impliqués dans l’Entente Canada/Québec.

Organismes clients : ministère de la Culture et des Communications et Ville de Montréal. Mandat : Évaluer le fonctionnement, l’atteinte des objectifs et l’impact des programmes, et présenter des recommandations aux gestionnaires de l’Entente de développement culturel 2000-2005 afin que ceux-ci puissent, à leur tour, formuler une recommandation de programmation au Comité de coordination du contrat de ville. Méthodologie : Enquête en ligne auprès de 214 organismes qui ont fait des demandes de subventions, analyse statistique sur certaines données contenues dans les dossiers, groupes de discussion auprès d’organismes qui ont obtenu une aide financière, entrevues auprès des représentants de la Ville de Montréal et du ministère de la Culture et des Communications qui évaluent les demandes de financement, entrevues auprès de gestionnaires et analyse des documents administratifs concernant les programmes.

Organisme client : Directeur général des élections. Mandat : Évaluer les mécanismes d’identification des électeurs lors du vote aux élections provinciales de 2003 et faire des recommandations en vue d’améliorer le processus pour les prochaines élections. Méthodologie : Enquête téléphonique auprès de 1100 membres du personnel électoral, tenue de quatre groupes de discussion auprès des directeurs de scrutin et du personnel électoral et analyse statistique des informations colligées par le personnel électoral au cours des élections.

Organismes clients : ministère de l’Emploi et de la Solidarité sociale, ministère des Affaires municipales et de la Métropole et Ville de Montréal. Mandat : Évaluer la mise en œuvre du protocole et les principaux résultats obtenus au cours des trois premières années de son application. Il s’agissait notamment d’étudier l’application du protocole dans les 11 quartiers sensibles de Montréal et de fournir une information qui permette à un comité d’évaluation du protocole de tirer les leçons de cette expérience. Méthodologie : Enquête (en ligne et courrier) auprès de 72 organismes communautaires qui ont élaboré des projets pour améliorer les conditions de vie des jeunes et de leur famille, visite d’organismes et de représentants du milieu dans les 11 quartiers sensibles de Montréal, rencontres et groupes de discussion avec des chargés de projet à la Ville de Montréal, entrevues individuelles auprès des gestionnaires de l’entente (ministère de l’Emploi et de la Solidarité sociale, ministère des Affaires municipales et de la Métropole, Ville de Montréal) et analyse des documents administratifs concernant l’entente et les projets subventionnés.

Organisme client : Office des personnes handicapées du Québec (OPHQ). Mandat : Dans le cadre de la phase I de l’évaluation du Programme Centre de travail adapté, il fallait informer l’OPHQ du fonctionnement actuel du Programme CTA, en déterminer les aspects positifs et négatifs et émettre des recommandations en vue d’améliorer et d’augmenter son impact sur les personnes handicapées. Cette étude devait se faire conformément au principe de reddition de comptes inclus dans l’Entente sur l’aide à l’employabilité des personnes handicapées (AEPH). Méthodologie : Organisation de 11 groupes de discussion auprès de représentants de bureaux régionaux de l’OPHQ, de services spécialisés de main-d’œuvre (SSMO), de centres de travail adapté et de travailleurs dans différentes régions administratives, et détermination de pistes de recherche pour évaluer le Programme Centre de travail adapté.

Organisme client : Direction générale de l’autoroute de l’information du ministère de la Culture et des Communications. Mandat : Analyser la pertinence du Fonds, connaître ses retombées sur l’offre de produits et de services et définir des paramètres permettant le suivi des activités du Fonds. Méthodologie : Recherche documentaire, analyse des données financières et administratives sur le financement octroyé, étude de dossiers sur les projets financés, entrevues avec le personnel de la Direction générale de l’autoroute de l’information et groupes de discussion auprès des promoteurs de projets subventionnés.

Organisme client : ministère de l’Industrie et du Commerce (MIC). Mandat : Vérifier l’efficacité du programme et connaître ses retombées dans l’industrie de la mode et du design. Méthodologie : Enquête téléphonique auprès de manufacturiers, de designers et d’étudiants travaillant dans le secteur de la mode et du design (90 personnes contactées), analyse des contrats de financement conclus au cours des années financières 1999-2000 et 2000-2001, entrevues avec le personnel du MIC et groupes de discussion auprès des promoteurs de projets subventionnés dans le cadre du programme.

Organisme client : ministère des Relations avec les citoyens et de l’Immigration. Mandat : Présenter un rapport faisant état des principaux résultats du Programme de formation en milieu de travail et soumettre des recommandations en vue d’améliorer la prestation de services offerte dans le cadre de ce programme. Méthodologie : Analyse de l’information et des données recueillies par le Ministère.

Organisme client : ministère des Relations avec les citoyens et de l’Immigration. Mandat : Présenter un rapport faisant état des principaux résultats des projets pilotes en francisation et proposer des améliorations en vue de la mise en œuvre de la nouvelle offre de service en francisation. Méthodologie : Analyse de l’information et des données recueillies par le Ministère.

Organisme client : Vérificateur général du Québec.

Organisme client : Vérificateur général du Québec. Mandat : Étudier les pratiques évaluatives préconisées dans différents ministères. Méthodologie : Visite de six ministères, rencontre avec des personnes-ressources et analyse des pratiques évaluatives des différents ministères.

Organisme client : Sûreté du Québec. Mandat : Évaluer si l’application de l’Entente de services policiers a contribué à augmenter la sécurité routière et déterminer si les ressources prévues pour réaliser l’entente suffisent. Méthodologie : Analyse de données administratives, compilation de données relatives à la sécurité routière, constitution de groupes témoins et mesures statistiques visant à évaluer avec précision l’impact de l’entente sur la sécurité routière.

Organisme client : Curateur public du Québec. Mandat : Vérifier si l’information diffusée et la formation offerte dans le cadre de la Loi sur le Curateur public ont eu l’effet désiré auprès des intervenants du réseau sociosanitaire. Méthodologie : Entrevues avec des personnes-ressources et enquête postale auprès de 710 représentants du réseau sociosanitaire.

Organisme client : Office des personnes handicapées du Québec (OPHQ). Mandat : Étudier le fonctionnement des programmes de travail, établir les facteurs qui déterminent les coûts liés à l’embauche d’une personne handicapée, définir les caractéristiques de la clientèle, mesurer l’efficacité des programmes selon leur impact auprès des participants, évaluer la pertinence des interventions selon les objectifs poursuivis et proposer certaines modifications aux programmes existants. Méthodologie : Enquête par questionnaire auprès de 455 personnes handicapées, visite de 20 centres de travail adapté et de 15 entreprises ordinaires qui embauchent des personnes handicapées, entrevues avec des directeurs de services externes de main-d’œuvre (SEMO), analyse financière des demandes de subventions, étude de dossiers et analyse des données administratives compilées par l’OPHQ.

Organisme client : Relations Couronne-Autochtones et Affaires du Nord Canada et Ministère des Affaires municipales et de l’Habitationet. Mandat : Description à venir.

Organisme client : Association québécoise des organismes de coopération internationale (AQOCI). Mandat : L’AQOCI, en partenariat avec le ministère de l’Immigration, de la Francisation et de l’Immigration (MIFI), souhaitait procéder à l’évaluation du fonctionnement, de l’efficience et des résultats des JQSI afin d’identifier des perspectives et des pistes d’amélioration pour les éditions futures. Sous la responsabilité d’un comité consultatif composé de représentants de l’AQOCI, du MIFI et de personnes déléguées des OCI, Sogémap devait assurer la mise en œuvre de cette évaluation. Méthodologie : La démarche de Sogémap s’est basée sur la collecte de données de nature qualitative et quantitative. Ainsi, afin de dresser le portrait le plus précis possible des particularités de chacun des milieux observés, plusieurs méthodes de collecte ont été utilisées : analyse documentaires, entrevues individuelles, sondages web, groupes de discussion, analyse de données statistiques sur les JQSI et questionnaires de satisfaction. Toutes ces étapes de collecte de données ont permis aux parties prenantes à tous les niveaux de contribuer au processus d’évaluation par leurs connaissances du terrain et des principaux enjeux. Les outils de collecte qui ont été utilisés dans le cadre de cette étude ont été approuvés au préalable par le comité de coordination.

Organisme client : ministère de l’Économie et de la Planification du Développement de la République du Tchad. Mandat : Organiser et animer un atelier de sensibilisation sur les pratiques de l’évaluation des projets et des programmes. Méthodologie : Une formation de quatorze heures sous forme d’ateliers a été préparée spécifiquement pour l’occasion. Cette formation s’adressait à des cadres de l’État tchadien et à des représentants d’ONG et d’organismes internationaux. Les thèmes abordés : 1) définition du suivi-évaluation et utilité; 2) reddition de comptes; 3) théorie du changement; 4) modèle logique; 5) performance des organisations; 6) indicateurs de performance; 7) parties prenantes à l’évaluation. La formation a été donnée par une formatrice et deux accompagnateurs étaient présents afin de s’assurer du bon déroulement de la formation.

Organisme client : Oxfam-Québec. Mandat : Oxfam-Québec souhaitait réorganiser son action au Québec afin que l’ensemble de ses programmes soit en adéquation et qu’ils répondent aux objectifs de développement durable (ODD). Pour ce faire, Oxfam-Québec désirait mesurer le degré d’atteinte des objectifs de développement durable, en prenant en considération les critères pour l’évaluation de l’aide au développement, soit la pertinence, l’efficacité, l’efficience, de même que l’impact et la durabilité des programmes au Québec. Méthodologie : La démarche évaluative était composée d’une analyse descriptive et d’une analyse évaluative. L’analyse descriptive a consisté à présenter les différents programmes et leur logique de fonctionnement alors que l’analyse évaluative consiste à traiter cette information dans une perspective évaluative, c’est-à-dire en ce qui concerne la mise en œuvre, la pertinence, l’efficacité, l’efficience, les effets (impacts) et la durabilité. L’analyse s’est basée sur une collecte de données de nature qualitative et quantitative. Ainsi, afin de dresser le portrait le plus précis possible des activités des programmes, plusieurs méthodes de collecte ont été utilisées : revue documentaire, entrevues individuelles, sondages Web et groupes de discussion.

Organisme client : Primature du Sénégal. Mandat : Offrir à une trentaine de cadres et de hauts fonctionnaires une formation en suivi et évaluation de politiques et programmes de développement. Méthodologie : Une formation de quatorze heures sous forme d’ateliers a été préparée spécifiquement pour l’occasion. Cette formation tenait compte des réalités sénégalaises actuelles en suivi et évaluation. Les thèmes abordés sont : 1) définition du suivi-évaluation et utilité; 2) reddition de comptes; 3) théorie du changement; 4) modèle logique; 5) performance des organisations; 6) indicateurs de performance; 7) parties prenantes à l’évaluation. La formation a été donnée par une formatrice et trois accompagnateurs étaient présents afin de s’assurer du bon déroulement de la formation. Un invité est également venu présenter la réalité du suivi et de l’évaluation de politiques publiques au Burkina Faso.

Organisme client : Centre de collaboration nationale sur les politiques publiques. Mandat :  Selon les directives du secrétariat des centres, une évaluation externe du CCNPPS était prévue pour l’année de contribution 2017-2018. Le rapport d’évaluation devait présenter la méthodologie de l’évaluation, incluant les questions d’évaluation, les activités réalisées par le CCNPPS, les produits et services quant à la réalisation des activités, le fonctionnement de l’organisation, puis les effets produits au cours des années de l’entente de contribution. Méthodologie : La démarche évaluative comportait deux approches, soit une approche globale et une approche spécifique. L’approche globale a permis de présenter une vue d’ensemble de la mise en œuvre des activités du CCNPPS au cours de l’année 2017-2018. Elle s’est principalement intéressée à l’analyse de l’ensemble des activités qui ont été déployées au cours de l’année 2017-2018. Cette analyse a nécessité la réalisation d’une revue documentaire, des entrevues individuelles (membres du personnel) et l’analyse de données secondaires (sondages internes, évaluation post-formation, etc.). L’approche spécifique, quant à elle, a porté sur des études de cas et a permis d’analyser, de façon plus détaillée, l’utilisation et les mécanismes d’influence de produits spécifiques. Les cas ont été sélectionnés, d’après certains critères, de façon à représenter les principaux types de produits selon la thématique, le secteur touché et la clientèle visée (locale, régionale, nationale, etc.).

Organisme client : Développement économique Canada (DEC). Mandat : Le Programme de développement des collectivités (PDC) est un programme pancanadien mis en œuvre par les agences de développement régional pour appuyer des organismes de développement des collectivités bénéficiaires. Au Québec, ce programme finance 56 SADC et 10 CAE qui offrent des services financiers aux PME sous forme de prêts, de capitaux propres et de garanties de prêts pour le démarrage, l’expansion ou la stabilisation de l’entreprise. Dans le cadre des enjeux fondamentaux prescrits par la Politique d’évaluation du Secrétariat du Conseil du Trésor du Canada (2009), DEC voulait réaliser une évaluation sommative du PDC pour la période allant du 1er avril 2007 au 31 mars 2013. Cette évaluation portait sur la pertinence et le rendement du programme. Méthodologie : Dans le cadre de ce mandat, Sogémap a réalisé des entrevues en profondeur auprès des principaux partenaires (SADC, CAE, CLD et autres intervenants économiques régionaux et locaux) et gestionnaires du programme afin de documenter l’application du PDC, de connaître les besoins en matière de développement économique et d’obtenir la perception des acteurs sur la pertinence et le rendement du programme. Des études de cas ont également été réalisées dans trois régions afin d’approfondir certaines questions d’évaluation sur la pertinence et le rendement du programme.

Organisme client : Agence de développement économique Canada pour les régions du Québec. Mandat : L’Initiative est régie par les modalités du programme Diversification des collectivités. DEC s’était engagé auprès du Conseil du Trésor à effectuer une évaluation formative en 2010, soit une année après l’implantation de l’Initiative. L’évaluation devait donc porter principalement sur la mise en œuvre de l’Initiative, tout en observant et en analysant les premiers résultats obtenus à ce jour, afin de déterminer si l’Initiative était est en mesure d’atteindre les objectifs prévus. Dans le cadre de l’évaluation de mise en œuvre, une attention particulière a été portée sur les effets des actions prises par DEC pour limiter certains risques liés à : l’ampleur et la complexité des projets, les dépassements des coûts, les délais possibles de réalisation, les pressions financières pour les coûts d’exploitation et l’expérience des promoteurs des escales. Méthodologie : Après avoir élaboré le cadre d’évaluation (matrice), la méthodologie a consisté en une revue de la documentation sur l’industrie de la croisière internationale, une analyse de données existantes sur les projets financés et les demandes de financement reçues par DEC, et des entrevues en profondeur auprès du personnel de DEC (concepteur de l’Initiative, représentants des bureaux régionaux), des promoteurs de projets liés à la croisière internationale de même qu’auprès d’observateurs du milieu.

Organisme client : Agence de développement économique Canada. Mandat : L’évaluation périodique du fonctionnement du CCPS est fortement recommandée dans les lignes directrices portant sur les comités consultatifs patronaux-syndicaux du Secrétariat du Conseil du trésor. La Direction des ressources humaines de l’Agence a donc donné un mandat d’évaluation qui avait pour objectif de mesurer la pertinence et l’efficacité du CCPS. Des pistes d’amélioration devaient également être proposées à la lumière des résultats recueillis. Méthodologie : Une enquête en ligne (Internet) auprès de l’ensemble des employés de l’Agence, des entrevues en profondeur (auprès des membres des parties patronale et syndicale du CCPS, du directeur des ressources humaines, du sous-ministre et de deux sous-ministres adjoints et des membres d’autres comités de l’Agence) et une revue de la documentation portant sur le CCPS.

Organisme client : Agence de santé publique du Canada. Méthodologie : L’approche pédagogique privilégiée est l’assimilation de connaissances théoriques et leur actualisation dans des situations concrètes à l’Agence. Le lien entre la théorie et la pratique est assuré par des discussions et des mises en situation qui amènent les participants à réfléchir sur l’utilité des concepts et d’un modèle d’évaluation des programmes publics. Ainsi, le cours propose une combinaison de méthodes pédagogiques : exposés magistraux, lectures complémentaires, exemples de cas d’évaluation et exercices en classe. Les participants sont également appelés à réaliser un cadre logique lié à leur domaine d’intervention (un projet de leur choix).

Organisme client : Développement économique Canada. Mandat : Présenter le portrait et la situation de quelques entreprises ayant obtenu un diplôme du Centre québécois d’innovation en biotechnologie (CQIB). Méthodologie : Entrevues individuelles auprès d’entreprises bénéficiant des services du CQIB.

Organisme client : Développement économique Canada. Mandat : Offrir une formation adaptée aux besoins des SADC et répondre aux préoccupations de Développement économique Canada dans le cadre de la gestion axée sur les résultats. Méthodologie : Élaboration d’une formation d’une journée avec analyse de cas.

Organisme client : Développement économique Canada. Mandat : Évaluer la pertinence et la mise en œuvre du programme et proposer des recommandations en vue d’améliorer les interventions liées aux subventions du programme. Méthodologie : Étude de dossiers de projets ayant été réalisés dans le cadre du programme, revue de la documentation administrative, entrevues individuelles auprès de représentants du siège social de DEC, de représentants de DEC au bureau de Gaspé, de représentants du ministère du Développement économique et régional (MDER), de partenaires des SADC, de promoteurs de projets et revue de la documentation administrative.

Organisme client : Développement économique Canada. Mandat : Constituer une étude de cas visant à faire ressortir les retombées de l’intervention financière de DEC dans le CQIB. Méthodologie : Revue de la documentation sur le secteur de la biotechnologie au Québec, analyse de la documentation produite par le CQIB et entrevues individuelles auprès de la direction du CQIB, de ses partenaires et de représentants d’entreprises bénéficiant des services du CQIB.

Organisme client : Développement économique Canada. Mandat : Fournir à l’Équipe rurale du Québec des renseignements sur le déroulement des activités, sur les problèmes éprouvés de même que sur la participation des organismes partenaires dans la mise en œuvre de l’approche horizontale du plan d’action interministériel. Méthodologie : Organisation de groupes de discussion auprès des représentants de l’Équipe rurale du Québec, des coordonnateurs régionaux et des membres des tables régionales (Abitibi-Témiscamingue, Bas-Saint-Laurent, Estrie, Montérégie), analyse des données administratives compilées par les coordonnateurs régionaux et production d’un rapport d’analyse permettant à l’Équipe rurale du Québec de réorienter ses actions futures.

Organisme client : Développement économique Canada. Mandat : Aider la prise de décision quant au renouvellement du financement de Bioagral, à la reddition de comptes et à la contribution à apporter dans l’intervention de Développement économique Canada en biotechnologie. Méthodologie : Revue de la documentation sur le secteur de la biotechnologie au Québec, analyse de la documentation concernant Bioagral et réalisation d’entrevues approfondies avec des représentants du conseil d’administration de l’organisme, des partenaires liés au développement de projets, des personnes-ressources du milieu des biotechnologies et des entreprises du secteur, dans le but de produire un rapport d’évaluation sur la pertinence, l’efficacité et l’efficience du projet.

Organisme client : Développement des ressources humaines Canada (DRHC). Mandat : Évaluer la mise en œuvre de l’Entente aux niveaux provincial et local et présenter des recommandations afin d’améliorer le processus de référence de la clientèle vers les Centres locaux d’emploi (CLE). Méthodologie : Analyse des ententes fédérales-provinciales aux niveaux provincial et local, analyse des dispositifs de repérage des clientèles ciblées, analyse des données administratives sur la référence des clientèles aux CLE, entrevues individuelles auprès de gestionnaires et de personnes-ressources à DRHC, dans les Centres de ressources humaines du Canada (CRHC), dans les CLE et à Emploi-Québec, et groupes de discussion auprès du personnel des CRHC.

Organisme client : Développement des ressources humaines Canada. Mandat : Évaluer l’impact du projet sur l’emploi et l’économie de la région, analyser la gestion du Fonds et déterminer si le projet est exportable dans d’autres localités. Méthodologie : Analyse du processus de mise en œuvre du projet, réalisation d’entrevues individuelles auprès des différents intervenants concernés, réalisation d’une enquête téléphonique auprès des 30 employeurs participants, analyse des données administratives relatives aux subventions accordées et analyse socioéconomique de la région.

Organisme client : Réseau Circum inc. (Mandat réalisé pour le compte de Développement économique Canada) Mandat : Collecte de données auprès des associations touristiques régionales. Méthodologie : Élaboration des grilles de collecte de données, suivi auprès des associations touristiques, analyse des données et réalisation de tableaux synthèses.

Organisme client : Développement des ressources humaines Canada. Mandat : Évaluer l’impact financier et administratif du projet sur les services à la clientèle (travailleurs et employeurs) et sur le personnel du Centre de ressources humaines du Canada (CRHC) et présenter des recommandations quant à la faisabilité du projet dans d’autres CRHC. Méthodologie : Étude comparative avec un CRHC témoin, entrevues avec des gestionnaires de CRHC, groupes de discussion auprès du personnel, entrevues téléphoniques auprès de 1450 prestataires de l’assurance-emploi et de 400 employeurs et analyse de données administratives relatives à la clientèle.

Organismes clients : Développement des ressources humaines Canada et Centre de ressources humaines du Canada de Saint-Jérôme. Mandat : Évaluer et mesurer les résultats obtenus à la suite de la signature des contrats Guichet régional (projet visant une clientèle de jeunes diplômés âgés de 18 à 30 ans) et Projet Jeunesse (projet visant une clientèle de jeunes non diplômés âgés de 18 à 30 ans). Méthodologie : Entrevues individuelles avec les membres du personnel du CRELLL et du CRHC, analyse des ententes de service conclues, enquête téléphonique auprès de 100 participants au projet et groupes de discussion.

Organismes clients : Développement des ressources humaines Canada et Centre de ressources humaines du Canada du Nord-Ouest de Montréal. Mandat : Décrire les services offerts par AIM-CROIT, présenter le profil de la clientèle rejointe par l’organisme, mesurer l’impact sur le placement et estimer le rendement des ressources financières investies par le CRHC dans l’entente avec AIM-CROIT. Méthodologie : Entrevues avec des gestionnaires et des membres du personnel d’AIM-CROIT, analyse des services offerts par AIM-CROIT et enquête téléphonique auprès de 160 personnes handicapées ayant bénéficié des services d’AIM-CROIT.

Organismes clients : Développement des ressources humaines Canada et Centre de ressources humaines du Canada du Nord-Ouest de Montréal. Mandat : Décrire les services offerts par l’organisme Mode d’emploi, présenter le profil de la clientèle rejointe par l’organisme, mesurer l’impact sur le placement et estimer le rendement des ressources financières investies par le CRHC dans l’entente avec Mode d’emploi. Méthodologie : Entrevues avec des gestionnaires et des membres du personnel de l’organisme Mode d’emploi, analyse des services offerts par l’organisme et enquête téléphonique auprès de 100 personnes handicapées ayant bénéficié des services de l’organisme.

Organisme client : Développement des ressources humaines Canada. Mandat : Mesurer l’impact du projet sur la situation en emploi des personnes dirigées par le CRHC vers l’organisme Cible retour à l’emploi, estimer le coût moyen de chaque intervention et établir la pertinence du projet relativement aux objectifs poursuivis. Méthodologie : Entrevues avec des responsables du projet au CRHC et des membres du personnel du club de recherche d’emploi, enquête téléphonique auprès de 210 prestataires de l’assurance-emploi, évaluation des services offerts, analyse de l’entente de service conclue et groupes de discussion avec les participants.

Organisme client : Développement des ressources humaines Canada. Mandat : Mesurer l’impact du projet sur la situation en emploi des personnes ayant reçu des services individualisés d’employabilité, estimer le coût moyen de chaque intervention et établir la pertinence du projet par rapport aux objectifs visés. Méthodologie : Entrevues avec des responsables du projet au CRHC et des partenaires impliqués dans le projet, enquête téléphonique auprès de 220 prestataires de l’assurance-emploi, évaluation des services offerts et analyse des ententes de service conclues avec les partenaires.

Organisme client : Développement des ressources humaines Canada. Mandat : Mesurer l’impact du projet sur la situation en emploi des personnes ayant reçu une subvention salariale qui leur a permis d’acquérir une expérience de travail, estimer le coût moyen de chaque intervention et établir la pertinence du projet relativement aux objectifs poursuivis. Méthodologie : Entrevues avec des responsables du projet au CRHC, enquête téléphonique auprès de 50 prestataires de l’assurance-emploi et analyse des contrats établis avec les employeurs.

Organisme client : Développement des ressources humaines Canada. Mandat : Mesurer l’impact de l’entente, estimer le coût moyen de l’intervention et établir la pertinence du projet par rapport aux objectifs poursuivis. Méthodologie : Entrevues avec des responsables du projet au CRHC et à la SDE de la Rive-Sud, enquête téléphonique auprès de 40 dirigeants d’entreprises ayant participé au projet et analyse de l’entente de service conclue.

Organisme client : Développement des ressources humaines Canada. Mandat : Mesurer l’impact du projet sur la situation en emploi des personnes ayant suivi les cours d’anglais, évaluer les ententes de partenariat, estimer le coût moyen de chaque intervention et établir la pertinence du projet en regard des objectifs poursuivis. Méthodologie : Entrevues avec des responsables du projet au CRHC et avec des partenaires (commission scolaire, cégep et entreprises privées), enquête téléphonique auprès de 80 prestataires de l’assurance-emploi et analyse des ententes de service conclues avec les partenaires.

Organisme client : Développement des ressources humaines Canada. Mandat : Mesurer l’impact du projet sur la situation en emploi des personnes ayant acquis une expérience de travail dans un organisme communautaire, estimer le coût moyen de chaque intervention, évaluer les ententes de partenariat et établir la pertinence du projet selon les objectifs poursuivis. Méthodologie : Entrevues avec des responsables du projet au CRHC, groupes de discussion composés des responsables des organismes communautaires et d’anciens participants au projet, enquête téléphonique auprès de 80 prestataires de l’assurance-emploi et analyse des ententes de service conclues avec les partenaires.

Organisme client : Développement des ressources humaines Canada. Mandat : Les ICMT sont nées d’une volonté de DRHC d’améliorer les résultats des programmes de développement de l’emploi et d’accroître l’efficacité des services offerts avant l’entrée en vigueur de la Loi sur l’assurance-emploi. Dans cette optique, l’évaluation devait constituer une source d’information visant, d’une part, à renseigner les décideurs sur les résultats obtenus dans le cadre des projets réalisés et, d’autre part, à leur permettre de tirer des conclusions quant à la valeur des projets. Méthodologie : Revue de la documentation disponible sur les projets et l’ICMT, enquête téléphonique auprès de prestataires de l’assurance-emploi participants et non participants aux projets (1100 répondants), enquête auprès d’entreprises participantes (55 répondants), entrevues et groupes de discussion auprès de responsables de projets et de partenaires, et rencontres de gestionnaires et d’employés des CRHC concernés (Montréal Sud-Ouest, Montréal Centre-Est, Est de Montréal, Sainte-Agathe, Longueuil et Jonquière).

Organisme client : Service du développement économique, Direction de la mise en valeur des pôles économiques, Ville de Montréal. Mandat : Dans le cadre de ses priorités 2024, le Service de développement économique de la Ville de Montréal (SDÉ) décidait de mettre en œuvre plusieurs plans stratégiques, parmi lesquels figurait celui de la révision et de l’évaluation de ses programmes de financement. Afin de favoriser une adhésion à l’implantation de l’évaluation des programmes, le SDE souhaitait être accompagné dans la préparation d’un premier cadre d’analyse et de deux cadres d’évaluation. Le cadre d’analyse portait sur le Programme de soutien aux sociétés de développement commercial (SDC) et associations de commerçants affectées par les chantiers. Les cadres d’évaluation portaient sur le programme Subvention aux entreprises pour l’installation de bornes de recharge électrique et sur le programme Commerce-Montréal. Méthodologie : Sogémap a accompagné la responsable de l’évaluation dans la finalisation d’un cadre d’analyse et de deux cadres d’évaluation. Pour ce faire, les documents sur les programmes ont été analysés. Ensuite, des suggestions ont été faites sur le document produit par la responsable de l’évaluation.

Organisme client : Centre d’expertise Marie-Vincent. Mandat : Le Centre offre des activités de formation en matière de violence sexuelle et de comportements problématiques aux professionnels du réseau de la santé et des services sociaux et des organismes communautaires associés qui interagissent auprès des jeunes entre 0 et 17 ans. Ces formations étaient offertes depuis une dizaine d’années sous diverses formes (webinaires, formations en ligne ou en présence et cyberformations) par le ministère de la Santé et des Services sociaux (MSSS). C’est d’ailleurs en raison du renouvellement de cette entente avec le MSSS, prévue en 2024, que le Centre souhaitait connaître les effets de ces formations. Méthodologie : Afin de réaliser l’évaluation des formations et de porter un jugement adéquat sur leurs effets, Sogémap a utilisé une approche rigoureuse répondant aux normes en vigueur en matière d’évaluation de programme. L’évaluation a été réalisée selon une approche participative qui favorise l’équité entre les genres et qui inclut toutes les parties prenantes. Dans un premier temps, une analyse de la documentation et des données administratives sur les formations des entretiens individuels auprès de l’équipe de formation (chargées de projets et formatrices) et de participants et participantes aux formations a été effectuée. Dans un deuxième temps, un sondage web a été réalisé auprès des participantes et participants aux différentes formations. Les renseignements obtenus ont permis de collecter de l’information à propos des besoins et des effets observés en lien avec la participation. Le rapport a proposé des pistes d’amélioration de l’offre de formations afin qu’elle réponde davantage aux besoins de la clientèle.

Organisme client : Ville de Montréal, Direction de la mise en valeur des pôles économiques, Service du développement économique. Mandat : Au fil des ans, le Service du développement économique de la Ville de Montréal a mis en œuvre un nombre important de programmes visant à soutenir les entreprises montréalaises et à développer le territoire. Dans le but de répondre à des besoins toujours plus précis, il devenait impératif d’entamer une réflexion sur la pertinence et l’alignement de tous ses programmes de subvention. Méthodologie : Au total, 13 programmes ont été évalués. Dans un premier temps, Sogémap a procédé à la validation des composantes des modèles logiques des programmes en matière de fondements (raison d’être, cible, objectifs), de mise en œuvre (ressources, activités et extrants) et de résultats (effets anticipés à court, moyen et long termes). Dans un deuxième temps, la pertinence des programmes a été analysée. Afin d’orienter l’analyse, trois questions ont été définies : 1) Les analyses réalisées concernant les besoins et le contexte justifient-elles que la Ville intervienne ou continue à intervenir? 2) La nature de l’intervention est-elle la plus appropriée pour atteindre les objectifs de l’intervention, compte tenu du cadre légal et des compétences de la Ville de Montréal? 3) Existe-t-il des chevauchements avec d’autres programmes publics qui visent des besoins similaires? Pour répondre à ces questions, des entrevues ont été réalisées auprès des responsables des programmes, des groupes de discussion ont été menés auprès des utilisateurs de ses programmes (commerçants ou représentants d’entreprises) et une revue de la documentation sur les problématiques visées et sur les programmes québécois et canadiens existants a été effectuée. Pour chacun des programmes, des recommandations ont été faites en vue de les améliorer ou de les abolir.

Organisme client : Association québécoise de la garde scolaire. Mandat : Description à venir.

Organisme client : Loisirs, sports et développement des communautés, Ville de Gatineau. Mandat : La direction Loisirs, sports et développement des communautés souhaitait évaluer l’accessibilité de ses programmes aux activités de loisir, de sport et de culture. Ces programmes avaient été mis en œuvre en 2014 et certains enjeux de cohérence et d’efficacités semblaient exister. Méthodologie : Sogémap a proposé une analyse approfondie des trois programmes. La première étape a consisté à analyser les fondements des programmes, soit leur raison d’être, leurs objectifs, leur clientèle cible, la nature de leurs interventions et les ressources financières investies. La deuxième étape a consisté à analyser le fonctionnement des programmes, leurs effets et leur efficience. À la lumière de ces analyses, des recommandations ont été proposées en vue de bonifier l’intervention de la Ville de Gatineau en matière d’accessibilité aux loisirs pour les personnes en situation de faible revenu. Dans le cadre du mandat, Sogémap a procédé à une revue de la documentation sur les programmes, analysé les données financières et réalisé des entrevues individuelles et des groupes de discussion auprès de représentants de la Ville de Gatineau de même qu’auprès d’organismes du milieu travaillant auprès de personnes en situation de faible revenu.

Organisme client : Fondation de la faune du Québec. Mandat : L’évaluation s’est réalisée dans un contexte de révision de programme. Le Programme de gestion intégrée des ressources naturelles pour l’aménagement durable de la faune en milieu forestier (GIR) existait depuis plus de dix ans et plusieurs changements avaient eu lieu depuis sa création en matière de gestion intégrée des ressources et de l’aménagement forestier durable sur les terres du domaine de l’État. Il était donc important que le rapport d’évaluation puisse présenter un état de la situation précis quant aux effets du programme et que les conclusions et les recommandations puissent servir d’aide à la prise de décision sur les orientations que doivent prendre le programme et les modifications qui doivent être apportées à son fonctionnement. L’évaluation devait également tenir compte des engagements de la Fondation en matière d’évaluation (cadre normatif du programme et entente financière) et la démarche évaluative devait être conforme aux exigences du Secrétariat du Conseil du trésor. Méthodologie : En fonction des besoins de la Fondation, l’évaluation a porté sur la pertinence, la mise en œuvre et l’efficacité du programme. Avant de procéder à l’évaluation, un cadre d’évaluation a été rédigé. Ce cadre a décrit le programme GIR et sa logique d’intervention, précisé la stratégie d’évaluation et soumis un échéancier des travaux à réaliser. Nous avons adopté diverses méthodes pour collecter des informations : examen de la documentation sur le programme, analyse des projets financés, entretiens individuels avec des représentants de la Fondation et du ministère des Ressources naturelles et de la Faune, entretiens avec des spécialistes du milieu, entretien avec des partenaires fauniques et un sondage en ligne auprès d’organismes ayant soumis une demande de financement dans le cadre du programme. Le rapport produit était composé d’une partie descriptive présentant le GIR et son fonctionnement, ainsi que d’une partie analytique analysant les informations recueillies en matière de pertinence, de mise en œuvre et d’effets. Des recommandations ont été proposées afin de bonifier le programme.

Organisme client : Service de la diversité et de l’inclusion sociale de la Ville de Montréal.

Mandat : Après plusieurs années de fonctionnement, le Service de la diversité et de l’inclusion sociale de la Ville de Montréal souhaitait évaluer et réviser trois programmes d’accessibilité en loisir. Étant donné que le mandat s’est donné dans un contexte de révision des programmes, il devait couvrir plusieurs enjeux afin d’alimenter la prise de décision quant aux modifications à apporter aux programmes. L’évaluation devait couvrir les enjeux de la pertinence des programmes, de leur efficacité, de leur synergie (complémentarité, cohérence), de leur efficience, de leur gestion et de leurs impacts sociaux.

Méthodologie : Tout le processus de la démarche méthodologique a pris en considération les principes de l’accessibilité universelle et l’analyse différenciée selon les sexes dans une perspective intersectorielle (ADS+). La démarche de collecte avait pour objectif de recueillir des renseignements de nature qualitative et quantitative afin de documenter les six enjeux de l’évaluation, soit : la pertinence, l’efficacité, les synergies, l’efficience, la gestion et l’impact social. La démarche était basée sur cinq stratégies : revue documentaire, collecte de données administratives et de programmes, entrevues individuelles auprès de municipalités de l’Île, de la Ville de Montréal et d’experts du milieu, groupes de discussion auprès de représentants d’arrondissement et sondage en ligne auprès de l’ensemble des organismes de loisir qui bénéficient des programmes de la Ville.

Organisme client : Loisirs, sports et développement des communautés, Ville de Gatineau. Mandat : Après 20 ans d’application, la Ville de Gatineau souhaitait revoir son programme de surveillance des parcs en vue de l’améliorer et de l’adapter à la situation et aux problématiques d’aujourd’hui. Sogémap a proposé un mandat dont les enjeux d’évaluation portaient sur l’analyse des fondements du programme, de sa mise en œuvre, de ses effets et de son efficience. Méthodologie : Le mandat a consisté dans un premier temps à rédiger un devis d’évaluation présentant une première version du modèle logique, la méthodologie de collecte de renseignements et les questions d’évaluation. Par la suite, Sogémap a procédé à une revue documentaire sur le programme, à une analyse des données de gestion, à des consultations auprès de représentants de la Ville et à l’animation de groupes de discussion réunissant des organismes du milieu et des surveillants de parcs. Le rapport d’évaluation a fait un rappel des fondements du programme, a décrit son fonctionnement et les problèmes rencontrés, identifié les résultats obtenus et proposé des recommandations en vue d’orienter les activités du programme en fonction des besoins de la Ville et de la situation dans les parcs.

Organisme client : Équiterre. Mandat : Équiterre souhaitait être accompagnée d’un expert en évaluation pour répondre aux exigences du bailleur de fonds (le ministère de l’Environnement et de la Lutte contre les changements climatiques) et instaurer un système de suivi-évaluation. De façon plus précise, le mandat consistait à concevoir un plan de suivi et d’évaluation du projet, à créer des outils de collecte de données par sondage et à soutenir l’organisation dans la réalisation de rapports de suivi annuels et de rapports d’évaluation. Méthodologie : Le processus de consultation a consisté à développer un plan de suivi et d’évaluation du projet qui a été soumis au ministère de l’Environnement et de la Lutte contre les changements climatiques. Ce plan a fait état de la description du projet, du plan de suivi et d’évaluation pour les années de mise en œuvre, du type d’évaluation à réaliser, des méthodes de collecte et des parties prenantes au projet. Une matrice d’évaluation incluant les indicateurs, les outils de mesure et un calendrier de réalisation a également été développée.

Organismes clients : Unité de soutien SRAP du Québec et Université de Montréal. Mandat : L’évaluation finale de l’Unité a été réalisée dans un contexte bien précis, soit à la fin d’une période de financement et à la fin d’un processus évaluatif qui comportait une évaluation de mi-mandat en 2017. Au moment de l’évaluation, le programme était en extension (avec financement additionnel) pour la sixième année de l’accord de financement et l’Unité préparait sa demande de renouvellement auprès des IRSC. L’objectif principal de l’évaluation était de fournir un rapport détaillé et indépendant, incluant des conclusions et des recommandations, sur l’ensemble des activités de l’Unité pour toute la période allant de 2014 à 2020. Méthodologie : L’évaluation a porté sur deux enjeux : l’analyse de la mise en œuvre et l’analyse de l’efficacité des activités de l’Unité. Pour ce faire, nous avons procédé à une revue de la documentation, une analyse des données internes sur les activités, une étude de cas, des entrevues individuelles (direction, personnel, représentants des constituantes dans les quatre facultés de médecines, chercheurs et représentants des bailleurs de fonds) et un sondage Web auprès de la clientèle.

Organisme client : Service de la diversité et de l’inclusion sociale, division de la lutte contre la pauvreté et l’itinérance, Ville de Montréal. Mandat : Plusieurs changements ayant eu lieu au cours des dernières années en matière de sécurité et de gouvernance entre les arrondissements, la Ville a jugé opportun de procéder à l’évaluation de son programme Tandem. L’évaluation visait trois objectifs : repositionner Tandem à la lumière des besoins qui évoluent; soutenir la prise de décision quant à la révision des orientations et paramètres de mise en œuvre du programme; utiliser les résultats dans l’élaboration d’une vision intégrée et rassembleuse de la sécurité urbaine et de la prévention de la criminalité à Montréal pour les cinq prochaines années. Méthodologie : La démarche évaluative s’est basée sur la collecte de données de nature qualitative et quantitative. Afin de dresser le portrait le plus précis possible des particularités de chacun des milieux observés, plusieurs méthodes de collecte ont été utilisées : entrevues individuelles, sondage Web, groupes de discussion et analyse de données statistiques sur le programme. Toutes ces étapes de collecte de données ont permis aux parties prenantes à tous les niveaux de contribuer au processus d’évaluation par leurs connaissances du terrain et des principaux enjeux. Les renseignements recueillis ont permis d’analyser les fondements de Tandem, de décrire son fonctionnement, de déterminer l’atteinte des objectifs, de mesurer la satisfaction des parties prenantes et d’analyser la gouvernance.

Organisme client : Ville de Montréal, direction du Service de la diversité et de l’inclusion sociale Mandat : La direction du Service de la diversité et de l’inclusion sociale de la Ville de Montréal souhaitait offrir aux membres de son personnel-cadre et à quelques employés une formation sur la mesure en suivi-évaluation. L’objectif de cette formation était de permettre aux participants de mieux comprendre l’évaluation d’effets (impacts), de constater comment la mesure de suivi et évaluation peut s’appliquer aux programmes et projets dont le Service de la diversité et de l’inclusion sociale est responsable et, ultimement, de permettre à son personnel d’avoir un langage commun sur le sujet. Méthodologie : Afin de répondre aux attentes du mandant, Sogémap a proposé une formation de 12 heures réparties en quatre séances de trois heures chacune : construire un système de suivi-évaluation axé sur la mesure des résultats; identifier les résultats à suivre et à évaluer; établir un système de mesure; analyser et interpréter des résultats (extrants et effets). Chacune des séances était constituée de présentations théoriques, de périodes de discussion et de travail en sous-groupe sur des projets et politiques de la Ville de Montréal.

Organisme client : Vélo Québec Association. Mandat : Dans le cadre de la mise en œuvre du programme Mouvement Vélosympathique, Vélo Québec souhaitait procéder à l’évaluation de son implantation. Ce type d’analyse devait permettre d’obtenir une vision plus globale de l’état d’avancement de la mise en œuvre du programme. Le but de l’évaluation d’implantation était d’alimenter le processus de décision quant à la poursuite du programme et de s’assurer de son bon déroulement. Méthodologie : Afin de réaliser l’évaluation de l’implantation du programme, plusieurs méthodes de collecte de données ont été utilisées. Ainsi, des entrevues ont été menées auprès des différentes parties prenantes au processus d’implantation du programme (personnel du programme, personnes-ressources à Vélo Québec, bailleurs de fonds, juges et conseil d’administration). Six études de cas ont également été réalisées auprès de différents organismes et collectivités qui ont été certifiés par Vélo Québec. Finalement, les données d’un sondage effectué auprès de 82 entreprises ou villes participantes ont été analysées.

Organisme client : Vélo Québec Association. Mandat : Afin d’alimenter le processus d’évaluation et fournir des renseignements sur les effets de l’implantation du programme Cycliste averti, le mandat de Sogémap consistait à identifier les premiers résultats portant les impacts du programme : utilisation du vélo par les élèves, connaissances et comportements des élèves. Méthodologie : Plusieurs outils de collecte ont été utilisés pour colliger de l’information sur les indicateurs identifiés auprès des élèves, de leurs parents, des enseignants et des instructeurs. L’analyse et le traitement statistique ont été réalisés par Sogémap afin de permettre à Vélo Québec de présenter des résultats en vue de la préparation de son bilan annuel.

Organisme client : Vélo Québec. Mandat : L’analyse préliminaire d’implantation devait permettre de vérifier les actions mises en œuvre à ce jour dans le cadre du Programme en documentant les éléments suivants : rôles et responsabilités des membres du personnel dans le déroulement du programme; satisfaction du personnel; activités du plan d’action réalisées; déroulement des activités; difficultés rencontrées; éléments facilitants et transférables dans le fonctionnement du programme. Méthodologie : Afin de documenter l’implantation du programme, nous avons d’abord procédé à une analyse de la documentation sur celui-ci. Ensuite, nous avons rencontré les responsables du programme et de son fonctionnement : membres du personnel du programme Mouvement Vélosympathique (direction, chargé de projet, professionnels, autres), membres du personnel de Vélo Québec impliqués dans le projet (direction, professionnels, autres) et deux porteurs de dossiers certifiés (une organisation et une collectivité).

Organisme client : Ville de Gatineau. Mandat : Après quatre ans d’existence du Fonds de soutien de l’animation du centre-ville de Gatineau, la Ville a décidé de procéder à son évaluation afin de prendre une décision éclairée quant à son renouvellement. L’objectif du mandat était donc d’informer les gestionnaires de la Ville de Gatineau et les élus sur les résultats obtenus par le Fonds. De façon plus précise, le rapport d’évaluation devait répondre à deux questions : 1) Est-ce que le Fonds répond aux attentes du milieu? et 2) Est-ce que le Fonds atteint les objectifs qui avaient été fixés à son égard? Méthodologie : Les principaux enjeux de l’évaluation ont porté sur la mise en œuvre et l’efficacité du Fonds. Nous avons donc documenté le fonctionnement du Fonds (processus de traitement des demandes, mécanismes d’attribution du financement et reddition de comptes), décrit la nature des projets financés et documenté les résultats obtenus. Pour ce faire, nous avons procédé à l’analyse des données administratives sur le Fonds et consulté des acteurs du milieu, des représentants de la Ville de Gatineau, des élus municipaux et des organismes financés par le Fonds.

Organisme client : Association québécoise de la garde scolaire. Mandat :Le projet « Écollation » est un projet pilote qui existe depuis 2017. Ce projet est financé par le Ministère de la Santé et des Services sociaux (MSSS) dans le cadre de la Politique gouvernementale de prévention en santé. Il porte sur la distribution de collations de fruits et légumes aux jeunes fréquentant des écoles de milieux défavorisés (primaires et secondaires), incluant les élèves de quatre ans en maternelle. Le projet vise trois objectifs généraux, soit promouvoir la saine alimentation, réduire les inégalités sociales de santé chez les jeunes et répondre aux critères de développement durable. Le suivi évaluatif devait être en mesure de documenter et évaluer les trois phases du projet, soit l’implantation, la mise en œuvre et le suivi de la mise en œuvre (résultats). Méthodologie : Le processus de suivi et d’évaluation se divise en deux volets, soit le volet d’implantation et le volet des effets. L’évaluation a permis de documenter certains éléments du portrait de la situation afin d’identifier les besoins et les façons d’intervenir, la mise en œuvre du projet pilote et son application, et ce, selon les différentes réalités des régions sélectionnées dans le cadre du projet pilote. Elle a permis de documenter les bonnes pratiques et les difficultés rencontrées dans l’implantation du projet pilote dans les régions. La méthodologie utilisée pour répondre aux questions d’évaluation, et pour suivre le projet pilote dans les différentes régions, était constituée d’une combinaison de méthodes qualitatives et quantitatives. Ces méthodes ont requis l’utilisation de différents outils de collecte tels que des documents sur le projet, des entrevues, des visites de terrain, des données administratives, des questionnaires, des grilles d’observation et d’un journal de bord.

Organisme client : Service de la culture de la Ville de Montréal Mandat : Dans le cadre du renouvellement de l’Entente sur le développement culturel de Montréal, la Ville de Montréal désirait connaître les résultats obtenus par les principaux programmes financés dans le cadre de cette entente. L’objectif de l’évaluation était de permettre aux gestionnaires de prendre des décisions éclairées quant au renouvellement des programmes ou leurs modifications dans le cadre de la prochaine entente de financement. Méthodologie : La démarche évaluative a permis d’analyser chacun des programmes en documentant les fondements de ceux-ci, leur fonctionnement et les résultats obtenus. Pour ce faire, une analyse de la documentation et des données administratives de chacun des programmes a été effectuée. Par la suite, des entrevues en profondeur ont été réalisées auprès des responsables de programmes à la Ville de Montréal, de professionnels au ministère de la Culture et des Communications et de représentants d’organismes financés.

Organisme client : Comité sectoriel de main-d’œuvre des services automobiles Mandat : Le projet était financé par un programme de Condition féminine Canada visant l’avancement des femmes dans l’industrie automobile par le biais de l’implantation d’un modèle de mentorat ou de marrainage/parrainage. Plus précisément, quatre métiers ont été ciblés, soit : les mécaniciennes, les carrossières, les commis aux pièces et les conseillères techniques. Dans le cadre du projet, Condition féminine Canada exigeait l’embauche d’un évaluateur afin de superviser le déroulement et le bon fonctionnement du processus d’évaluation selon des critères prédéfinis.  Méthodologie : L’approche retenue était de type participatif. Dans un premier temps, les travaux ont consisté à accompagner le comité sectoriel dans l’élaboration d’un plan d’évaluation à partir du plan type (cadre d’évaluation) de Condition féminine Canada. Ce cadre d’évaluation contenait un modèle logique, les indicateurs à mesurer, les méthodes de mesure, un calendrier de réalisation et les outils de collecte de renseignements. Sogémap inc. a ensuite accompagné le comité sectoriel dans la collecte des renseignements sur les résultats du projet, analysé les renseignements recueillis, puis rédigé un rapport d’évaluation.

Organismes clients : Avenir d’enfants et Conférence régionale des élus de la Côte-Nord Mandat : Cette évaluation a été réalisée dans un contexte où le plan d’action régional prenait fin et qu’il y avait la possibilité qu’il soit renouvelé dans une forme différente lors de la mise en œuvre du troisième Plan d’action gouvernemental en matière de lutte à la pauvreté et l’exclusion sociale. Le mandat d’évaluation se voulait donc l’occasion de faire un bilan du PARSIS afin de prendre enseignement de l’expérimentation et de permettre aux membres du comité régional PARSIS d’amorcer une réflexion sur la suite à donner à ce plan d’action régional. Méthodologie : L’approche retenue était de type participatif. Un cadre d’évaluation a d’abord été rédigé et discuté avec les représentants des partenaires régionaux. Ce cadre d’évaluation contenait un modèle logique, une stratégie d’évaluation, des questions d’évaluation et les outils de collecte. Une fois le cadre d’évaluation rédigé, une démarche de type formatif a été réalisée. La démarche de collecte de renseignements a porté sur une analyse de la documentation sur le PARSIS et son plan d’action, un sondage Web auprès des acteurs locaux et des entrevues en profondeur auprès de tous les acteurs régionaux de même qu’auprès de l’agent de liaison.

Organismes clients : Avenir d’enfants et regroupement Manicouagan, on s’attache Mandat : Manicouagan, on s’attache est un regroupement d’acteurs œuvrant directement ou indirectement auprès d’enfants de 0 à 5 ans afin d’établir un plan d’action territorial, basé sur l’approche de soutien des communautés locales d’Avenir d’enfants. Au moment où nous avons réalisé l’évaluation, 14 organismes et une consultante jeunesse faisaient partie du regroupement. Après avoir accompagné le regroupement dans l’élaboration d’un cadre d’évaluation, Sogémap a reçu le mandat d’évaluer la concertation. Méthodologie : Une démarche de type formatif a été utilisée pour réaliser l’évaluation du regroupement. Ce type d’évaluation consiste à : analyser les fondements du regroupement; décrire son fonctionnement et identifier les résultats obtenus à ce jour; déterminer si le regroupement correspond toujours à un besoin; voir si des éléments de son fonctionnement doivent être améliorés; déterminer si le regroupement est en voie d’atteindre les cibles visées. Pour ce qui est de la stratégie de collecte de renseignements, des entrevues individuelles ont été réalisées auprès de représentants du regroupement et l’agente coordonnatrice. Dans un deuxième temps, le contenu des plans d’action a été analysé. Finalement, dans un troisième temps, un groupe de discussion a été organisé auprès des partenaires du regroupement.

Organismes clients : Avenir d’enfants, Communauté en action pour la petite enfance, Manicouagan on s’attache, Éveil-Action et Minganie en  forme Mandat : Dans le cadre de l’Entente régionale en évaluation, les partenaires de cette entente ont mandaté Sogémap inc. pour l’accompagnement de quatre comités locaux dans l’évaluation de projets définis dans leur plan d’action. Les projets qui ont été évalués sont : Ateliers de socialisation de développement langagier, moteur et social, La travailleuse de proximité, Mobilisation Manicouagan, on s’attache (Plan d'évaluation) et Stimulation du langage avec la trousse Cornemuse. Méthodologie : L’approche retenue était de type participatif. Pour chacun des projets évalués, un cadre d’évaluation a été rédigé. Ces cadres d’évaluation contenaient un modèle logique, une stratégie d’évaluation, des questions d’évaluation et les outils de collecte. Une fois le cadre d’évaluation rédigé, la collecte de renseignements sur le programme a été faite conjointement avec les promoteurs des projets et un rapport d’évaluation a été rédigé et présenté aux partenaires des projets.

Organisme client : RAP Côte-Nord Mandat : Dans le cadre de l’Entente régionale en évaluation, les partenaires de cette entente ont mandaté Sogémap inc. pour l’accompagnement de deux comités locaux dans l’évaluation de projets définis dans leur plan d’action. Les projets qui ont été évalués sont : De l’aide aux devoirs… à la maison (projet s’adressant aux élèves de niveau primaire) et Je suis fier d’être bilingue (projet s’adressant à des élèves anglophones des niveaux primaire et secondaire). Méthodologie : L’approche retenue était de type participatif. Pour chacun des projets évalués, un cadre d’évaluation a été rédigé. Ces cadres d’évaluation contenaient un modèle logique, une stratégie d’évaluation, des questions d’évaluation et les outils de collecte. Une fois le cadre d’évaluation rédigé, la collecte de renseignements sur le programme a été faite conjointement avec les promoteurs des projets et un rapport d’évaluation a été rédigé et présenté aux partenaires des projets.

Organisme client : Portage Mandat : Depuis plusieurs années, Portage réalise des suivis auprès de ses différentes clientèles et entreprend des travaux de recherche pour les différents programmes qu’il offre. Afin de maximiser la collecte de renseignements et de tirer des enseignements des programmes, le président de Portage ainsi que le directeur général ont rencontré les membres de Sogémap pour leur proposer de poursuivre les travaux de collecte et de recherche qui avaient déjà été entamés. Le mandat consiste donc à améliorer la planification et le suivi des résultats des programmes de Portage à long terme, ce qui permettra, par la suite, de dresser un portrait des effets du traitement sur les participants aux différents programmes à partir des données colligées. Méthodologie : La démarche de recherche utilisée comprend deux volets. Le premier volet a consisté à réaliser un portrait de la situation quant aux données existantes sur les programmes de Portage et des processus utilisés pour les colliger. Ce portrait a permis de standardiser la collecte de données sur les programmes de Portage, de planifier le suivi à long terme des résultats et de valider ou d’identifier les indicateurs qui devront être utilisés pour chacun des programmes. Le deuxième volet a consisté à réaliser le suivi et l’analyse des données sur les clientèles de Portage et les effets de ses programmes. En collaboration avec le département d’informatique de Portage, des données sur les clientèles ont été extraites pour analyse. Une série d’analyses statistiques ont ensuite été effectuées pour déterminer les différents effets de chacun des programmes, selon le degré de complétion des clientèles à leur cheminement thérapeutique.

Organisme client : Association des services de garde en milieu scolaire du Québec (ASGEMSQ) Mandat : Le projet est d’une durée de trois ans, soit de 2014 à 2017, et se déroulera en trois phases d’intégration : phase de préparation, phase pilote et phase de généralisation à l’ensemble des services de garde en milieu scolaire du Québec. Étant donné qu’il s’agit d’un projet pilote, il devenait nécessaire pour l’ASGEMSQ d’intégrer une démarche évaluative dès les débuts de la phase de préparation afin de suivre la mise en œuvre et le fonctionnement du projet et, le cas échéant, d’ajuster les actions de façon à favoriser la généralisation du projet dans tous les services de garde en milieu scolaire au Québec. Méthodologie : Pour la réalisation du mandat, nous avons privilégié une approche évolutive basée sur de l’accompagnement et la réalisation d’une évaluation d’implantation à la fin de l’an 2 du projet et d’une évaluation finale à la fin de l’an 3. Cette approche comporte plusieurs stratégies de consultation : analyse de la documentation sur le projet et des données recueillies au cours de la phase de préparation, entrevues individuelles auprès des personnes-ressources dans les milieux sélectionnés, groupes de discussion auprès des directions d’écoles et des partenaires locaux, sondage auprès du personnel des milieux sélectionnés et des milieux non participants.

Organismes clients : Cégep de Saint-Jérôme et Avenir d’enfants Mandat : Le projet du Cégep de Saint-Jérôme consistait à mettre en place un plan de déploiement du programme Jeux d’enfants afin de favoriser l’implication des intervenants et des parents dans le processus de stimulation du développement des enfants de la naissance à l’âge de cinq ans. Pour ce qui est du mandat d’évaluation, il était constitué de deux éléments. Le premier élément consistait à documenter la progression du projet de formation et à soutenir la prise de décision quant aux ajustements à apporter au projet en cours de réalisation. Le deuxième élément consistait, quant à lui, à mesurer l’atteinte des objectifs et les effets du projet. Ces deux éléments du mandat devaient être vus dans une perspective d’acquisition et de transfert de connaissances et réalisés en étroite collaboration avec l’équipe du Cégep de Saint-Jérôme. Méthodologie : Une évaluation formative a d’abord été entreprise. Elle visait à examiner comment le projet a été mis en œuvre et quels étaient les ajustements nécessaires en vue de l’atteinte des résultats. Dans le cadre de cette évaluation, nous avons examiné l’évolution du projet sur le plan de la gestion, de l’implantation et des premiers résultats observés. Cette évaluation a permis également de cibler les bonnes pratiques. Dans un deuxième temps, à titre de bilan du projet de formation, une évaluation sommative (évaluation des résultats) a été réalisée à la fin du projet. Elle a permis de vérifier les premiers effets dus à l’implantation du programme. Cette évaluation était basée sur des méthodes de collecte d’informations de nature qualitative et quantitative.

Organisme client : Avenir d’enfants Mandat : L’évaluation d’implantation devait permettre de présenter un portrait à jour de la mise en œuvre et du fonctionnement du projet pilote Écosystémie à Avenir d’enfants afin, le cas échéant, d’ajuster les actions de façon à favoriser l’atteinte des objectifs fixés. De façon plus précise, l’évaluation d’implantation devait démontrer les conditions favorables à l’implantation prévue dans les communautés, les difficultés éprouvées et les méthodes ou moyens utilisés pour pallier ces difficultés. Méthodologie : Analyse de la documentation sur le projet, analyse des plans d’action locaux, sondage Web auprès des acteurs locaux impliqués dans neuf communautés et entrevues en profondeur auprès du personnel d’Avenir d’enfants et des principaux acteurs dans les communautés.

Organismes clients : Comité régional de coordination COSMOSS et Conférence régionale des élus du Bas-Saint-Laurent. Mandat : Depuis 2004, la région du Bas-Saint-Laurent expérimente une démarche de concertation intersectorielle visant à améliorer la santé et le bien-être des jeunes et à favoriser la persévérance scolaire et l’insertion au marché du travail. En 2012, cette démarche en était à la fin de sa phase III. Dans un contexte de renouvellement du financement pour une quatrième phase, les principaux bailleurs de fonds régionaux de la démarche ont convenu de procéder à son évaluation. Méthodologie : Analyse de la documentation sur la démarche et des plans d’action locaux, sondage Web auprès des acteurs locaux, groupes de discussion auprès des membres des comités de concertation locale dans chacune des huit MRC et entrevues en profondeur auprès de tous les acteurs régionaux de même qu’auprès des agents de liaison.

Organisme client : Fondation de la faune du Québec. Mandat : Les objectifs de l’évaluation étaient de : évaluer l’efficience du programme d’aide de la Fondation, autant du point de vue social que du point de vue faunique; informer et guider la Fondation dans la prise de décision au sujet des projets à privilégier dans le programme « Protéger les habitats »; faciliter la reddition de comptes de la Fondation; et finalement de permettre un suivi des résultats des projets sur une base régulière. Méthodologie : La démarche méthodologique était basée sur une approche globale et une approche par cas. L’approche globale a permis une analyse quantitative des 134 projets financés au cours de la période à l’étude (1999-2010). L’approche par cas a permis de documenter dix projets sous forme d’une étude de cas. Dans le cadre du mandat, les méthodes de collecte de renseignements utilisées sont : une enquête téléphonique auprès des responsables de projet, une étude de dossiers des projets financés, des entrevues en profondeur auprès d’intervenants des milieux concernés et d’experts, des visites terrain, et une revue de la documentation.

Organismes clients : Portage. (Mandat réalisé sous la supervision d'un comité d'évaluation composé de représentants de la Fondation André et Lucie Chagnon, du ministère de la Santé et des Services sociaux du Québec et de l'Agence de la santé et des services sociaux de Montréal) Mandat : Le Centre Portage a mis sur pied un nouveau volet de son programme résidentiel  destiné aux femmes toxicomanes et leurs enfants - le Programme Mère-enfant. Le mandat d'évaluation visait à s'assurer que le nouveau programme répondait adéquatement aux besoins initialement déterminés, s'il rejoignait les personnes visées et s'il contribuait au mieux-être et à l'intégration des mères et de leurs enfants. Méthodologie : L'approche évaluative était basée sur deux volets. Le premier volet consistait en un suivi descriptif des processus d'intervention, soit les clients rejoints et l'implantation du projet. Le deuxième volet a porté sur les effets du programme à court et moyen terme sur les femmes et les enfants participants : effets du programme sur la persévérance en traitement, apport du programme au cheminement thérapeutique et effet du programme sur les femmes, les enfants et la relation mère-enfant. L'évaluation a inclus toutes les femmes admises au programme Mère-enfant entre janvier 2009 et janvier 2011 (de 70 à 100 femmes selon les taux de réponse) ainsi que leurs enfants (84 à 120 enfants).

Organisme client : Coordination des clubs-conseils en agroenvironnement. (Mandat réalisé sous la supervision d'un comité d'évaluation composé de représentants du ministère de l'Agriculture, des Pêcheries et de l'Alimentation, de l'Union des producteurs agricoles, du Conseil pour le développement de l'agriculture au Québec et d'Agriculture et Agroalimentaire Canada) Mandat : Depuis le 1er avril 2004, les clubs-conseils en agroenvironnement (CCAE) sont financés grâce à l'Entente pour le financement des clubs-conseils en agroenvironnement et la planification agroenvironnementale à la ferme, intervenue entre le Conseil pour le développement de l'agriculture du Québec (CDAQ) et le ministère de l'Agriculture, des Pêcheries et de l'Alimentation du Québec (MAPAQ). Un an avant la fin de cette Entente, le Comité de gestion de l'Entente désirait procéder à une évaluation portant sur la pertinence, la réalisation des objectifs et des finalités, l'efficience et les retombées et impacts. L'évaluation visait également à analyser les activités réalisées dans le cadre de l'Entente afin d'aider à la prise de décision vis-à-vis des orientations futures à privilégier telles que la planification de fermes agroenvironnementales. Méthodologie : Revue de la documentation, analyse de données administratives sur les activités des clubs-conseils, enquête en ligne (Internet) auprès des 186 conseillers des clubs-conseils, enquête téléphonique auprès de 451 membres des clubs-conseils, 150 anciens membres et 400 non membres, entrevues auprès d'observateurs ou d'experts du milieu de l'agroenvironnement et groupe de discussion auprès de représentants régionaux du MAPAQ.

Organismes clients : Conférence régionale des élus de la Mauricie, Développement économique Canada et la Technopole Vallée du Saint-Maurice. Mandat : Après plus de cinq années d'activité et à un an de l'échéance du plan d'action stratégique 2003-2006, les bailleurs de fonds voulaient savoir si la Technopole progressait dans l'accomplissement de sa mission, si elle était en voie d'atteindre les objectifs fixés et si ses orientations, objectifs et activités correspondaient toujours aux attentes et aux besoins de ses membres et de ses partenaires. Méthodologie : Revue de la documentation, enquête téléphonique auprès des organismes membres de la Technopole et de partenaires (entreprises, centre de recherche, organismes publics), entrevues individuelles auprès de représentants d'organismes subventionnaires et du personnel de la Technopole et analyse de dossiers sur les projets soutenus par la Technopole.

Organisme client : Commission scolaire de la Capitale Mandat : Diriger une enquête auprès du personnel de quatre écoles primaires où le projet La pédagogie au service des milieux défavorisés a été implanté. Méthodologie : Élaboration et distribution d’un questionnaire auprès du personnel enseignant et non enseignant et de la direction des écoles participantes. Les thèmes abordés dans ce questionnaire étaient : l’implantation du projet, le déroulement du projet dans les écoles, l’impact sur la tâche du personnel, la perception relativement à la pertinence et à l’impact du projet.

Organisme client : Hydro-Québec. Mandat : Rédiger un document analytique sur l'impact des programmes d'efficacité énergétique en vue d'une présentation à la Régie de l'énergie. Méthodologie : Analyse des données d'enquêtes téléphoniques réalisées auprès de la clientèle affaires sur l'efficacité de quatre programmes d'efficacité énergétique : Appui aux initiatives (Marchés - Commercial et Institutionnel), Optimisation des feux de signalisation, Appui aux initiatives (Systèmes industriels) et Diagnostic personnalisé (Entreprises de services).

Organisme client : Hydro-Québec. Mandat : Rédiger un document analytique sur l'impact des programmes d'efficacité énergétique en vue d'une présentation à la Régie de l'énergie. Méthodologie : Analyse des données d'enquêtes téléphoniques menées auprès de la clientèle résidentielle sur l'impact de quatre programmes d'efficacité énergétique : Thermostats électroniques dans le marché existant, Promotion de minuteries pour filtre de piscine et Diagnostic énergétique personnalisé.

Organisme client : Société de développement de Montréal. Mandat : Évaluer le fonctionnement, l'atteinte des objectifs et l'impact du programme et présenter des recommandations aux gestionnaires de l'Entente sur le développement culturel 2000-2005 afin que ceux-ci puissent, à leur tour, formuler une recommandation de programmation au Comité de coordination du contrat de ville. Méthodologie : Entrevue auprès de gestionnaires et analyse des documents administratifs concernant les programmes.

Organisme client : Association québécoise des parents d'enfants handicapés visuels (AQPEHV). Mandat : Répondre aux exigences de Santé Canada (qui finance le projet de l'AQPEHV) en procédant à une évaluation des activités réalisées en 2002-2003 dans le cadre du projet Un plus pour la vie. Méthodologie : Analyse des documents produits et des activités organisées par l'AQPEHV, enquête téléphonique auprès de 121 membres de l'AQPEHV, entrevues auprès de représentants d'organismes partenaires (centres de réadaptation, organismes du mouvement associatif, organismes publics et ministères) et entrevues auprès de représentants de l'AQPEHV.

Organisme client : Marthe Hurteau inc. (Mandat réalisé pour le compte de Community Table) Mandat : Connaître l'opinion de représentants de la communauté anglophone concernant le rôle des Community Economic Development and Employability Committees et des Regional Economic Development Officers, et concernant les activités programmées par ces organisations. Méthodologie : Enquête téléphonique et enquête postale auprès des représentants de la communauté.

Organisme client : Hirondelle. Mandat : Informer le mandant sur le déroulement du projet après un an d'application et évaluer l'intérêt manifesté par les entreprises. Méthodologie : Recueillir la documentation et les données relatives à la première année de mise en application du projet, décrire les interventions et les activités organisées, dresser la liste des problèmes éprouvés, établir et comptabiliser les premiers résultats opérationnels, rencontrer le personnel de l'Hirondelle et organiser un groupe de discussion auprès de représentants d'entreprises.

Organisme client : Groupement des assureurs automobiles. Mandat : Informer le mandant sur le déroulement du projet après un an d'application et sur la participation des organismes partenaires. Méthodologie : Recueillir la documentation et les données relatives à la première année de mise en application du projet, décrire les interventions et les activités réalisées, déterminer les problèmes éprouvés, comptabiliser et décrire les ressources investies, établir et comptabiliser les premiers résultats opérationnels et organiser un groupe de discussion auprès des partenaires du projet (représentants des compagnies d'assurance, des corps policiers, du gouvernement du Québec et du gouvernement fédéral).

Organisme client : École de formation pour adultes Centre Saint-Michel. Mandat : Mesurer l'impact des programmes Mon Métier, Ma Fierté et Services d'intégration socioprofessionnelle sur le placement ainsi que sur la durée et la qualité des emplois obtenus par les participants, et déterminer le taux de satisfaction des participants relativement à l'emploi obtenu. Méthodologie : Questionnaire distribué à 100 personnes ayant participé à l'un ou l'autre des programmes et groupes de discussion.

Organisme client : Comité provincial Kino-Québec Mandat : Mesurer l’impact de l’outil promotionnel Carte Kino-Québec sur la pratique de la marche. Méthodologie : Enquête téléphonique auprès de 450 personnes, constitution de groupes témoins et mesures statistiques visant à établir avec précision si la pratique de la marche a augmenté chez les personnes ayant reçu et utilisé la Carte Kino-Québec.

Organisme client : Comité provincial Kino-Québec Mandat : Mesurer l’impact du programme VIACTIVE sur la pratique régulière de l’activité physique. Méthodologie : Enquête auprès de 690 personnes, constitution de groupes témoins et mesures statistiques visant à déterminer si la pratique de l’activité physique a augmenté chez les participants au programme.