École nationale d’administration publique...
TRANSCRIPT
ÉCOLE NATIONALE D’ADMINISTRATION PUBLIQUE
RAPPORT DE STAGE EN ÉVALUATION DE PROGRAMMES AU MINISTÈRE DU TOURISME
TRAVAIL PRÉSENTÉ À MONSIEUR PIER-ANDRÉ BOUCHARD ST-AMANT
COMME EXIGENCE FINALE DE L’ACTIVITÉ D’INTÉGRATION ENP7969-S - STAGE
PAR BENOIT LAPIERRE
MAI 2018
ii
Table des matières Introduction …………………………………………………….………………...…………1 1. Description de l’organisation et du mandat confié à l’étudiant ………………………… 3 1.1 Contexte du mandat ……………………………………………….…………………… 3 1.2 Le mandat et ses livrables ………………………………………………...…...………. 4 1.3 Présentation de l’organisation …………………………………..……………...……… 5 2. Recension des écrits ……………………………………………..………..…………….. 9 2.1 Concepts et mission de l’évaluation de programme………………………....………… 9 2.2 La collecte de données ……………………………………………………..………… 17 2.3 L’inférence causale …………………………………………………………….…….. 20 2.4 L’évaluation de programme et la vérification interne ………………………...……… 22 3. Méthodologie de recherche et d’intervention …………………………….…………… 23 3.1 Analyse documentaire des documents administratifs et légaux ……………………… 25 3.2 Consultation interne ………………………………………………………..………… 26 3.3 Consultation externe ……………………………………………………….….……… 27 4. Résultats ………………………………………………………………………..……… 27 4.1 Mandat d’élaboration d’un cadre de suivi et d’évaluation préliminaire……………… 27 4.2 Cadre de suivi et d’évaluation préliminaire …………………………………..……… 29 4.3 Mise à jour Plan triennal 2017-2020 ………………………………………..…...…… 36 5. Recommandations ……………………………………………………………..….…… 38 Conclusion …………………………………………………………………..……….…… 42 Bibliographie ………………………………………………………………………...…… 43
iii
Abréviations et acronymes ADN49 Aide au développement touristique au nord du 49e parallèle
ATR Association touristique régionale
ATS Association touristique sectorielle
BDCRM Bureau des Dossiers Corporatifs et des Ressources Matérielles
DGSG Direction Générale des Services à la Gestion
DIS Direction des interventions sectorielles
DPIA Direction des politiques et de l'intelligence d'affaires
DPIR Direction des programmes et des interventions régionales
DSC Déclaration de services aux citoyens
GRAEP Groupe des responsables en analyse et évaluation de programme
EPRT Entente de partenariat régional en tourisme
ENAP École Nationale d’Administration Publique
LAP Loi sur l’Administration Publique
MAP Maîtrise en Administration Publique
MO Ministères et organismes
MTO Ministère du Tourisme
PADAT Programme d’appui au développement des attraits touristiques
PAFFET Programme d’aide financière aux festivals et événements touristiques
PrDIT Programme de développement de l’industrie touristique
PSDPT Programme de soutien au développement et à la promotion touristique
PSSDT Programme de soutien aux stratégies de développement touristique
PTE Plan triennal en évaluation
SCT Secrétariat du Conseil du trésor
iv
Remerciements Je tiens tout d’abord à remercier mon épouse Evgeniia et ma fille Vitalia qui m’ont toujours
offert un soutien indéfectible et qui ont su m’insuffler le courage nécessaire tout au long
des cinq années qu’a duré mon retour aux études. Rien de tout cela n’aurait été possible
sans elles.
Je remercie également M. Sylvain Bernier, directeur général des services à la gestion, pour
m’avoir offert ma chance et pour m’avoir accueilli dans son équipe. Sa bienveillance et son
soutien ont permis de rendre cette expérience des plus enrichissantes, tant sur le plan
personnel que professionnel.
J’adresse également mes remerciements à Mme Carmen Méndez qui a su m’encadrer et me
conseiller dans ma fonction de conseiller en évaluation de programmes. J’ai
particulièrement apprécié le niveau de confiance et d’autonomie qu’elle m’a offert pour la
conduite de mes dossiers, ce qui a permis d’accroître considérablement ma capacité de
travail à titre d’évaluateur de programmes.
Je porte aussi mes remerciements à Pr Pier-André Bouchard-St-Amant pour avoir apporté
son aide lors de ce stage et qui a su me guider tout au long de celui-ci. Son appui lors des
difficultés rencontrées lors de mon stage a permis de boucler cette maîtrise avec succès.
Finalement, je tiens à remercier mes parents, Réjean Lapierre et Louise Caron, qui ont su
m’inculquer le sens du travail bien fait et qui m’ont toujours offert leur appui dans mes
choix de vie, ainsi que mes frères Bruno et Simon pour leur soutien continu depuis notre
plus tendre enfance.
1
Introduction Le contexte dans lequel la fonction publique évolue et les attentes envers celle-ci évoluent
également. De l’administration publique de type « bureaucratie wébérienne », les impératifs
économiques et l’évolution des attentes des décideurs politiques ainsi que des citoyens ont
mené la fonction publique à évoluer, revoir ses pratiques et à instaurer progressivement un
nouveau modèle de gestion appelé « New Public Management » (Nouvelle gestion
publique)1. Ce nouveau modèle amena dans son sillage la notion de gestion par résultats
ainsi que la fonction d’évaluation de programmes qui en découle. Par ailleurs, le
gouvernement du Québec concentre ses efforts pour « favoriser une utilisation accrue des
évaluations à des fins notamment de planification, d’amélioration des programmes et de
reddition de compte »2.
Ce rapport a pour but de présenter le travail réalisé dans le cadre d’un stage visant
l’obtention d’un diplôme de maîtrise en administration publique (MAP) de l’École
nationale d’administration publique du Québec (ÉNAP).
Ce stage s’est échelonné du 11 décembre 2017 au 30 mars 2018 et a permis à l’étudiant de
cumuler une expérience de travail pratique de 525 heures à titre d’évaluateur de
programme. Cette formation pratique s’est faite au sein du Bureau des dossiers corporatifs
et des ressources matérielles (BDCRM), lequel est rattaché à la Direction générale des
services à la gestion (DGSG) du ministère du Tourisme (MTO). Ce stage fut sous la
direction de M. Sylvain Bernier, directeur général, et son encadrement fut réalisé par Mme
Carmen Méndez, responsable de la vérification interne et de l’évaluation de programme au
MTO ainsi que de Pr Pier-André Bouchard St-Amant, professeur à l’ÉNAP.
1 François-Xavier Merrien, La Nouvelle Gestion publique : un concept mythique, Lien social et Politiques, 1999, p. 95. 2 Secrétariat du Conseil du Trésor, Directive concernant l’évaluation de programme dans les ministères et les organismes (Consultée le 20 décembre 2017) [En ligne] https://www.tresor.gouv.qc.ca/cadredegestion/ actualites/detail-de-la-nouvelle/directive-concernant-levaluation-de-programme-dans-les-ministeres-et-les-organismes/index.html
2
Lors de son immersion en milieu de travail, l’étudiant a agi à titre de conseiller en
évaluation de programme en collaborant à divers mandats de la direction du MTO. Plus
spécifiquement, les principales réalisations du stagiaire ont été d’élaborer une série de
cadres de suivi et d’évaluation préliminaires, ainsi que les mandats s’y rattachant, sur
différents programmes du ministère. Ces cadres préliminaires ont pour principal objectif
d’entamer le processus d’évaluation en prévoyant le type, la collecte et la source des
données qui serviront au suivi des programmes en plus de déterminer les aspects évaluatifs
qui seront abordés lors de l’évaluation des programmes. Autrement dit, il s’agit de plans
d’action détaillés permettant la planification des futures évaluations. De leur côté, les
mandats sont des documents destinés à l’administration interne du ministère qui ont pour
but de décrire et assigner une charge de travail à une direction particulière. Dans le cadre
d’un mandat d’élaboration d’un cadre de suivi et d’évaluation préliminaire, le document
énumère et décrit sommairement les principales composantes du programme qui sera
évalué en plus de donner une idée de la portée de la future évaluation.
Lors de son intervention au MTO, le stagiaire a eu pour instruction de rédiger ces
documents pour mettre en marche le processus de suivi et d’évaluation préliminaire de la
Stratégie touristique québécoise au nord du 49e parallèle, du Programme d’aides aux
associations touristiques sectorielles ainsi que du Programme d’aides financières aux
festivals et événements touristiques. Ces travaux ont permis à l’étudiant de parfaire ses
habiletés pratiques et théoriques acquises lors de sa formation académique en plus de les
adapter à la réalité de la fonction publique québécoise.
Dans le cadre de ce rapport, il sera d’abord fait une description de l’organisation où le stage
s’est déroulé en mentionnant son rôle, sa mission, sa vision ainsi que le rôle que l’étudiant a
joué au sein de l’organisation. Par la suite, une recension des écrits sera partagée afin de
présenter les concepts et connaissances théoriques qui ont été utilisés lors du stage. Ensuite,
la méthodologie utilisée pour l’intervention sera présentée en détail. Viendra ensuite la
diffusion des résultats ainsi qu’une présentation des recommandations suggérées par le
3
stagiaire. Le rapport se terminera par une synthèse de la démarche qui prendra la forme
d’une conclusion.
1. Description de l’organisation et du mandat confié à l’étudiant
Cette section a pour but de présenter le contexte entourant le stage. Elle offrira d’abord un
bref historique de la fonction évaluative au sein du MTO ainsi qu’une description du
mandat et des livrables demandés à l’étudiant pour ensuite faire une présentation de
l’organisation hôte, le ministère du Tourisme, et finira sur la description de la direction
dans laquelle les activités du stage se sont déroulées.
1.1 Contexte du mandat
Après quelques changements administratifs qui ont eu lieu au cours des années, la charge
évaluative est attribuée depuis février 2017 à la DGSG, via le BDCRM, qui s’est
maintenant vu attribuer la responsabilité de l’encadrement et de la réalisation des travaux
d’évaluation au sein du ministère. Ces travaux sont chapeautés par Mme Méndez qui est
aussi responsable de la coordination de la vérification interne. À ce jour, l’organisation ne
dispose pas encore de ressources permanentes dédiées spécifiquement à l’évaluation de
programmes. Cette fonction a été réalisée par l’étudiant, sous la supervision de Mme
Méndez. Un consultant externe, M. Johann Jacob, professionnel de recherche à l’Université
Laval, était là pour appuyer le stagiaire, au besoin, dans ses fonctions.
Les différents livrables du stage s’inscrivent en continuité de l’application de la Directive
concernant l’évaluation de programme dans les ministères et organismes. Suite à la
transmission au Secrétariat du Conseil du Trésor (SCT) d’un plan pluriannuel d’évaluation
de programmes en octobre 2017, la livraison de plusieurs cadres de suivi et d’évaluation
préliminaires, ainsi que les mandats s’y rattachant, était prévue lors de la période de stage
de l’étudiant. Concrètement, le stage consistait à s’assurer du respect de l’échéancier établi
par le plan triennal d’évaluation de programme. Cette feuille de route, qui a été adoptée au
début de l’année 2017, spécifie les programmes qui devront être évalués à court et moyen
4
terme, le type de livrable exigé par le SCT ainsi que sa date de remise. Il s’agit du plan
d’action encadrant la fonction évaluative au MTO pour les trois prochaines années.
1.2 Le mandat et ses livrables La portée du mandat, émanant de la DGSG, était définie comme suit dans l’offre de stage :
« La personne titulaire du stage aura comme mandat de poursuivre l’élaboration d’un plan
d’action annuel et pluriannuel en évaluation de programmes. Elle veillera également à
l’élaboration ou à la mise à jour d’outils de mesure et d’évaluation déjà existants en plus de
contribuer à l’établissement d’objectifs d’évaluation. De plus, elle devra être familière avec
les méthodes courantes de collecte de données. Enfin, elle sera aussi appelée à effectuer la
cartographie de processus ». Dans les faits, cette description de tâches devait initialement
mener à la réalisation des travaux suivants :
• Poursuivre et finaliser l’élaboration et l’écriture des cadres de suivi et d’évaluation
préliminaires de quatre des cinq stratégies touristiques constituant le Programme de
soutien aux stratégies de développement touristique (PSSDT).
• Élaborer et livrer le cadre de suivi et d’évaluation préliminaire, ainsi que le mandat
s’y rattachant, du Programme d'aide financière aux associations touristiques
sectorielles (ATS) et du Programme d’aide stratégique aux projets touristiques.
Pour mieux répondre aux besoins du MTO et en accord avec le stagiaire, les livrables ont
sensiblement changé suite à une restructuration et la reconduction de plusieurs programmes
durant le stage de l’étudiant. En effet, le programme d’Aide au développement touristique
au nord du 49e parallèle (AND49) est devenu le volet 5 du PSSDT et devait donc se doter
d’un cadre de suivi et d’évaluation préliminaire à une date se rapprochant de celui des
quatre autres volets. De plus, le Programme d’aide aux festivals et événements touristiques
(PAFFET), initialement supporté par un décret, s’est vu reconduit pour une période de trois
ans via un cadre normatif du SCT, ce qui changea son ordre de priorité dans l’échéancier du
processus d’évaluation.
5
À terme, le stage aura permis de livrer les documents suivants :
• Une mise à jour du plan triennal d’évaluation de programmes 2017-2018 à 2019-
2020;
• Les cadres de suivi et d’évaluations préliminaires de toutes les stratégies du PSSDT;
• Le cadre de suivi et d’évaluation préliminaire du Programme d’aide aux ATS;
• Les mandats d’élaboration du cadre de suivi et d’évaluation préliminaire du PSSDT
volet 5, du Programme d’aide aux ATS et du PAFFET.
1.3 Présentation de l’organisation
Le ministère du Tourisme du Québec a la responsabilité de développer le tourisme au
Québec et de soutenir les acteurs de l’industrie dans leurs activités qui visent leur
développement. L’organisation est régie par sa Déclaration de services aux citoyens qui
énonce la mission de l’organisme, sa vision ainsi que ses orientations et ses valeurs.
Mission
La Déclaration de services aux citoyens du MTO stipule que « [l]e ministère du Tourisme a
pour mission de soutenir le développement et la promotion du tourisme au Québec, en
favorisant la concertation et le partenariat des intervenants associés à ce développement et à
cette promotion, et ce, dans une perspective de création d'emplois, de prospérité
économique et de développement durable »3.
Vision
Toujours selon la Déclaration de services aux citoyens, la vision de l’organisation se
formule comme suit : « En cohérence avec la vision gouvernementale québécoise en
matière de développement économique, le ministère du Tourisme se veut une organisation
compétente, performante et mobilisée qui contribue à la réussite économique d’une
3 Ministère du tourisme. Déclaration de services aux citoyens. (Consultée le 20 février 2018) [En ligne] http://www.tourisme.gouv.qc.ca/publications/media/document/publications-administratives/declaration-services-citoyens.pdftour
6
industrie touristique innovante, concurrentielle et créatrice de richesse dans une perspective
de développement durable »4.
Orientations
Les orientations de l’organisation sont également spécifiées dans cette même déclaration et
celles-ci visent à « [a]ssurer une mise en marché touristique efficace du Québec. Favoriser
un environnement propice à l’investissement en tourisme. Faire du Québec une destination
d’excellence en matière d’accueil et d’hébergement touristiques. Miser sur une intelligence
d’affaires collective. Améliorer la gouvernance et la performance organisationnelle »5.
Valeurs organisationnelles
Les valeurs du ministère du Tourisme, qui guident et encadrent les actions
organisationnelles, sont :
• « le respect – le ministère du Tourisme traite avec égard le personnel de
l’organisation, les clientèles touristiques et les intervenants de l’industrie
touristique avec lesquels il est en relation;
• la créativité – le Ministère trouve des idées nouvelles ou des solutions originales
qui conduiront à la mise en œuvre de choix utiles, fiables et novateurs;
• l’excellence – le Ministère recherche l’amélioration de sa performance sur une base
permanente;
• la collaboration – le Ministère coopère avec l’industrie touristique et les
populations locales et régionales dans la réalisation de projets par la mise en
commun de moyens et de ressources »6.
4 Ibid. 5 Ibid. 6 Ibid.
7
L’orientation des actions vers l’atteinte des résultats de l’organisation tire son origine de la
mission ainsi que de la vision de l’organisation (Mazouz, Leclerc, & Tardif, 2008). Elles
sont le socle de chaque organisation et d’elles découle toute la logique d’intervention des
ministères et organismes (MO). Ces informations sont rendues publiques via la Déclaration
de services aux citoyens du MTO7. Cette déclaration stipule l’engagement de l’organisation
envers la population en matière de qualité et de prestation de services. Ce document est
obligatoire en vertu de l’application de la Loi sur l’administration publique (LAP) (A 6.01)
et constitue l’un des mécanismes de mise en œuvre d’une gestion axée sur les résultats8.
La Direction Générale des Services à la Gestion (DGSG)
La DGSG relève directement du sous-ministre et coordonne l’ensemble des activités
administratives du MTO en ce qui a trait à la gestion des ressources humaines, financières,
matérielles et informationnelles en plus de l’appui technique et organisationnel touchant ces
domaines aux gestionnaires des différentes directions du ministère. Le BDCRM, quant à
lui, fut mis en place en juin 2017 et a, entre autres choses, la responsabilité d’élaborer,
coordonner et réaliser la fonction d’évaluation de programmes pour l’ensemble du MTO
conformément aux demandes gouvernementales. Les activités BDCRM relèvent
directement du directeur général de la DGSG et contribuent à coordonner les activités des
directions des ressources humaines, financières et informationnelles. Dans la ligne
hiérarchique, le BDRCM se trouve donc entre la direction générale et les autres directions
spécialisées nommées plus tôt. Le schéma suivant vient imager l’organigramme
hiérarchique qui a cours au ministère.
7 Ibid. 8 Gouvernement du Québec, Loi sur l’Administration Publique, (Consultée le 3 mars 2018) [En ligne] http://legisquebec.gouv.qc.ca/fr/ShowDoc/cs/A-6.01
8
Image : Organigramme du ministère du Tourisme9
9 Ministère du Tourisme, Organigramme (Consultée le 20 février 2018) [En ligne] http://www.tourisme.gouv.qc.ca/publications/media/document/publications-administratives/orgTQ.pdf
9
2. Recension des écrits Cette recension des écrits a pour but de mettre en lumière les différentes notions, concepts
et connaissances théoriques reliés au domaine de l’évaluation de programmes qui ont été
utilisés par le stagiaire afin de mener à terme la série de mandats qui lui ont été confiés.
Il sera tout d’abord question de poser et définir les différents concepts fondamentaux
entourant la notion de programme et de son évaluation. Par la suite, l’analyse se portera
plus précisément sur les défis et enjeux liés à l’évaluation des programmes de
développement touristique. Ensuite, nous nous intéresserons aux différents outils de
collecte de données et à l’importance de l’inférence causale pour terminer avec les
différences et points communs entre l’évaluation de programmes et de vérification interne.
2.1 Concepts et mission de l’évaluation de programmes La littérature étudiée pour la rédaction de ce rapport de stage nous a permis de constater
qu’il n’y a pas de définition commune au concept de programme et de son évaluation. En
effet, même si les définitions semblent se recouper et qu’elle offre, grosso modo, une image
commune des tenants et aboutissants de ce que devrait être une évaluation de programme,
chaque auteur consulté semble décrire le concept à sa manière.
Pour le gouvernement du Québec, un programme désigne un ensemble « cohérent et
structuré d’objectifs, d’activités et de ressources humaines, financières, matérielles et
informationnelles, regroupés pour offrir des produits et des services particuliers qui
satisfassent les besoins ciblés d’une population prédéterminée »10. De son côté, Dumaine va
plus loin en soulignant le fait que le concept de programme est en mutation compte tenu de
la naissance de nouvelles problématiques comme la mondialisation, les changements
climatiques, les avancées technologiques ou l’évolution du rôle de l’État qui font en sorte
que la notion de classique de « programme » n’aurait plus lieu d’être. Pour appuyer ses
10 Secrétariat du Conseil du Trésor, Évaluation de programme document destiné aux dirigeants et dirigeants de ministères et d’organismes, p. 6.
10
dires, l’auteur met de l’avant le fait que le rôle traditionnel des gouvernements était d’offrir
un appui financier à une tierce partie qui avait ensuite le mandat de livrer certains résultats.
Or, l’évolution de l’État fait en sorte qu’il est de plus en plus amené à être directement
pourvoyeur de services, ses réglementations sortent davantage du cadre régalien, etc.11.
Pour rendre compte de cette évolution, la définition englobante du concept de programme
de Nancy Porteous semble apporter quelques précisions sur ces transformations. En effet,
selon l’auteure, un programme peut maintenant prendre :
[…] un sens assez large qui peut inclure les projets, les politiques ou d’autres types d’initiative tels que les interventions, les projets pilotes, les événements, les processus, les campagnes et les services. Un programme peut-être très vaste ou très restreint, ou encore se situer quelque part entre ces deux extrêmes. Fondamentalement, un programme consiste en une série d’activités appuyées par un ensemble de ressources et visant à atteindre des résultats spécifiques au sein d’un groupe cible défini12.
Comme pour le concept de programme, la notion d’évaluation de programme ne jouit pas
d’une définition universelle qui fait consensus. Bien que ces définitions se rejoignent et se
recoupent parfois, aucune d’entre elles ne fixe les mêmes limites ou les mêmes finalités.
Pour le Conseil du Trésor québécois, l’évaluation de programme se limite à « une démarche
rigoureuse et systématique de collecte et d’analyse de données probantes sur les
programmes »13 alors que pour Dumaine, l’évaluation de programme touche maintenant
l’évaluation des processus internes, mais aussi la mise en œuvre des programmes, sa
méthodologie, etc.14 Malgré ces différences, l’Organisation de coopération et de
développement économique a, dans sa définition, cerné certaines caractéristiques
communes à l’évaluation de programme : « ce sont des appréciations analytiques
11 François Dumaine, Je me souviens… de t’avoir trop longtemps cherché, The Canadian Journal of Program Evaluation, p. 98-100. 12 Nancy L. Porteous, La construction du modèle logique d’un programme, p. 89. 13 Secrétariat du Conseil du Trésor, Évaluation de programme (Consultée le 1er mai 2018) [En ligne] https://www.tresor.gouv.qc.ca/cadredegestion/gestion-axee-sur-les-resultats/au-cours-du-cycle-mesurer-et -sameliorer/evaluation-de-programme/index.html 14 François Dumaine, Je me souviens… Op. Cit. p. 100.
11
systématiques concernant les principaux aspects d’un programme et de sa valeur, et qui
s’attachent à fournir des conclusions fiables et utilisables »15. Plus près de nous, la Société
canadienne d’évaluation définit l’évaluation comme « l'appréciation systématique de la
conception, de la mise en œuvre ou des résultats d'une initiative pour des fins
d'apprentissage ou de prise de décision »16.
Dans le domaine académique, Jody Fitzpatrick donne la définition suivante pour décrire
l’évaluation de programmes:
[…] un processus d’enquête permettant de recueillir des données probantes qui sont ensuite synthétisées dans le but de générer des conclusions sur la situation actuelle, l’envergure, le mérite, la valeur, la signification ou la qualité d’un programme, d’un produit, d’une personne, d’une politique, d’une proposition ou d’un plan. Ces conclusions englobent à la fois des perspectives empiriques (démontrant que le cas est réel) et normatives (portant un jugement sur la valeur d’un objet). La production d’un jugement constitue l’élément clé qui permet de distinguer cette activité des autres types d’enquête, tels que la recherche fondamentale en science, l’épidémiologie clinique, l’investigation journalistique ou le sondage d’opinion17.
Toutes ces définitions ont contribué à forger la définition de la fonction évaluative au sein
du MTO et c’est en gardant cette définition en tête que le stagiaire a mené son intervention.
Ainsi, dans le cadre du stage :
[…] [l]’évaluation de programme consiste à évaluer les résultats des aides financières, qu’il s’agisse d’un programme normé, d’un financement d’organisme, d’une mesure fiscale, d’un projet ou d’une politique. L’évaluation vise à produire des connaissances sur les résultats des programmes, dans le but d’apprécier leur pertinence, leur efficacité et leurs impacts. Les objectifs consistent à aider les décideurs à améliorer les programmes et à permettre aux citoyens d’en apprécier la valeur.
15 Secrétariat du Conseil du Trésor, Évaluation de programme… Op. Cit p. 6. 16 Société canadienne de l’évaluation, Qu'est-ce que l'évaluation?, (Consultée le 10 mars 2018) [En ligne] https://evaluationcanada.ca/fr/quest-ce-que-levaluation 17 Jody Fitzpatrick, L’évaluation de programme : quelques considérations de premier plan, p.16.
12
L’évaluation contribue ainsi à rationaliser la prise de décision et à rendre plus efficace la dépense publique18.
L’évaluation de programmes peut poursuivre l’atteinte de plusieurs objectifs. Bien que le
MTO porte son attention sur la pertinence, l’efficacité et les impacts de ses interventions, le
sujet d’étude d’une évaluation de programme peut être plus large. Ainsi, pour le Secrétariat
du Conseil du Trésor, une évaluation de programme peut examiner les aspects suivants :
[…] la raison d’être du programme, sur sa conformité avec le besoin exprimé ou sur les problèmes reconnus à l’origine; les possibilités d’action : l’évaluation est centrée sur les objectifs initiaux et la nature du programme à offrir; l’implantation : l’évaluation s’intéresse au fonctionnement d’un programme, à sa dynamique et aux facteurs, tant internes qu’externes, qui influent sur sa mise en œuvre; les résultats et les effets : l’évaluation porte sur l’atteinte des objectifs, les effets et l’impact intentionnel ou non sur la population ; le rendement : l’évaluation détermine si le coût des ressources investies justifie les bénéfices résultant du programme19.
L’évaluation de programmes au sein de la fonction publique québécoise a pour but de
produire de l’information utile et crédible afin d’aider les décideurs à la prise de décision et
fournit donc « une rétroaction utile aux décideurs tout au long du cycle de gestion axée sur
les résultats »20. Elle permet de baser la décision sur des données tangibles en éliminant les
jugements de valeur et d’améliorer les processus. Autrement dit, les renseignements
recueillis permettent :
[…] la possibilité de mettre en place des moyens d’intervention ou des mécanismes de prestations de services plus rentables. L’évaluation de programme met l’accent sur ce qui fonctionne réellement, sur ce qui ne fonctionne pas et sur les moyens de trouver de nouvelles façons d’atteindre les objectifs du gouvernement à moindres coûts, avec la préoccupation constante de parvenir aux résultats attendus21.
18 Ministère du Tourisme, Guide de l’évaluation des programmes du ministère p. 18. 19 Secrétariat du Conseil du Trésor, Évaluation de programme… Op. Cit. p. 7. 20 Secrétariat du Conseil du Trésor, Guide sur la gestion axée sur les résultats, p. 40. 21 Secrétariat du Conseil du Trésor, Évaluation de programme… Op. Cit. p. 6.
13
Le besoin d’information fiable et crédible pour la prise de décision fait également partie des
préoccupations du gouvernement fédéral lorsqu’il est question de mettre en place un
processus évaluatif. Celui-ci vise notamment à « recueillir de l’information, de façon
permanente et régulière, pour constater comment fonctionne un programme, une orientation
stratégique ou une stratégie »22. Pour Ottawa, l’évaluation du rendement est une
préoccupation centrale du processus d’évaluation de programmes. En fait, le processus
évaluatif doit :
[…] fournir au moment voulu des constatations et des conclusions à la fois pertinentes, fiables et objectives sur le rendement du programme, grâce à des méthodes valides et fiables de collecte et d’analyse des données. Idéalement, les évaluations devraient présenter les constatations et les conclusions de façon claire et équilibrée, tout en précisant leur degré de fiabilité23.
Au sein du ministère du Tourisme, la notion de collecte d’informations crédibles est aussi
un élément central qui motive la décision de mettre en place un processus d’évaluation de
programme. En fait, la fonction évaluative a pour mission de :
[…] contribuer à l’accomplissement du mandat du Ministère en fournissant au sous-ministre, au(x) sous-ministre(s) adjoint(s), aux directeur(s) général(aux) et aux gestionnaires, de l’information avérée, crédible et objective sur la pertinence et la performance des programmes d’aide financière et sur les éventuelles améliorations à apporter en vue d’obtenir de meilleurs résultats, et ce, de façon continue24.
Pour que la fonction d’évaluation de programmes s’implante adéquatement au sein d’une
organisation et qu’elle apporte les résultats escomptés, certaines actions doivent être
22 Secrétariat du Conseil du Trésor du Canada, Pour soutenir des évaluations efficaces : Guide d'élaboration de stratégies de mesure du rendement, (Consultée le 3 mars 2018) [En ligne] https://www.canada.ca/fr/ secretariat-conseil-tresor/services/verifications-evaluations/centre-excellence-en-evaluation/guide-elaborat ion-strategies-mesure-rendement.html 23 Secrétariat du Conseil du Trésor du Canada, Méthode d’évaluation des programmes : Mesure et attribution des résultats des programmes (Consultée le 20 mars 2018) [En ligne] https://www.tbs-sct.gc.ca/cee/pubs/meth/pem-mep-fra.pdf p.1. 24 Ministère du Tourisme, Guide de l’évaluation… Op. Cit. p. 6.
14
entreprises tout le long de la ligne hiérarchique de l’organisation. Ces conditions gagnantes
sont, notamment :
[…] un appui ferme du sous-ministre ou du dirigeant d’organisme; un leadership exercé par l’équipe d’évaluation de programme à tous les niveaux de la chaîne hiérarchique; une compréhension partagée de la portée de l’évaluation entre le sous-ministre ou le dirigeant d’organisme et le coordonnateur, l’évaluateur et les gestionnaires, dès l’acceptation du mandat; une démarche d’évaluation effectuée par du personnel possédant l’habileté, les connaissances et l’expertise nécessaires; une détermination des ressources nécessaires à l’évaluation de programme dès l’affectation du budget; un arrimage entre l’évaluation de programme et la démarche de gestion axée sur les résultats; une définition d’objectifs clairs et d’indicateurs mesurables en fonction de l’atteinte des résultats escomptés dès l’élaboration d’un nouveau programme; un cadre d’évaluation et un système d’information adéquats qui assureront la qualité de l’évaluation; une stratégie et une méthode appropriées à l’environnement du programme25.
2.1.1 L’évaluation des programmes touristiques
Selon l’Organisation mondiale du tourisme, le tourisme se définit comme :
[u]n phénomène social, culturel et économique qui implique le déplacement de personnes vers des pays ou des endroits situés en dehors de leur environnement habituel à des fins personnelles ou professionnelles ou pour affaires. Ces personnes sont appelées des visiteurs (et peuvent être des touristes ou des excursionnistes, des résidents ou des non-résidents) et le tourisme se rapporte à leurs activités, qui supposent pour certaines des dépenses touristiques26.
Comme tous les secteurs économiques, le domaine du tourisme évolue dans un contexte qui
lui est propre et qui diffère selon la région où l’activité s’exerce. Il en va de même avec les
programmes destinés à soutenir ces activités ainsi que de l’évaluation de ceux-ci. La portée,
les attentes ou le ratio coût/bénéfice d’un programme visant à promouvoir le tourisme rural
à l’échelle régionale ne seront pas les mêmes qu’un programme destiné soutenir des
25 Secrétariat du Conseil du Trésor, Évaluation de programme… Op. Cit. p. 16. 26 Chaire de tourisme Transat, Les entreprises touristiques au cœur du développement économique, (Consultée le 1er mai 2018) [En ligne], https://chairedetourisme.uqam.ca/upload/files/cahier_symposium _electronique_FR_v4.pdf p. 19.
15
événements majeurs aux visées nationales voire internationales27. Malgré ces différences, il
existe une série de procédés et d’enjeux qui semblent, selon la littérature, être communs à
l’ensemble du domaine touristique.
L’un des défis liés à l’évaluation de programmes touristiques tient au fait que la structure
organisationnelle du tourisme d’un pays dépend du rôle et de l’importance que le tourisme
tient dans le développement socio-économique de celui-ci, mais aussi des priorités
identifiées par les décideurs publics28. Par exemple, le tourisme est parfois lié, selon les
pays, au ministère s’occupant de la culture, du sport, de l’économie ou, comme au Québec,
le tourisme peut constituer un ministère à part entière. Autrement dit, même si les enjeux
politiques influencent à un moment ou à un autre la plupart des sphères d’activités
gouvernementales, il semble que les objectifs, les produits, les régions et les bénéficiaires
ciblés par les programmes gouvernementaux de développement touristique sont plus
souvent motivés par des raisons politiques que par des impératifs économiques que d’autres
secteurs29. De plus, une autre particularité du secteur touristique est qu’il s’agit d’un secteur
façonné et profondément interdépendant de son milieu. En fait, le tourisme est :
[…] enraciné dans le tissu social et économique des structures existantes et en fait parties. Que ces structures soient des zones urbaines ou rurales ou des territoires protégés, il existe généralement un grand nombre de dispositions, politiques et réglementations qui ont façonné les caractéristiques sociales, culturelles, économiques et environnementales du lieu et, indirectement, la valeur touristique et la compétitivité de la destination associée30.
En outre, les programmes visant à promouvoir le tourisme dépendent souvent de la
coordination avec différents ministères, pensons seulement aux transports, pour que ses
mesures soient pleinement efficaces. Il incombe donc à l’évaluateur de mieux comprendre
27 Aliza Fleischer et Daniel Felsentein, Support for rural tourisme : Does it make a difference?, 2000, p. 1011. 28 Zuzanna Gajdošíková, Reegineering of tourism organization structure : The case of Slovakia, 2016, p. 406. 29 Dražen Vrhovski, Government subsidies efficiency analysis in the tourism sector in Croatia, 2014, p. 169. 30 Peter Haxton, Tour d’horizon des politiques efficaces pour la croissance du tourisme, 2015, p. 32.
16
les interactions, synergies et dynamiques spécifiques à cette combinaison de facteurs afin
de mesurer la portée réelle des programmes de développement touristique.
Ainsi, les indicateurs destinés à évaluer ces programmes doivent, aider à la compréhension
des défis de compétitivité et avoir une vision globale du secteur, suivre ses progrès dans le
temps et anticiper les risques, donner une idée des rendements des investissements et
permettre de comparer ses performances par rapport à la concurrence à travers le temps31.
Pour ce faire, l’Organisation de coopération et de développement économique (OCDE)
élaborer pour ses membres une série d’indicateurs permettant de mesurer les effets et les
impacts des leurs programmes de développement touristique.
Tableau : Liste des indicateurs de base, supplémentaires et à développer32
31 Alain Dupeyras et Neil MacCallum, Indicateurs de la compétitivité du tourisme, 2013, p. 12. 32 Ibid. p. 17.
17
2.2 La collecte de données
Comme nous venons de le constater, un enjeu important qui est en lien avec l’évaluation de
programmes est la capacité de l’évaluateur à collecter des données fiables et crédibles qui
seront disponibles au moment voulu. Selon le Secrétariat du Conseil du Trésor du Canada,
« [l]a nature des données dépendra elle-même de la méthode d’évaluation adoptée, des
indicateurs utilisés pour obtenir les résultats des programmes et du type d’analyse à faire
»33.
Les données utilisées aux fins des évaluations peuvent être de nature primaire ou
secondaire. Dans le cas de données primaires, il s’agit de données « issues de la collecte
d’information réalisée afin de répondre aux besoins spécifiques d’une étude ou d’une
évaluation »34, tandis que les données secondaires sont « colligées à d’autres fins que celle
des travaux ou de l’évaluation en cours »35. À titre d’exemple, les données colligées par
Statistique Canada ou par l’Institut de la statistique du Québec font partie des données
secondaires qui ont été utilisées lors du stage.
En ce qui concerne les données secondaires, un des défis est le fait que l’évaluateur n’a pas
eu le contrôle sur la méthode de collecte utilisée, mais doit tout de même en évaluer la
validité et la fiabilité. C’est pourquoi il peut être opportun de remonter à la source de celle-
ci afin d’augmenter la crédibilité des données36. Bien que le problème ne s’applique pas, ou
peu, aux données recueillies par Statistique Canada ou l’Institut de la statistique du Québec,
l’enjeu peut être réel lorsqu’il est question de données collectées par les ATS ou ATR. En
effet, même si ces données peuvent être des plus utiles, elles sont collectées par des
organisations qui ont un intérêt dans la poursuite des programmes de subventions. Cette
situation de juge et partie fait en sorte que l’évaluateur doit redoubler de prudence lors de 33 Secrétariat du Conseil du Trésor du Canada, Méthodes d’évaluation de programmes… Op. Cit. p. 62. 34 Secrétariat du Conseil du Trésor, Glossaire des termes usuels en mesure de performance et en évaluation (Consultée le 1er mars 2018) [En ligne] https://www.tresor.gouv.qc.ca/fileadmin/PDF/publications/glossaire _termes_usuels.pdf p. 6. 35 Ibid. 36 Secrétariat du Conseil du Trésor du Canada, Méthodes d’évaluation de programmes… Op. Cit. p. 67.
18
l’analyse et l’interprétation de ces données. L’enjeu est d’autant plus important que dans le
domaine du tourisme, « [o]utre le décompte des entrées des visiteurs aux frontières,
pratiquement toutes les autres données du tourisme reposent sur le témoignage des visiteurs
lors d’enquêtes effectuées par sondages »37.
Les principaux outils de collecte de données utilisés lors de l’évaluation de programme est
la cherche documentaire, l’étude de dossier, l’observation directe et l’étude de cas au
moyen d’enquêtes et de sondage. Chacune de ces méthodes offre leurs avantages.
La recherche documentaire permet de recenser les connaissances spécifiques à un domaine
et permet de s’informer au préalable sur le domaine d’activité du programme qui devra être
évalué. De plus, cette méthode de collecte de données permet aussi de prendre
connaissance de certaines particularités du secteur d’activités. Par exemple la recherche
peut avoir démontré que l’intervention prévue par le programme est plus efficace sur
certains individus que sur d’autres, ce qui permettra de mettre en perspective les résultats
de l’évaluation. De plus la recherche documentaire peut
[…] mettre en lumière des difficultés méthodologiques particulières et indiquer à l’évaluateur des techniques et des moyens de les contourner. Dans certains cas, les recherches antérieures fournissent directement des réponses aux questions d’évaluation, ce qui permet d’éviter un travail de collecte de données inutile. On peut aussi trouver des sources de données secondaires utilisables dans les études antérieures, ce qui réduit le besoin de recueillir des données primaires38.
C’est sans compter le fait que cette méthode de collecte de données peut également donner
des pistes d’hypothèse à vérifier ou orienter la formulation des questions qui serviront à
l’évaluation. En fait, ce dépouillement des écrits est «un moyen relativement économique et
efficace de recueillir des données pertinentes, et il est souvent rentable. Il doit toujours se
faire au cours de l’étude préparatoire à l’évaluation»39.
37 Chaire de tourisme Transat, Les entreprises touristiques au cœur … Op. Cit p. 32. 38 Secrétariat du Conseil du Trésor du Canada, Méthodes d’évaluation de programmes… Op. Cit. p. 66. 39 Ibid.
19
Bien que plus coûteuse que la recherche documentaire, l’observation directe d’un
phénomène est une autre source de données qui peut être très utile lors de l’évaluation de
programme et peut même être essentielle pour comprendre le fonctionnement d’un
programme40. Elle permet, entre autres, de décrire le contexte dans lequel un programme
évolue, mais aussi de colliger des données qui n’ont pas été prévues avec d’autres
instruments de collecte et qui auraient été impossibles d’apprécier sans avoir été sur le
terrain. Cette technique permet aussi de mettre en perspective les données recueillies au
moyen d’entrevues en permettant de remettre dans son contexte les commentaires amassés.
De plus, la technique « permet à l’évaluateur de saisir des détails qui risquent d’échapper
aux membres du personnel, ou de constater des éléments qu’ils hésitent à soulever au cours
d’une entrevue »41. Toutefois, l’observateur doit être conscient que sa présence peut
interférer avec le comportement normal de la situation qu’il souhaite observer. En effet,
certains individus peuvent adopter un comportement fort différent lorsqu’ils se savent
observés.
L’étude de cas trouve également sa place comme méthode de collecte de données dans un
contexte d’évaluation de programme lorsqu’il est, pour des raisons budgétaires ou
pratiques, impossible de constituer un échantillon suffisamment important pour pouvoir
effectuer le travail. La technique peut également se justifier lorsque l’on veut étudier
certains cas en profondeur afin de recueillir des données détaillées. L’enjeu sera alors de
bien sélectionner les cas qui feront partir de l’échantillon étant donné leur nombre restreint.
Une sélection de cas pas, ou peu, représentatifs de la population étudiée n’offrira que peu
d’informations sur celle-ci et les résultats obtenus ne pourront malheureusement pas être
généralisés à l’ensemble des bénéficiaires du programme.
Inversement, le choix de certains cas atypiques permettra de faire une analyse détaillée
d’une situation où le programme n’a pas eu l’effet escompté sur une certaine frange de la
40 Ibid. p. 72. 41 Ibid. p. 73.
20
population. L’étude de cas nous donnera alors une grande quantité d’informations sur un
nombre restreint d’individus, ce qu’une analyse statistique conventionnelle sera incapable
de faire. Il peut donc être judicieux, lorsque cela est possible, de combiner cette technique
avec une collecte de données plus traditionnelle afin de bénéficier des avantages des
deux42.
2.3 L’inférence causale
Malgré des méthodes de collecte de données sophistiquées ayant respecté un processus
méthodologique reconnu, il peut toujours y avoir un doute sur la validité des résultats
obtenus. En effet, pouvoir affirmer que les résultats observés sont directement imputables
aux actions du programme évalué ne va pas toujours de soi. Contrairement aux sciences
exactes, l’évaluateur dispose rarement d’un groupe témoin servant d’hypothèse nulle afin
de valider ses résultats. C’est particulièrement le cas dans le domaine des nouveaux
festivals et événements ou dans le cas d’un lancement de programme43. Autrement dit :
[…] pour bien comprendre les résultats causés par un programme, nous devons savoir ce qui serait arrivé sans l'exécution d'un programme. Cette notion est la clé des inférences causales. Autrement dit, si l’on conclut qu’un programme a produit ou causé un certain résultat, cela signifie que, s’il n’avait pas existé, le résultat ne se serait pas concrétisé44.
Pour pallier au problème lié à l’absence de groupe témoin ayant pour but de valider
l’inférence statistique, certaines techniques peuvent être utilisées. La plus simple est de
toujours privilégier l’hypothèse nulle, c’est-à-dire de commencer l’analyse en partant de
l’idée que l’intervention n’a pas eu de résultat. Cette façon de faire contribue à éviter les
biais que l’évaluateur peut entretenir par rapport au programme qu’il évalue. Si, malgré
cette précaution, nous pouvons constater une évolution significative des données, il peut
42 Ibid. p. 83-84. 43 Gouvernement du Canada, Évaluation du Programme des manifestations touristiques de renom, (Consultée le 1er mai 2018) [En ligne], https://www.ic.gc.ca/eic/site/ae-ve.nsf/fra/h_03423.html 44 Secrétariat du Conseil du Trésor du Canada, Méthodes d’évaluation de programmes… Op. Cit. p. 13.
21
être raisonnable de penser qu’un élément extérieur, possiblement le programme, a influé sur
les résultats.
Néanmoins, avant d’attribuer les résultats au seul fait du programme, il est nécessaire de
chercher et d’éliminer toutes les autres raisons plausibles qui auraient pu causer le résultat
observé45. Par exemple, l’évolution peut venir d’un élément extérieur ou d’une
combinaison facteurs qui ne sont pas directement lié à l’intervention que l’on veut mesurer.
À titre d’exemple, une croissance économique vigoureuse ou un taux de change favorable
peuvent dynamiser un secteur économique, dans notre cas le tourisme, sans que l’évolution
des données ne soit totalement imputable aux interventions gouvernementales.
Pour mieux connaître les résultats des interventions, la méthode différences de différences
permet de préciser la mesure. L’objectif de la méthode est de comparer deux groupes, soit
un groupe ayant bénéficié de l’intervention avec un groupe n’ayant pas bénéficié de celle-ci
et de mesurer l’évolution des données avant et après une action46. Cette méthode permet
alors d’éliminer les différences systématiques entre les deux groupes en plus de permettre
d’éliminer l’évolution temporelle, supposée identique en l’absence de mesure, entre les
deux mêmes groupes47. L’écart mesuré entre les deux résultats peut ensuite être
raisonnablement attribué au programme que l’évaluateur veut juger.
Malgré ces méthodes, il existe toujours des cas où l’inférence causale peut être compliquée,
voire impossible, à déterminer. Il s’agit des programmes que l’on doit « considérer comme
partie intégrante du cadre à l’intérieur duquel notre société et notre économie fonctionnent.
Ils tendent à exister dans des contextes où l’État assume le rôle d’intervenant principal »48
ou dans le cas de programme permanent, déjà établi depuis une longue période et dont
l’envergure est trop grande pour appliquer les méthodes d’évaluation classiques.
45 Ibid. p. 17. 46 Themba G. Chirwa, Program evaluation of agricultural input subsidies in Malawi using treatment effets, Munich Personal RePEe Archive, 2010, p. 14. 47 Pauline Givord, Méthodes économétriques pour l’évaluation de politiques publiques, 2010, p. 10. 48 Secrétariat du Conseil du Trésor du Canada, Méthodes d’évaluation de programmes… Op. Cit. p. 14.
22
En définitive, bien qu’il puisse être relativement facile de mesurer l’évolution d’une
situation, en trouver les causes et définir ses proportions est plus délicat. Comme nous
l’avons vu, il existe une série de cas où il peut être difficile de directement lier l’évolution
d’une situation à un programme donné. Dans ces cas, le rôle de l’évaluateur sera, autant que
faire se peut, de réduire les doutes quant à l’inférence causale des résultats afin d’apprécier
la portée réelle des programmes.
2.4 Évaluation de programmes et vérification interne Il peut être difficile de tracer une ligne de démarcation entre les tâches et objectifs
respectifs dévolus à l’évaluation de programmes et la vérification interne. En effet, les deux
fonctions sont intimement liées et sont parfois regroupées au sein de la même unité
administrative comme c’est le cas au MTO. Néanmoins, il est possible de les départager sur
certains aspects. Ainsi l’évaluateur de programme cherche d’abord à « poser un jugement
sur la pertinence et l’impact des programmes mis en place, ainsi que sur l’atteinte des
objectifs établis »4950. De son côté, la personne chargée d’effectuer les fonctions de
vérification interne s’intéresse davantage à « l’évaluation des risques de l’organisation et à
l’analyse des contrôles nécessaire pour les gérer, de même qu’à l’examen de la pertinence
et de la fiabilité de l’information de gestion disponible, ou encore, de l’économie, de
l’efficience et de l’efficacité des opérations »51.
Les deux fonctions agissent souvent conjointement, c’est le cas au ministère du Tourisme,
et sont complémentaires. Celles-ci sont principalement utilisées afin d’augmenter la
crédibilité de la reddition de comptes effectuée et offre chacune leurs avantages. La
vérification interne permet de renforcer l’exercice du contrôle des processus tandis que
l’évaluation de programme « appuie les choix de gestion à l’égard des programmes réalisés 49 William Reid, Promoting accountabilité and continual improvement : a review of the respective roles of performance measurement, auditing, evaluation, and reporting, 1999, p. 93. 50 Secrétariat du Conseil du Trésor, Évaluation de programme… Op. Cit. p. 8. 51 Ibid.
23
et des activités. Les dirigeants et dirigeantes des ministères et des organismes ont tout
avantage à utiliser ces fonctions comme outils de gestion »52. Les travaux effectués par la
fonction évaluative permettent également de soutenir « les efforts des gestionnaires pour les
suivis et rapports à faire sur les rendements réels, et pour aider les décisionnaires à
apprécier de façon objective les résultats des divers programmes ou politiques »53. De plus,
une distinction peut également être faite entre les fonctions d’évaluation de programme et
les fonctions liées à la planification stratégique. En fait :
[…] [l]a planification stratégique définie notamment les orientations qu’une organisation souhaite prendre, compte tenu des enjeux auxquels elle doit faire face. Les orientations peuvent se traduire par la modification, le maintien ou la mise en œuvre d’un nouveau programme. L’évaluation de programme permet d’apprécier la pertinence et de mesurer l’impact réel d’un programme par rapport à ce qui était souhaité. Les résultats de l’évaluation de programme peuvent même entraîner la modification des orientations stratégiques ou, à tout le moins, des axes d’intervention54.
Pour synthétiser cette revue de la littérature, rappelons que la notion de programme est un concept
en évolution et que l’évaluation de ceux-ci dépend essentiellement du contexte dans lequel il
évolue. Concernant l’évaluation des programmes touristiques, ceux-ci présentent des défis
supplémentaires compte tenu des contraintes liées à la collecte de données primaires, de son
contexte davantage politisé, des difficultés à identifier des groupes témoins et des enjeux liés à
l’inférence causale à cause de la coordination du tourisme entre différents programmes et
ministères.
3. Méthodologie de recherche et d’intervention Pour mener à bien ses mandats, le stagiaire a principalement utilisé un processus de
recherche de type enquête afin de recueillir les informations nécessaires pour effectuer ses
livrables. L’enquête est :
52 Ibid p. 9. 53 Gouvernement du Canada, Vérification interne et évaluation des programmes, (Consultée le 15 mars 2018) [En ligne], https://www.canada.ca/fr/agence-revenu/programmes/a-propos-agence-revenu-canada-arc/verification-interne-evaluation-programmes.html 54 Secrétariat du Conseil du Trésor, Évaluation de programme… Op. Cit. p. 8.
24
[…] une activité organisée et méthodique de collecte de données sur des caractéristiques d’intérêt d’une partie ou de la totalité des unités d’une population à l’aide de concepts, de méthodes et de procédures bien définis. Elle est suivie d’un exercice de compilation permettant de présenter les données recueillies sous une forme récapitulative utile55.
L’élaboration et la rédaction de cadres de suivi et d’évaluation préliminaires ont été la
principale activité de l’étudiant lors de son stage et représentent la majorité de ses livrables.
Lors de son processus d’enquête, le stagiaire a pu compter sur l’aide des conseillers de la
Direction générale de l'encadrement gouvernemental des fonctions d'évaluation de
programmes et de vérification interne lorsque nécessaire et il a suivi les directives dictées
dans le document Cadre de suivi et d’évaluation préliminaire : Instructions destinées aux
ministères et organismes, un document destiné au personnel responsable de rédiger les
cadres de suivi et d’évaluation préliminaire.
La première étape, lors de l’élaboration d’un cadre de suivi et d’évaluation préliminaire,
consiste à une recherche et analyse documentaire suivi d’un vaste processus de consultation
incluant les différents acteurs liés au programme. Ce processus de collecte de donnée a été
le même, peu importe le programme évalué. Il s’agit d’abord de bien comprendre le
programme à évaluer afin d’apprécier le rôle des parties prenantes et prendre conscience de
la portée de l’intervention gouvernementale.
Pour rédiger les sections « Contexte » et « Descriptions du programme », un processus de
recherche documentaire et de consultation fut mis en place. La recherche et l’analyse
documentaire se sont faites essentiellement via la documentation destinée au public, les
formulaires et documents de reddition de compte ainsi que les divers documents internes du
ministère. À la suite de ce processus, une ronde de consultation était entreprise auprès du
personnel de différentes directions du ministère afin de valider l’information ou pour
55 Statistique Canada, Méthodes et pratiques d’enquêtes, 2010, p. 1.
25
obtenir certaines précisions. Ce processus de consultation permettait également de faire
connaître la fonction évaluative au-delà des gestionnaires et de réduire les craintes ou les
résistances inhérentes aux activités liées à l’évaluation de programme en créant un lien de
confiance avec le personnel des programmes visés. Cette première rencontre permettait
aussi de créer un contact direct auprès de personnes-clés pour la suite des choses.
Pour les sections «Suivi de programme » et « Stratégie globale d’évaluation », la première
tâche a été d’abord de catégoriser les différents effets prévus par le programme selon s’il
s’agissait d’un effet à court, moyen ou long terme. Par la suite, un lien entre l’effet et les
indicateurs de performance déjà prévus au programme via un processus de collecte de
données était fait. Dans plusieurs cas, des effets prévus par le programme n’avaient pas
d’indicateurs prédéfinis, le processus de recherche consistait alors à identifier un ou des
indicateurs pertinents via des sources externes et de s’assurer de la qualité et de la longévité
du processus de collecte des données.
3.1 Recherches et analyses documentaires Cette démarche consistait, dans un premier temps, à identifier et compiler les données utiles
à l’élaboration des différents livrables via l’analyse des différents documents administratifs
et légaux déjà répertoriés par le ministère. Dans un second temps, plusieurs recherches
documentaires ont été faites afin de pallier le manque d’informations. Une série de banques
de données, d’études et de documents internes ou externes ont été consultés afin de mener à
terme les différents livrables, notamment le Plan de développement de l’industrie
touristique (PDIT) et le Plan d’action 2016-2020 s’y rattachant, les guides de présentation
des cadres de suivi et d’évaluation préliminaires et finaux, les rapports d’évaluation
d’anciens programmes du ministère ainsi que les cadres normatifs des différents
programmes à évaluer.
Du côté des banques de données, nous avons mis à contribution les données collectées par
le ministère du Tourisme et de l’Institut de la statistique du Québec, les banques de données
26
de Statistique Canada et de Destination Canada ainsi que de l’Organisation mondiale du
tourisme. Une série d’études et de données provenant des associations touristiques
sectorielles et régionales (ATS et ATR) ont également été analysées afin d’avoir de
l’information sur des produits touristiques spécifiques ou des données correspondant à une
région touristique en particulier lorsqu’un programme ciblait certaines régions.
3.2 Consultation interne L’approche collaborative fut mise de l’avant tout au long de l’intervention. En effet, les
différentes unités administratives du ministère du Tourisme ont été mises à contribution
tout au long du stage. Cette approche a permis de faciliter le processus de collecte de
données ainsi que le processus de rédaction. L’approche collaborative a également permis
de réduire les craintes et de lisser les résistances liées à l’implantation de processus
d’évaluation de programme au sein du ministère.
Concrètement, le processus de consultation interne mis en place lors de l’élaboration des
cadres de suivi et d’évaluation préliminaire a pris la forme d’une consultation Top-Down,
Bottom-Up. Tout d’abord, les gestionnaires des différentes directions (Direction des
politiques et de l’intelligence d’affaires (DPIA), Direction des interventions sectorielles
(DIS), et Direction des programmes et des interventions régionales (DPIR)) ont été
rencontrés afin de présenter le stagiaire et de les informer quant à la nature des travaux qu’il
allait effectuer au ministère. Ces premières rencontres ont permis de bien cerner le secteur
d’activités de chacun et d’ouvrir des canaux de communication directs avec certaines
personnes ressources facilitant la mise en œuvre des mandats en plus de faciliter le
processus de collecte de données. Par la suite, l’essentiel du travail d’élaboration des cadres
de suivi a été réalisé avec les unités administratives de différentes directions afin de bien
comprendre les enjeux liés aux programmes, d’identifier des indicateurs pertinents et de
s’assurer de la disponibilité des données le temps venu. Après la phase de rédaction des
cadres préliminaires, le processus d’approbation empruntait le chemin inverse, c’est-à-dire
27
que le document recevait l’aval des employés de première ligne pour se faire approuver par
la haute direction en bout de chaîne.
3.3 Consultation externe
Cette méthode a été utilisée dans le but d’élargir le champ des connaissances liées à
l’évaluation de programmes, s’inspirer des autres ministères et organismes et de s’assurer
que les documents remis respectent les exigences du Secrétariat du Conseil du Trésor. Dans
cette optique, des rencontres ont été faites avec le personnel du Groupe des responsables en
analyse et évaluation de programme (GRAEP) et de la Direction générale de l'encadrement
gouvernemental des fonctions d'évaluation de programmes et de vérification interne. Ces
rencontres ont permis d’éclaircir les exigences et les limites des différents mandats en plus
de connaître les exigences du SCT de manière explicite. De plus, elles ont permis de faire
un certain étalonnage et de tirer parti de l’expérience des ministères où la fonction
évaluative est déjà bien mise en place.
4. Résultats La méthodologie expliquée dans la section précédente a permis de produire l’essentiel des
livrables prévus lors du stage. Cette section a donc pour but de mettre en lumière les
contributions du stagiaire à ceux-ci et de souligner les défis qui ont été relevés par
l’étudiant lors de son séjour au sein du ministère du Tourisme.
4.1 Mandat d’élaboration d’un cadre de suivi et d’évaluation préliminaire Chacun de ces documents respecte la même structure et débute avec la section « Origine du
mandat » qui établit le cadre légal dans lequel évoluera le processus d’évaluation. Nous
retrouvons également un bref historique des documents légaux qui viennent supporter le
programme le cas échéant. Pour réaliser cette section, des recherches et des analyses
documentaires ont été nécessaires afin de comprendre l’évolution du programme en
question. En effet, la plupart des programmes de subventions du MTO ont une certaine
longévité et leur structure ainsi que leur logique d’intervention demeure sensiblement les
28
mêmes malgré un changement d’appellation ou des changements à la marge quant à
l’admissibilité des promoteurs. L’enjeu est donc de dresser un fil conducteur entre la
version actuelle du programme avec ses prédécesseurs. Les documents utilisés dans la
rédaction de cette section ont été essentiellement des cadres normatifs et des décrets
ministériels. Ces documents légaux réservés exclusivement à l’usage interne du ministère
ont permis d’obtenir une grande partie de l’information nécessaire à l’élaboration des
mandats en plus de servir de base légale pour motiver les travaux d’évaluation.
Comme son nom l’indique, la section « Contexte et enjeux » explique l’origine politique du
programme, soit les besoins que le programme vise à combler ou la problématique devant
être réglée par le biais de l’intervention gouvernementale. La collecte de données
nécessaires à l’élaboration de cette section consistait surtout à une consultation des
personnes responsables du programme en question et de l’analyse des documents destinés
au public. Par exemple, une analyse de marché incluant l’ensemble des intervenants
touristiques a permis de démontrer que le tourisme hivernal est un secteur où le Québec se
démarque de l’offre touristique internationale. Ce constat a motivé la création de la
stratégie touristique hivernale du ministère.
Par la suite, les sections suivantes énoncent l’objectif du mandat, soit la rédaction d’un
cadre de suivi et d’évaluation préliminaire, la description de la forme que le document
prendra en prenant soin d’énumérer et expliquer chacune des sections ainsi que les
questions d’évaluation retenues par le SCT et les différentes directions du ministère qui
reflètent leur besoin d’informations. Si les questions d’évaluations du SCT demeuraient
sensiblement les mêmes, peu importe les programmes, la consultation et les discussions
avec les différents intervenants du MTO ont permis de diversifier l’étendue des enjeux. En
effet, l’ajout de certaines questions liées à l’efficacité ou à l’efficience des programmes ont
comme origine la volonté de certains cadres d’utiliser les résultats comme levier pour
consolider leur financement ou pour étendre leur champ d’intervention lors d’une
éventuelle reconduction de programme. Pour chacun des mandats, les questions
29
d’évaluation ont ciblé les enjeux de pertinence du programme, sa mise en œuvre ou son
fonctionnement selon le cas, les effets, l’efficacité et l’efficience des interventions.
Le mandat retrouve ensuite une section échéancier qui s’inspire des délais qui ont été
nécessaires lors des évaluations précédentes et des suggestions du SCT, l’identification des
clients du livrable, soit le sous-ministre et le directeur du programme en question, et des
responsables de la livraison du futur livrable, le stagiaire, ainsi que l’énoncé de la mise sur
pied d’un comité consultatif. Idéalement, le comité consultatif réunira les gestionnaires des
différentes directions liées aux programmes (DIS, DPIR), d’un expert des milieux
touristiques concernés qui sera choisi à l’extérieur du ministère, d’un représentant de la
clientèle ciblée (promoteur, ATS, ATR) ainsi que toutes autres parties prenantes concernées
par l’évaluation, par exemple un représentant de la DPIA qui est chargée de collecter et de
valider certaines données au nom du ministère.
4.2 Cadre de suivi et d’évaluation préliminaire La rédaction d’un cadre de suivi et d’évaluation préliminaire prend la forme exigée par le
SCT et contient les sections suivantes : mise en contexte, description du programme et
logique d’intervention, cadre de gestion interministériel (si pertinent), suivi du programme
et stratégie globale d’évaluation.
Si la section « Mise en contexte » était globalement une répétition de la section éponyme
présente dans le mandat, la section « Description du programme » était sensiblement plus
étoffée. Il était question d’expliquer la raison d’être du programme, ses objectifs, la nature
de l’intervention, ses intrants et ses activités de production en plus de fournir un cadre
logique du programme afin de faciliter la compréhension de la logique d’intervention.
Ici, un autre travail de recherche et d’analyse était fait afin de déterminer l’origine du
programme en ce qui a trait à sa raison d’être. Par exemple, la décision de miser sur le
tourisme hivernal, événementiel, de nature et d’aventure, etc. venait des conclusions de la
30
table mixte regroupant les différents acteurs touristiques québécois ayant eu lieu afin de
déterminer les éléments de l’offre touristique québécoise où le Québec pouvait se
démarquer à l’international et qui continuaient d’offrir des perspectives de croissance
intéressantes. Par la suite, le Département des politiques et de l’intelligence d’affaire du
ministère a déterminé les produits touristiques qui devaient être priorisés dans chacune des
stratégies. Il en va de même par rapport à la décision de miser sur les infrastructures, une
analyse de la DPIA est venue à la conclusion que le meilleur effet de levier pour développer
l’industrie touristique serait de renforcer ou actualiser le parc d’infrastructures touristiques
québécois.
Cette information est venue teinter tout le reste de l’intervention du stagiaire étant donné
que les objectifs, les cibles, les bénéficiaires, les formulaires et le processus de reddition de
compte des différents volets du PSSDT étaient orientés vers cet objectif d’édification
d’attraits. Les indicateurs de suivi potentiellement recueillis par le ministère se
rapprochaient donc plus de ceux que l’on peut trouver au ministère des Transports qu’aux
indicateurs proposés par la littérature concernant l’évaluation de programme touristique.
Ces indicateurs « purement » touristiques ont donc dû être obtenus par d’autres moyens,
soit de la consultation externe, ce qui sera expliqué plus loin dans le rapport.
Dans le cas du programme d’aide aux ATS, c’est la Loi sur le ministère du Tourisme
(RLRQ, chapitre M31.2) qui permet au MTO de déléguer certaines fonctions à des tierces
parties via un processus de reconnaissance. C’est ainsi que la décision a été prise de
reconnaître certaines ATS ayant la capacité de développer leurs produits touristiques
sectoriels en exerçant un leadership dans leur secteur. La même procédure soutient
également le processus de reconnaissance des ATR, l’autre forme de partenariat privilégiée
par le ministère avec les acteurs privés.
La sous-section « Objectifs de l’intervention », quant à elle, a pour but d’énoncer les
objectifs du programme et de les classifier en terme d’effet à court, moyen et long terme.
31
Ces effets se retranscriront en termes d’indicateurs aux fins de l’évaluation de programme.
Dans la plupart des cas, les objectifs du programme étaient clairement définis et il était
simple de les traduire en termes d’effets. Néanmoins, nous avons pu noter que certains
objectifs étaient sensiblement identiques et qu’il serait difficile, voire impossible, de les
traduire en termes d’effets distincts, par exemple l’objectif de développement des produits
touristiques et l’objectif de renforcement de l’offre touristique. Dans ces cas, la décision a
été prise de fusionner les objectifs afin d’en sortir un effet unique qui serait plus facilement
évaluable pour la suite des choses.
Dans d’autres cas, le défi était de donner un sens clair à un objectif dans le but de définir un
indicateur à la fin du processus. Ici, l’exemple vient du PrDIT – ATS qui a, parmi ses effets
à moyen terme, l’objectif de « Miser sur les synergies ». Dans le but d’opérationnaliser cet
objectif, une rencontre avec les responsables du programme a été faite afin d’identifier une
action de la part du ministère qui serait susceptible de donner du sens à l’objectif. Suite à la
consultation, il a été décidé que la façon que nous allions mesurer la capacité du ministère à
miser sur les synergies allait se traduire par le nombre d’ententes ATS signées au cours de
la vie du programme.
Ce genre de défis a eu le mérite de sensibiliser les personnes responsables de l’élaboration
des programmes à porter une attention particulière à la formulation des objectifs des
programmes et de prendre en compte, malgré la raison politique des énoncés,
l’opérationnalisation des objectifs lors du processus d’évaluation des programmes. Cette
prise de conscience facilitera probablement l’évaluation des futurs programmes.
De son côté, la sous-section «Nature de l’intervention» n’a pas amené de défis particuliers,
elle consistait essentiellement à décrire l’action du ministère dans le cadre du programme et
une simple lecture du cadre normatif ou des documents corporatifs suffisait pour obtenir
l’information. La tâche consistait aussi à décrire le type d’intervention privilégié par le
gouvernement, laquelle prenait le plus souvent du temps une forme financière soit en prêts,
32
garanties de prêts ou subventions et d’en définir les modalités de paiement ainsi que le type
de projet admissible. Néanmoins, ces dernières informations devaient être accompagnées
d’une justification auprès du SCT. Le processus de consultation auprès des responsables
des programmes a permis d’apprendre que les prêts ou les garanties de prêts étaient le type
d’intervention privilégié compte tenu du contrôle qu’elle offrait. En effet, une garantie de
prêt peut être conditionnelle à certains livrables ou à une reddition de compte. Toutefois,
une subvention versée en majorité à la signature de l’entente offre beaucoup moins de
contrôle au gouvernement pour superviser les travaux ou incite moins le promoteur à se
plier à un processus de divulgation d’informations, essentiellement pour l’évaluation de
programme, lorsque l’argent a déjà été versé.
Ensuite, lorsqu’il était question du partage des rôles et responsabilités des acteurs
permettant le bon fonctionnement du programme, les choses pouvaient se complexifier. En
effet, les rôles et responsabilités n’étaient pas toujours explicitement décrire dans les
documents et il a fallu, dans certains cas, procéder à un processus d’entrevus avec les
acteurs pour s’assurer de bien comprendre la fonction de chacun afin de déterminer
l’imputabilité de toutes les parties prenantes. Finalement, la sous-section «Intrants et
activités de production» était composée des différentes ressources dont le programme
dispose pour arriver à ses fins. Les ressources dont les programmes jouissent peuvent être
financières, humaines, matérielles ou informationnelles.
Le cadre logique, quant à lui, est seulement une simplification des éléments recensés plus
tôt de façon imagée afin de permettre aux personnes n’étant pas au fait du programme, soit
le personnel du SCT devant superviser plusieurs programmes de plusieurs ministères
différents, de le comprendre en un coup d’œil et de comprendre sa logique d’intervention.
Ce schéma permet également de comprendre comment les intrants et les activités du
ministère se transforment en extrants menant aux différents effets du programme.
Ces avec la section «Suivi du programme» que nous touchons réellement au cœur des
enjeux liés à l’évaluation de programme. En effet c’est dans cette section que nous
33
sélectionnons les indicateurs, les données de référence ainsi que les cibles qui serviront à
évaluer les différents programmes du ministère pour ensuite les catégories selon le type
d’évaluation (effet, efficacité, efficience, fonctionnement ou mise en œuvre et pertinence).
Après avoir divisé les effets en court, moyen et long terme, il a fallu faire un lien entre
l’effet et les indicateurs de performance déjà prévus au programme via un processus de
collecte de données déjà planifié. Il s’agissait essentiellement d’une collecte d’informations
quant à l’évolution du chiffre d’affaires, du nombre d’emplois et de l’achalandage des
compagnies touristiques bénéficiant d’une aide gouvernementale. Or, cette collecte de
données déjà planifiée par le ministère n’a jamais été suffisante pour répondre au besoin
d’un seul programme et il a fallu identifier les besoins d’informations restant à combler via
un processus de collecte n’étant pas spécifiquement mis en place en vue de l’évaluation du
programme. Une recherche menée auprès des banques de données de la DPIA, de l’Institut
de la statistique du Québec ou de Statistique Canada a permis de réduire le nombre d’effets
ne bénéficiant pas d’au moins un indicateur de suivi et d’offrir des indicateurs
supplémentaires à certains effets permettant ainsi de renforcer la crédibilité de l’évolution
observée tout en évitant une charge de travail ou un coût supplémentaire. Pour les effets
toujours orphelin suite à ce processus, nous avons dû nous résoudre à nous tourner auprès
de sources secondaires dont la validé n’était pas garantie pour une entité gouvernementale.
Dans le cas où l’effet touchait un secteur spécifique d’activité, par exemple le
développement de produits touristiques jugés prioritaires, les banques de données des
associations touristiques sectorielles pouvaient également être mises à contribution. La
sollicitation de l’Association des stations de ski du Québec a été particulièrement utile lors
de la phase de collecte de données. En plus de fournir une kyrielle de données pertinentes
permettant de juger de l’évolution du secteur et d’aiguiller le stagiaire vers des indicateurs
de remplacement permettant de cibler spécifiquement l’achalandage touristique.
Par exemple, un bon moyen de mesurer indirectement l’achalandage touristique des stations
de ski est de comptabiliser les ventes d’accès à la journée ou à la semaine. Ce genre d’achat
34
est beaucoup plus fréquent chez les touristes ou les excursionnistes et permet d’apprécier
davantage l’évolution de la clientèle touristique que le nombre de jours/ski global qui prend
en compte une large partie de clientèle locale. Une rencontre avec les intervenants de
l’Association de motoneige a permis le même constat : le nombre de cartes d’accès annuel
aux sentiers de motoneige englobe une grande partie de locaux tandis que les cartes d’accès
journalières ou hebdomadaires permettent d’apprécier davantage l’évolution de
l’achalandage touristique du secteur.
Ce genre de rencontres a également permis d’identifier plusieurs facteurs qui pouvaient
permettre de renforcer l’inférence causale entre le programme et l’évolution des données en
fournissant, par exemple, des outils statistiques permettant de prendre en compte les effets
de la météo sur l’achalandage. D’autres données collectées auprès des ATS permettront
également de remettre l’évolution des données dans leurs contextes.
Finalement, si la recherche de données n’était pas concluante, la décision d’utiliser des
indicateurs provenant des fiches de demande d’aide financière (par exemple le nombre de
projets financés) a été prise même si ce genre d’indicateur offre plus d’information sur les
extrants du programme que sur ses effets. Cette stratégie était prise en dernier recours et
était en accord avec le SCT. Toutefois, le problème lié à l’inférence causale était d’autant
plus présent dans ce genre de situation. En effet, en plus de ne pas pouvoir mettre en
perspective l’évolution des données recueillies auprès du promoteur, rien ne permet
d’affirmer que celui-ci n’aurait pas fait le même genre d’investissement sans le programme.
Le promoteur aurait tout aussi bien pu faire le même genre d’investissement sans une aide
gouvernement, voire un investissement répondant encore mieux à ses besoins s’il n’avait
pas certaines contraintes gouvernementales liées à la nature du projet financé. Dans le but
de pallier ce problème lié à l’incertitude de la relation cause à effet et dans l’optique
d’augmenter les sources de données collectées la décision a été prise de lancer un processus
de sondage, à la fin de vie du programme, pour questionner les bénéficiaires de celui-ci sur
l’évolution des retombées touristiques et l’intervention gouvernementale. En plus de
35
permettre de renforcer l’inférence causale, le processus de sondage permettra de
questionner les promoteurs sur la pertinence et le fonctionnement du programme afin de
bonifier l’évaluation.
Quant à l’établissement de la donnée de référence et des cibles à atteindre, lorsque celles-ci
n’étaient pas déterminées par le cadre normatif, la décision a été prise d’en établir, dans la
mesure du possible, par voie de consensus entre les acteurs. La donnée de référence choisie
était, dans la plupart des cas, l’année de création du programme à évaluer ou une moyenne
des trois années précédant sa création afin d’éviter de comparer les effets du programme
avec seulement une année exceptionnellement bonne ou mauvaise. Pour ce qui est des
cibles, si celle-ci n’était pas clairement identifiée dans les cadres normatifs, le consensus a
été que de spécifier si le programme visait une évolution à la hausse ou à la baisse de la
donnée. Le stagiaire a bien essayé d’arrimer les cibles sur les prévisions faites par
Destination Canada ou l’Organisation mondiale du Tourisme, mais les résistances auprès
des parties prenantes ont fait avorter le projet. Néanmoins, il sera possible, dans la plupart
des cas, de comparer les résultats des bénéficiaires des programmes, des régions ou des
produits visés par le programme avec d’autres régions ou produits n’ayant pas bénéficié
d’aides gouvernementales afin d’apprécier les effets de celles-ci.
L’option de comparer les résultats avec l’ensemble du Québec ou du Canada est aussi une
avenue envisagée dans les cas où les programmes ne visent pas de région ou de produits
spécifiques. Le but étant de démontrer l’inférence causale entre les interventions du
programme et les effets observés. En mettant en perspective les résultats d’un promoteur,
d’une région ou d’un secteur touristique ayant bénéficié de l’intervention du MTO avec des
populations ayant évolué sans cette intervention cela nous permettra de prendre en compte
les résultats réels du programme. Une augmentation de 10% est déjà moins spectaculaire si
le reste du secteur non subventionné a fait 9%. Inversement,ne pas atteindre une cible de
3% est moins décevant si le voisin connaît, quant à lui, une décroissance. Donc, en plus de
permettre d’établir l’inférence causale entre l’évolution des données et le programme, ce
36
genre de comparaison permet également de mettre l’évolution des données dans un
contexte qui permettent son appréciation.
Une fois ce travail de recherche et de sélection d’indicateurs terminé, la dernière étape du
plan de suivi de programme a été de spécifier la source des données, la fréquence de la
collection ainsi que la responsabilité de celle-ci dans les tableaux de suivi. Cette dernière
étape n’était qu’une formalité étant donné que le processus de recherche effectué en amont
permettait d’avoir l’information sous la main.
La dernière section d’un cadre de suivi et d’évaluation préliminaire, « Stratégie globale
d’évaluation », comme le nom l’indique, sert essentiellement à jeter les bases de
l’évaluation à venir. Dans cette section, les informations suivantes se doivent d’être
présentes : la date des différents livrables à venir, les aspects évaluatifs qui seront traités et
comment ceux-ci s’articuleront entre eux, comment ces évaluations permettront de
répondre aux besoins d’informations de l’organisation et du SCT et, finalement, une
explication sommaire de la manière que l’évaluation sera faite selon l’aspect évaluatif.
Étant donné que la majeure partie du travail a été faite en amont, grâce au tableau de suivi
des indicateurs expliqué précédemment, le principal défi dans cette partie du cadre de suivi
et d’évaluation préliminaire a été de déterminer un échéancier réaliste de chacune des
phases de l’évaluation ainsi que d’expliquer et articuler le processus de sondage auprès des
bénéficiaires du programme. En effet, dans le but de bonifier la collecte de données en
incluant directement les bénéficiaires des programmes dans le processus, la décision a été
prise de réaliser un sondage afin de les questionner sur la pertinence, le fonctionnement et
les effets du programme pour élargir les pistes de réflexion. Le processus permettra aussi de
renforcer l’inférence causale en questionnant les bénéficiaires des interventions
gouvernementales sur la partie des effets qui sont directement imputables au programme.
4.3 Mise à jour du plan triennal 2017-2020
37
Comme nous l’avons mentionné précédemment, la nature des livrables a sensiblement
changé au cours du stage auquel l’étudiant a pris part. La cause principale de ces
changements a été la reconduction ou modification de deux programmes, soit l’ajout de la
Stratégie touristique québécoise au nord du 49e parallèle qui est devenu le volet 5 du
Programme de soutien aux stratégies de développement touristique et la reconduction du
Programme d’aide financière aux festivals et aux événements touristiques par un cadre
normatif alors que le programme était soutenu jusqu’alors par un décret.
Ces deux modifications ont apporté leurs lots de changement en terme organisationnel,
mais également en ce qui a trait à la planification des programmes à évaluer. En effet, le
fait qu’un programme soit fusionné à un groupe de programme ou qu’un programme
jouisse d’un cadre normatif implique que les modalités de reddition de comptes et
d’évaluation changent.
Dans le cas de la Stratégie touristique au nord du 49e parallèle, le changement impliquait
que le processus d’évaluation, et donc la livraison du cadre de suivi et d’évaluation
préliminaire, devait se faire beaucoup plus tôt que prévu afin d’être synchronisé avec les
quatre autres volets du PSSDT. La date convenue entre les parties a été celle du 28 février
2018 plutôt que la date du 30 septembre 2018 initialement prévue. Dans le cas du
Programme d’aide aux festivals et aux événements touristiques, la date du 31 octobre 2018
a été retenue.
Afin de rendre possible l’ajout de ces deux évaluations dans le plan triennal d’évaluation,
tout en respectant les échéanciers prévus et les ressources disponibles, une analyse des
programmes déjà prévus au plan ainsi que des critères de sélection des programmes
prioritaires à évaluer a été faite. L’analyse a démontré que le volet Aide stratégique aux
projets touristiques du PrDIT pouvait être soustrait du plan triennal d’évaluation en
invoquant le faible montant des ressources financières en jeu ainsi que la faible activité du
programme au cours des dernières années. En effet, le volet est en fin de parcours et la
38
décision a déjà été prise de ne pas reconduire ce volet, du moins dans sa forme actuelle. La
décision a donc été prise, en accord avec les acteurs du milieu, de ne pas entreprendre ce
processus d’évaluation prévu pour mars 2018 afin de libérer des ressources pour
l’évaluation des nouveaux programmes.
5. Recommandations Ce séjour au sein de ministère du Tourisme a permis d’apprécier l’ampleur des efforts faits
par celui-ci afin de mettre en place un processus d’évaluation efficace et efficient.
Néanmoins, certaines mesures devraient être prises afin de s’assurer que le développement
de la fonction évaluative au MTO suive son court. Plusieurs défis sont également à
anticiper afin de s’assurer que le ministère puisse gérer la charge de travail émanant de la
fonction évaluative et ainsi pouvoir se conformer aux exigences du Secrétariat du Conseil
du Trésor.
Lors de son stage, l’étudiant a pu noter certaines actions qui seraient utiles afin de
développer la fonction évaluative à l’intérieur du ministère. Ces recommandations
apporteront un regard extérieur sur les pratiques du MTO en matière d’évaluation de
programmes, ce qui permettra d’explorer de nouvelles avenues afin de permettre le
renforcement de la fonction et de ses processus. L’importance des enjeux soulevés ainsi que
l’effet de levier des recommandations sont variables et la priorisation de celles-ci est laissée
à la discrétion du ministère en fonction de sa capacité d’action et des ressources
disponibles.
A Poursuivre les efforts de promotion et de vulgarisation de la fonction évaluative auprès du personnel impliqué.
Bien que certaines actions aient déjà été entreprises pour mieux faire connaître les enjeux
liés à l’évaluation de programmes, plusieurs efforts restent à faire afin que le personnel
évaluateur puisse atteindre son plein potentiel. Lors de son stage, l’étudiant a rencontré
39
plusieurs résistances de la part du personnel. Ces résistances ont pris des formes diverses,
par exemple de la passivité par rapport aux demandes d’informations faites par le stagiaire,
ou dans certains cas, une sur implication de certains acteurs lors du processus dans le but,
présumé, de modifier les critères d’évaluation à leur avantage.
La raison de ces résistances est, de l’avis du stagiaire, lié au fait que la finalité de
l’évaluation de programme n’est pas tout à fait comprise par l’ensemble des acteurs du
ministère. Certains perçoivent le processus comme un mécanisme de contrôle visant à
surveiller le travail des individus ou visant essentiellement à motiver des coupes au sein des
programmes alors que d’autres perçoivent seulement le processus d’évaluation comme une
façon de satisfaire aux directives du Secrétariat du Conseil du Trésor. Néanmoins, peu de
personnes perçoivent la plus-value que peut apporter l’évaluation de programme dans le
cadre de leur activité, par exemple l’évolution des façons de faire, la justification d’une
reconduction de programme ou l’augmentation de ressources allouées à certains
programmes pour ne nommer que ces quelques avantages.
Pour y parvenir, le processus de promotion devrait multiplier les séances d’informations
afin de mieux faire connaître la fonction et s’assurer d’obtenir l’appui des différentes
directions. Cet appui devrait être plus présent et affiché davantage par la DGSG afin de
donner du poids et de la crédibilité aux demandes faites par le personnel lié à l’évaluation
de programmes.
B Mettre davantage à contribution les ressources évaluatives lors de l’élaboration de nouveaux programmes tant sur l’aspect des objectifs, résultats et cibles, mais aussi dans l’élaboration des outils de collecte de données reliés aux programmes. Cette recommandation est un peu liée à la précédente dans le sens où la fonction évaluative
n’est pas pleinement comprise par l’ensemble des acteurs. En effet, lors de son stage,
l’étudiant a eu l’occasion de constater que l’élaboration ou la reconduction des programmes
continuait à se faire sans mettre à contribution l’expertise de personnel évaluatif. Par
40
exemple, certains objectifs des programmes n’étaient pas évaluables ou l’étaient
difficilement, certains indicateurs sélectionnés ne bénéficiaient pas d’outils de collecte de
données adéquats, d’autres indicateurs continuent d’être mis de l’avant alors que
l’expérience démontre que leur collecte est difficile, etc. À titre d’exemple, le chiffre
d’affaires est demandé dans la plupart des processus de reddition de comptes faits par les
bénéficiaires de programme. Or, il s’agit d’une donnée stratégique que les promoteurs
refusent de transmettre facilement. Cette inadéquation entre la volonté du ministère et la
réalité du terrain alourdit les processus et rend difficile la mise en œuvre des évaluations.
C Mettre en place un guide de rédaction du document à l’intention des nouveaux employés et stagiaires. La mise en place d’un guide de rédaction uniforme pour l’ensemble des communications
interne ou externe du MTO permettrait aux nouveaux employés et aux stagiaires de
produire des documents conformes aux coutumes du ministère dès le début. Pour le
moment, les nouveaux membres du personnel reçoivent ces directives qu’après le dépôt de
leur premier livrable, lorsque le personnel administratif vérifie la mise en page du
document. Il s’en suit une perte de temps pour le nouvel employé ainsi que pour le
personnel administratif qui serait facilement évitable par la mise en place d’un guide de
rédaction.
D Augmenter les partenariats entre le MTO, la SCT et les autres ministères. Augmenter le nombre de rencontres entre le personnel lié à la fonction évaluative du
ministère du Tourisme, le Secrétariat du Conseil du Trésor et le personnel évaluatif d’autres
ministères permettrait d’optimiser les pratiques de chacun par le partage des connaissances
en plus de favoriser une synergie entre ceux-ci. Bien que le Groupe des responsables en
analyse et en évaluation de programme (GRAEP) rempli en partie cette mission
d’optimisation des processus et des partages de connaissances, celui-ci mériterait de
41
pousser son action encore plus loin en multipliant ses activités de promotion et de partage
d’expertise.
E Avoir au moins deux personnes dédiées à l’évaluation de programme. Compte tenu de la charge de travail présente et à venir, nous recommandons fortement au
MTO de se doter d’au moins une personne dédiée à la fonction d’évaluation de
programmes à temps plein ainsi qu’une autre personne dédiée à la fonction d’évaluation de
programme à temps partiel, voir à temps plein. En effet, le ministère ne compte pas moins
de 53 programmes56 à son actif et le plan triennal 2017-2020 ne prévoit que neuf
évaluations. Celles-ci sont toutes au niveau de l’amorçage, soit à la phase d’élaboration des
cadres de suivi et d’évaluation préliminaires. Comme le montre le graphique qui suit, il
s’agit d’une des phases les moins exigeantes en termes de temps et d’effort. La phase qui
s’en vient, soit la collecte de données, leur analyse et la rédaction des rapports d’évaluation
sera trop chargée pour les ressources dont le ministère dispose en ce moment. Il faut donc
prévoir des ressources supplémentaires si celui-ci désire respecter les échéanciers qu’il s’est
fixés. Nous proposons donc au ministère de se doter d’une deuxième personne dédiée à
l’évaluation de programme à temps plein qui permettra de pallier les besoins lorsque la
charge de travail sera plus intense et qui permettra d’augmenter le nombre d’évaluation
prévue.
Figure : Charge de travail lié à l’évaluation 57
56 Ministère du Tourisme, Plan pluriannuel d’évaluation de programme, 2017. 57 Ministère du Tourisme, Guide de l’évaluation de programme du ministère, 2016.
42
Conclusion L’immersion du stagiaire en milieu de travail a été des plus bénéfiques sur plusieurs
aspects. D’abord, l’expérience lui a permet de confronter ses connaissances théoriques déjà
acquises à la réalité du terrain. De plus, le stage a également permis l’acquisition de
nouvelles connaissances concernant les enjeux liés à l’évaluation de programmes, mais
aussi par rapport aux réalités du travail au sein de la fonction publique québécoise.
Au cours de son intervention d’une durée de 15 semaines au ministère du Tourisme, la
stagiaire aura produit et livré les documents suivants :
• Une mise à jour du plan triennal d’évaluation de programmes 2017-2018 à 2019-
2020;
• Les cadres de suivi et d’évaluations préliminaires des volets 1 à 5 du PSSDT;
• Le cadre de suivi et d’évaluation préliminaire du Programme d’aide aux ATS;
• Les mandats d’élaboration du cadre de suivi et d’évaluation préliminaire du PSSDT
volet 5, du Programme d’aide aux ATS et du PAFFET.
Ces différents livrables auront permis au MTO de poursuivre ses efforts de mise en œuvre
de la fonction évaluative au sein de l’organisation en plus d’avoir permis de répondre aux
attentes du Secrétariat du Conseil du Trésor. L’élaboration des mandats d’évaluation aura
43
permis de mobiliser les différentes directions du ministère autour de la mission de la
fonction évaluative, tandis que l’approbation des différents cadres de suivi et d’évaluation
préliminaires aura permis de créer les premières actions concrètes en vue de réaliser ces
mandats évaluatifs. Finalement, la mise en jour du plan triennal d’évaluation permettra de
prendre en compte la nouvelle réalité du ministère en préservant un échéancier clair et des
dates de livraisons réalistes. Bien que certains efforts soient toujours nécessaires afin de
s’assurer du bon fonctionnement de la mission évaluative au sein du MTO, ces différents
livrables auront permis à l’organisation de cheminer dans la bonne voie pour la réaliser.
Bibliographie CHAIRE DE TOURISME TRANSAT (2012). Les entreprises touristiques au cœur du développement économique, (Consultée le 1er mai 2018) [En ligne] https:// chairedetourisme.uqam.ca/upload/files/cahier_symposium_electronique_FR _v4.pdf CHIRWA, Themba G. (2010), «Program evaluation of agricultural input subsidies in Malawi using treatment effets : Methods and practicability based on propensity scores», Munich Personal RePEe Archive, 42 p. DUMAINE, François (2012). «Je me souviens… de t’avoir trop longtemps cherché», The Canadian Journal of Program Evaluation, Vol. 25, No 3, p. 95-102. DUPEYRAS, Alain et Neil MACCULLUM (2013). «Indicateurs de la compétitivité du tourisme : Document d’orientation», Étude de l’OCDE sur le tourisme, 2013/02, p. 1-64. FITZPATRICK, Jody (2012). L’évaluation de programme : Quelques considérations de premier plan, (Consultée le 20 décembre 2017) [En ligne] http://extranet.puq.ca/ media/produits/documents/1949_D3548-FP.pdf FLEISCHER, Aliza et Daniel FELSENSTEIN (2000). «Support for rural tourism : Does it make a difference?», Annuals of Tourism Research, Vol. 27, No 4. p. 1007-1024. FORGET, André (2009). Guide de présentation des travaux universitaires, ENAP, 25 p. GAJDOŠÍKOVÁ, Zuzanna (2016). «Reengineering of tourism organization structure : The cas of Slovakia», Procedia Social and Behavioral Sciences, p. 405-412. GIVORD, Pauline (2010). Méthodes économétriques pour l’évaluation de politiques publiques, Direction des Études et Synthèses Économiques, 79 p. GOUVERNEMENT DU CANADA (2015). Évaluation de la Politique sur l'évaluation de 2009, (Consultée le 15 mars 2018) [En ligne] https://www.canada.ca/fr/secretariat- conseil-tresor/services/verifications-evaluations/centre-excellence-en- evaluation/evaluation-politique-evaluation-2009.html
44
GOUVERNEMENT DU CANADA (2016). Directive sur la fonction d'évaluation, (Consultée le 17 février 2018) [En ligne] https://www.tbs-sct.gc.ca/pol/doc- fra.aspx?id=15681 GOUVERNEMENT DU CANADA (2018). Vérification interne et évaluation des programmes, (Consultée le 15 mars 2018) [En ligne] https://www.canada.ca/fr/ agence-revenu/programmes/a-propos-agence-revenu-canada-arc/verification- interne-evaluation-programmes.html GOUVERNEMENT DU CANADA (2011). Évaluation du Programme des manifestations touristiques de renom, (Consultée le 1er mai 2018) [En ligne] https://www.ic.gc.ca /eic/site/ae-ve.nsf/fra/h_03423.html GOUVERNEMENT DU QUÉBEC (2017). Loi sur l’Administration Publique, (Consultée le 3 mars 2018) [En ligne] http://legisquebec.gouv.qc.ca/fr/ShowDoc/cs/A-6.01 HAXTON, Peter (2015). «Tour d’horizon des politiques efficaces pour la croissance du tourisme», Étude de l’OCDE sur le tourisme, 2015/01. p. 1-82. MAZOUZ, B., LECLERC, J., & TARDIF, M. (2008). La gestion intégrée par résultats concevoir et gérer autrement la performance dans l'administration publique. Québec: Presses de l'Université du Québec. MERRIEN, François-Xavier (1999). «La Nouvelle Gestion publique : un concept mythique», Lien social et Politiques, No 41, p. 95-103. MINISTÈRE DU TOURISME (2018). Organigramme, (Consultée le 20 février 2018) [En ligne] http://www.tourisme.gouv.qc.ca/publications/media/document/publications- administratives/orgTQ.pdf MINISTÈRE DU TOURISME (2017). Cadre de référence ministériel en évaluation de programme. MINISTÈRE DU TOURISME (2017). Plan pluriannuel d’évaluation de programme 2017- 2020. MINISTÈRE DU TOURISME (2018) Déclaration de services aux citoyens. (Consultée le 20 février 2018) [En ligne] http://www.tourisme.gouv.qc.ca/publications/ media/document/publications-administratives/declaration-services-citoyens.pdf MINISTÈRE DU TOURISME (2016). Guide de l’évaluation des programmes du ministère. PORTEOUS, Nancy (2016). La construction du modèle logique d’un programme, (Consultée le 13 décembre 2017) [En ligne] http://cmapspublic3.ihmc.us/ rid=1P2V7DS2D-1MR3C13-B9/Ridde%20et%20Dagenais_chapitre %205_modele%20logique.pdf REID, William (1999). «Promoting accountability and continual improvement : a review of respective roles of performance measurement auditing evaluation, and reporting», The Canandian Journal of Program Evaluation, vol. 14, no 2, p. 85-104. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2014). Méthode d'évaluation des programmes : Mesure et attribution des résultats des programmes, troisième édition. (Consultée le 1er mars 2018) [En ligne] https://www.tbs- sct.gc.ca/cee/pubs/meth/pem-mep-fra.pdf SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (1984). Principes pour l'évaluation des programmes par les ministères et organismes fédéraux, (Consultée
45
le 20 mars 2018) [En ligne] https://www.tbs-sct.gc.ca/cee/pubs/principles- principes1984-fra.asp SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2016). Normes d'évaluation pour le gouvernement du Canada, (Consultée le 15 mars 2018) [En ligne] http://www.tbs-sct.gc.ca/pol/doc-fra.aspx?id=15688 SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA (2016). Directive sur les résultats, (Consultée le 15 mars 2018) [En ligne] https://www.tbs-sct.gc.ca/pol/doc- fra.aspx?id=31306 SECRÉTARIAT DU CONSEIL DU TRÉSOR DU CANADA. (2010). Pour soutenir des évaluations efficaces : Guide d'élaboration de stratégies de mesure du rendement, (Consultée le 3 mars 2018) [En ligne] https://www.canada.ca/fr/secretariat-conseil- tresor/services/verifications-evaluations/centre-excellence-en-evaluation/guide- elaboration-strategies-mesure-rendement.html SECRÉTARIAT DU CONSEIL DU TRÉSOR DU QUÉBEC (2002). L'évaluation de programme: Document réservé aux dirigeants et dirigeantes de ministères et d'organisme. Québec: Gouvernement du Québec. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU QUÉBEC (2018). Évaluation de programme, (Consultée le 1er mai 2018) [En ligne], https://www.tresor.gouv.qc.ca/ cadredegestion/gestion-axee-sur-les-resultats/au-cours-du-cycle-mesurer-et- sameliorer/evaluation-de-programme/index.html SECRÉTARIAT DU CONSEIL DU TRÉSOR DU QUÉBEC (2012). Glossaire des termes usuels en mesure de performance et en évaluation, (Consultée le 1er mars 2018) [En ligne] https://www.tresor.gouv.qc.ca/fileadmin/PDF/publications/glossaire _termes_usuels.pdf SECRÉTARIAT DU CONSEIL DU TRÉSOR DU QUÉBEC (2017). Cadre de suivi et d’évaluation préliminaire : Instructions destinées aux ministères et organismes, 16p. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU QUÉBEC (2017). Plan pluriannuel d’évaluation : Instructions destinées aux ministères et organismes, 10 p. SECRÉTARIAT DU CONSEIL DU TRÉSOR DU QUÉBEC (2014). Directive concernant l’évaluation de programme dans les ministères et les organismes, (Consultée le 20 décembre 2017) [En ligne] https://www.tresor.gouv.qc.ca/cadredegestion /actualites/detail-de-la-nouvelle/directive-concernant-levaluation-de-programme- dans-les-ministeres-et-les-organismes/index.html SECRÉTARIAT DU CONSEIL DU TRÉSOR DU QUÉBEC (2014). Guide sur la gestion axée sur les résultats (Consultée le 20 mars 2018) [En ligne] https://www.tresor.gouv.qc.ca/cadredegestion/fileadmin/documents/publications/sct /GuideGestionAxeeResultat.pdf SOCIÉTÉ CANADIENNE DE L’ÉVALUATION (2018). Qu'est-ce que l'évaluation?, (Consultée le 10 mars 2018) [En ligne] https://evaluationcanada.ca/fr/quest-ce-que- levaluation STATISTIQUE CANADA (2010). Méthodes et pratiques d’enquête, 422 p. VRHOVSKI, Dražen (2014). «Government subsidies effeciency analysis in the tourism sector in Croatia», Trends in Tourism and Hospitality Industry, p. 161-173.
46
ANNEXE MANDAT D’ÉLABORATION D’UN CADRE DE SUIVI ET D’ÉVALUATION PRÉLIMINAIRE
PROGRAMME D’AIDE FINANCIÈRE AUX FESTIVALS ET AUX ÉVÉNEMENTS TOURISTIQUES
1. ORIGINE DU MANDAT
Le 6 février 2018, le Conseil du trésor approuve les modifications apportées au Programme d’aide financière aux festivals et aux événements touristiques ainsi que son cadre normatif (CT 218548). Il précise qu’à échéance, le 31 mars 2021, une évaluation de programme, basée entre autres sur l’atteinte les résultats visés, sera réalisée. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 31 octobre 2018.
Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation d’un nouveau programme.
Conformément au plan pluriannuel en matière d’évaluation de programme 2017-2020, la Direction Générale des Services à la Gestion (DGSG) a été mandatée par les autorités du ministère du Tourisme pour réaliser le cadre de suivi et d’évaluation préliminaire du Programme d’aide financière aux festivals et aux événements touristiques.
Ce document sera préalablement approuvé par le sous-ministre et transmis au SCT au moins quinze jours avant le début des travaux d’évaluation, tel que précisé dans la directive.
2. CONTEXTE ET ENJEUX Le Programme d’aide financière aux festivals et aux événements touristiques vise entre autres à soutenir la mise en œuvre du plan de développement de l’industrie touristique 2012-2020 (PDIT) et du Plan d’action 2016-2020 qui visent à « faire du tourisme une industrie performante, innovante et durable qui exerce un effet de levier sur le développement économique du Québec en offrant une destination originale et incontournable aux clientèles internationale, canadienne et québécoise ». Pour y parvenir, le programme oriente ses actions vers le développement et le renforcement de l’offre touristique québécoise afin de faire du tourisme lié aux festivals et aux événements une industrie concurrentielle, durable, innovante et attractive pour les visiteurs du Québec et pour ceux des marchés extérieurs. Les festivals et événements touristiques font partie de l’image de marque du Québec à titre de composante importante de son offre touristique et sont un vecteur de développement économique pour toutes les régions. Il importe donc de consolider et de stimuler cette industrie touristique performante afin de tirer profit de sa croissance internationale afin d’attirer davantage de visiteurs hors Québec et de retenir la clientèle québécoise au Québec. Les festivals et événements présentent donc des opportunités pour l’atteinte de ces objectifs puisque, en plus d’être un produit d’appel important auprès des clientèles internationales notamment pour les régions de la Capitale-Nationale et de la métropole, ils sont également une vitrine exceptionnelle pour le rayonnement du Québec à l’international et contribuent significativement à animer toutes les régions du Québec au bénéfice de toutes les clientèles. Dans ce contexte, ce programme vise à pallier les enjeux liés au financement notamment quant à la stabilité et la prévisibilité de l’aide accordée à cette industrie en plus de soutenir son émergence, sa croissance et son innovation. Plus précisément, les objectifs poursuivis par ce programme sont : 1) Positionner la destination québécoise sur la scène nationale et internationale en favorisant le développement des festivals et événements touristiques, 2) Stimuler l’économie des régions par l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.
3. OBJECTIFS DU MANDAT Le présent mandat consiste à élaborer un cadre de suivi et d’évaluation préliminaire qui répond aux exigences de la Directive concernant l’évaluation de programme dans les ministères et organismes. L’élaboration du document a comme objectif principal de prévoir le type et la source de données qui alimentera le suivi des programmes et par la suite les évaluations envisagées. Les indicateurs de suivi déterminés serviront de base aux évaluations prévues. De fait, le cadre précise les questions et les enjeux de l’évaluation et identifie les démarches et les stratégies d’évaluation qui devront être entreprises. Il détaille les principaux besoins en matière d’informations et de données à collecter, de manière à assurer leur disponibilité en temps opportun.
4. CADRE DE SUIVI ET D’ÉVALUATION PRÉLIMINAIRE En réponse aux consignes du SCT, le modèle de cadre de suivi et d’évaluation proposé par le MTO contiendra les renseignements suivants :
1) La mise en contexte, la description du programme et sa logique d’intervention incluant une représentation du modèle logique;
2) Le suivi du programme décrivant les indicateurs et les cibles retenus, les sources de données, la fréquence et la responsabilité de la collecte;
3) La stratégie globale d’évaluation comprenant les principales étapes et les méthodes utilisées.
5. QUESTIONS ET SOURCES D’ÉVALUATION Tel que précisé dans le cadre normatif, l’évaluation du Programme d’aide financière aux festivals et aux événements touristiques sera basée, entre autres, sur les résultats visés afin de comparer les résultats obtenus à la situation initiale. Par conséquent, les évaluations envisagées des enjeux de pertinence, de fonctionnement, des effets, de l’efficacité et d’efficience. Évaluation de la pertinence Les données recueillies et les analyses réalisées sur les besoins et le contexte justifient-elles que le gouvernement continue d’intervenir dans ce secteur? Existe-t-il des chevauchements avec d’autres programmes qui visent des objectifs comparables? Évaluation du fonctionnement Dans quelle mesure les activités et les processus de l’aide financière aux projets correspondent-ils à la planification initiale? Quelles sont les forces à préserver et les faiblesses à améliorer en matière de fonctionnement du programme? Évaluation des effets Dans quelle mesure les résultats visés par le Programme d’aide financière aux festivals et aux événements touristiques sont-ils atteints? Les données suivantes seront recueillies auprès des bénéficiaires :
- Progression de la provenance ou de la provenance et de l’achalandage; - Progression du chiffre d’affaires du promoteur; - Impact économique.
Dans quelle mesure le Programme d’aide financière aux festivals et aux événements touristiques contribue-t-il à l’atteinte des objectifs du PDIT et du plan d’action 2016-2020? Les données suivantes seront colligées par le MTO :
- le taux d’occupation moyen des établissements d’hébergement touristiques; - la fréquentation régionale et la provenance des touristes; - le nombre d’emplois liés au tourisme; - les recettes touristiques du Québec.
Évaluation de l’efficacité Dans quelle mesure les objectifs visés par le Programme d’aide financière aux festivals et aux événements touristiques sont-ils atteints? Les objectifs spécifiques aux volets du programme sont : Volet 1 :
- Attirer une part importante de la population locale et un nombre important, en fonction des critères du programme, de visiteurs;
- Animer la destination touristique en encourageant les activités gratuites destinées au grand public et en favorisant le déploiement d’activités sur de multiples sites;
- Renforcer le positionnement de la destination en soutenant des leaders nationaux, voire internationaux, dans leur domaine qui diffuse une programmation et une expérience de calibre international.
Volet 2 :
- Contribuer à animer les régions et à augmenter le nombre de visiteurs. - Encourager la relève des festivals et événements pour assurer la pérennité de l’industrie
événementielle dans toutes les régions et maintenir la position et les avantages concurrentiels du Québec dans le domaine.
Volet 3 :
- Accueillir des manifestations internationales ponctuelles qui contribuent à la visibilité de la destination auprès des clientèles touristiques internationales;
- Appuyer le développement de nouvelles activités permettant de générer des recettes touristiques additionnelles.
Évaluation de l’efficience Quel est le rendement des investissements en termes de recettes touristiques, d’emplois et de visiteurs? Quel est l’effet levier du financement ? Pour répondre aux questions d’évaluation, les quatre sources d’information suivantes ont été retenues :
1. Les documents administratifs et de gestion 2. Les bases de données statistiques existantes 3. Les promoteurs (bénéficiaires) du projet 4. Le personnel du MTO (gestionnaires et professionnels impliqués) 5. Les experts du milieu
6. ÉCHÉANCIER PRÉVU
Responsable Étapes de la réalisation Février 2018 Mars 2018 Avril 2018 Mai 2018 Juin 2018
DGSG Rédaction du mandat J1
DGSG Dépôt du mandat au SM aux fins d’approbation J15
SM Approbation du mandat par le SM J30
Unité administrative
Transmission au DGSG des documents sur le
programme et des données afférentes et détermination de la personne-ressource
(15 jours)
J45
DGSG
Rédaction du projet de cadre de suivi et d’évaluation
préliminaire du programme (30 jours)
J75
DGSG
Rédaction de la version finale du cadre de suivi et
d’évaluation préliminaire (20 jours)
J95
SM & CT
Dépôt pour approbation du cadre de suivi et d’évaluation préliminaire du programme
par SM (15 jours)
J110
SCT
Dépôt pour approbation du cadre de suivi et d’évaluation préliminaire du programme
par le SCT (15 jours)
J125
7. CLIENTS
M. François Côté, directeur des programmes et de l’intervention régionale M. Patrick Dubé, Sous-ministre
8. COMITÉ CONSULTATIF
Le comité consultatif sera mis en place lors de l’approbation du présent mandat. Idéalement, il sera composé du responsable de la gestion du programme, du responsable de l’évaluation, d’un expert du milieu ainsi que d’autres parties prenantes directement concernées par l’évaluation.
9. RESPONSABLES DU PROCESSUS D’ÉLABORATION DU CADRE S&E PRÉLIMINAIRE
Mme Carmen Méndez, responsable de la vérification interne et de l’évaluation de programme, Direction Générale des Services à la Gestion (DGSG) M. Benoit Lapierre, conseiller en évaluation de programme, Stagiaire, Direction Générale des Services à la Gestion (DGSG)
MANDAT D’ÉLABORATION D’UN CADRE DE SUIVI ET D’ÉVALUATION PRÉLIMINAIRE PROGRAMME DE DÉVELOPPEMENT DE L’INDUSTRIE TOURISTIQUE (PrDIT)
PROGRAMME D’AIDE FINANCIÈRE AUX ASSOCIATIONS TOURISTIQUES SECTORIELLES (ATS)
1. ORIGINE DU MANDAT
Le 7 mai 2013, le Conseil du trésor approuvait le Programme de développement de l’industrie touristique (PrDIT) ainsi que son cadre normatif (CT 212558). Le cadre normatif précise qu’à échéance, soit après l’année financière 2017-2018, une reddition de comptes sera faite sur la base du cadre d’évaluation mentionné au point 5. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 31 mai 2018. Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation d’un nouveau programme. Conformément au plan pluriannuel en matière d’évaluation de programme 2017-2020, la Direction Générale des Services à la Gestion (DGSG) a été mandatée par les autorités du ministère du Tourisme pour réaliser le cadre de suivi et d’évaluation préliminaire du PrDIT axe 1 – Aide à la gouvernance et à la concertation : Programme d’aide financière aux associations touristiques sectorielles (ATS) Ce document sera préalablement approuvé par le sous-ministre et transmis au SCT au moins quinze jours avant le début des travaux d’évaluation, tel que précisé dans la directive.
2. CONTEXTE ET ENJEUX Le PrDIT a succédé au Programme de soutien au développement et à la promotion touristique (PSDPT) et constitue le principal programme ministériel d’aide financière destiné aux intervenants et partenaires de l’industrie touristique québécoise. Le PrDIT s’inscrit dans le virage initié lors des travaux du Comité de performance de l’industrie touristique et de la Table stratégique d’échanges qui ont donné lieu au Plan de développement de l’industrie touristique (PDIT) 2012-2020 : un itinéraire vers la croissance. Le PrDIT doit assurer la transition nécessaire pour soutenir l’industrie touristique dans les actions entreprises et les accompagner pour réaliser les objectifs déterminés par le PDIT. Dans cette optique, le Programme d’aide financière aux associations touristiques sectorielles (ATS) fut mis en place afin de répondre aux besoins créés par l’axe d’intervention 1 – Aide à la gouvernance et à la concertation mentionné par le PrDIT. Ce programme vise à offrir un soutien aux ATS pour qu’elles puissent jouer un rôle actif en matière de développement, d’entrepreneuriat et de mise en marché. Les principales responsabilités qui leur sont conférées à l’intérieur du programme sont : 1) l’acquisition et la diffusion de connaissances stratégiques liées au secteur d’activités de l’ATS ou à son produit, au profil de clientèles et de marchés vs leur produit et aux grandes tendances qui s’y dessinent. 2) l’accompagnement conseil auprès des entreprises touristiques de leur secteur pour favoriser le développement de produits touristiques originaux et la consolidation d’une offre intégrée à travers différents partenariats. 3) la mise en marché hors Québec des produits et des attraits touristiques en conformité avec les orientations du MTO.
3. OBJECTIFS DU MANDAT Le présent mandat consiste à élaborer un cadre de suivi et d’évaluation préliminaire qui répond aux exigences de la Directive concernant l’évaluation de programme dans les ministères et organismes.
L’élaboration du document a comme objectif principal de prévoir le type et la source de données qui alimentera le suivi des programmes et par la suite les évaluations envisagées. Les indicateurs de suivi déterminés serviront de base aux évaluations prévues. De fait, le cadre précise les questions et les enjeux de l’évaluation et identifie les démarches et les stratégies d’évaluation qui devront être entreprises. Il détaille les principaux besoins en matière d’informations et de données à collecter, de manière à assurer leur disponibilité en temps opportun.
4. CADRE DE SUIVI ET D’ÉVALUATION PRÉLIMINAIRE En réponse aux consignes du SCT, le modèle de cadre de suivi et d’évaluation proposé par le MTO contiendra les renseignements suivants :
4) La mise en contexte, la description du programme et sa logique d’intervention incluant une représentation du modèle logique;
5) Le suivi du programme décrivant les indicateurs et les cibles retenus, les sources de données, la fréquence et la responsabilité de la collecte;
6) La stratégie globale d’évaluation comprenant les principales étapes et les méthodes utilisées.
5. QUESTIONS ET SOURCES D’ÉVALUATION Tel que précisé dans le plan triennal d’évaluation 2017-2020 et en concordance avec le cadre normatif ainsi que le Cadre de référence en matière d’évaluation de programme de TQ de l’époque, les évaluations envisagées traiteront des enjeux de pertinence, de fonctionnement, des effets, de l’efficacité et d’efficience. Évaluation de la pertinence Les données recueillies et les analyses réalisées sur les besoins et le contexte justifient-elles que le gouvernement continue d’intervenir dans ce secteur? Existe-t-il des chevauchements avec d’autres programmes qui visent des objectifs comparables? Évaluation du fonctionnement Dans quelle mesure les activités et les processus de l’aide financière aux ATS correspondent-ils à la planification initiale? Quelles sont les forces à préserver et les faiblesses à améliorer en matière de fonctionnement du programme? Évaluation des effets Dans quelle mesure les résultats visés par le PrDIT axe 1 – Aide à la gouvernance et à la concertation : Programme d’aide financière aux associations touristiques sectorielles (ATS) sont-ils atteints? Les données suivantes seront recueillies auprès des bénéficiaires :
- L’achalandage touristique du Québec - Les recettes touristiques du Québec; - Le nombre d’emplois directement créés ou maintenus.
Évaluation de l’efficacité Dans quelle mesure les objectifs visés par le PrDIT axe 1 – Aide à la gouvernance et à la concertation : Programme d’aide financière aux associations touristiques sectorielles (ATS) sont-ils atteints? Les objectifs spécifiques du programme sont :
- Positionner le Québec comme destination touristique pour les voyages d’agrément et d’affaires; - Créer des conditions favorables au partenariat, à la concertation, à l’émergence, à la structuration
et à la mise en marché hors Québec des produits et des services touristiques - Rehausser le nombre, la qualité et la notoriété des produits, des services et des attraits
touristiques; - Accroître les recettes touristiques et la création d’emplois.
Évaluation de l’efficience Quel est le rendement des investissements en termes de recettes touristiques, d’emplois et de notoriété? Quel est l’effet levier du financement ? Pour répondre aux questions d’évaluation, les quatre sources d’information suivantes ont été retenues :
6. Les documents administratifs et de gestion 7. Les bases de données statistiques existantes 8. Les promoteurs (bénéficiaires) du projet 9. Le personnel du MTO (gestionnaires et professionnels impliqués) 10. Les experts du milieu
6. ÉCHÉANCIER PRÉVU Responsable Étapes de la réalisation Mars 2018 Avril 2018 Mai 2018 Juin 2018 Juillet 2018
DGSG Rédaction du mandat J1
DGSG Dépôt du mandat au SM aux fins d’approbation J15
SM Approbation du mandat par le SM J30
Unité administrative
Transmission au DGSG des documents sur le programme et
des données afférentes et détermination de la personne-
ressource (15 jours)
J45
DGSG
Rédaction du projet de cadre de suivi et d’évaluation
préliminaire du programme (30 jours)
J75
DGSG
Rédaction de la version finale du cadre de suivi et
d’évaluation préliminaire (20 jours)
J95
SM & CT
Dépôt pour approbation du cadre de suivi et d’évaluation
préliminaire du programme par SM (15 jours)
J110
SCT
Dépôt pour approbation du cadre de suivi et d’évaluation
préliminaire du programme par le SCT (15 jours)
J125
7. CLIENTS M. Éric Julien, Directeur des interventions sectorielles M. Patrick Dubé, Sous-ministre
8. COMITÉ CONSULTATIF Le comité consultatif sera mis en place lors de l’approbation du présent mandat. Idéalement, il sera composé du responsable de la gestion du programme, du responsable de l’évaluation, d’un expert du milieu ainsi que d’autres parties prenantes directement concernées par l’évaluation.
9. RESPONSABLES DU PROCESSUS D’ÉLABORATION DU CADRE DE S&E PRÉLIMINAIRE Mme Carmen Méndez, responsable de la vérification interne et de l’évaluation de programme, Direction Générale des Services à la Gestion (DGSG) M. Benoit Lapierre, conseiller en évaluation de programme, Stagiaire, Direction Générale des Services à la Gestion (DGSG)
MANDAT D’ÉLABORATION D’UN CADRE DE SUIVI ET D’ÉVALUATION PRÉLIMINAIRE PROGRAMME DE SOUTIEN AUX STRATÉGIES DE DÉVELOPPEMENT TOURISTIQUE
VOLET 5 : APPUI À LA STRATÉGIE TOURISTIQUE QUÉBÉCOISE AU NORD DU 49E PARALLÈLE
10. ORIGINE DU MANDAT
Le 12 décembre 2017, le Conseil du trésor approuve les modifications apportées au Programme de Soutien aux Stratégies de Développement Touristique (PSSDT) et son cadre normatif (CT 218413). Il précise qu’à échéance, le 31 mars 2020, une évaluation de programme, basée entre autres sur l’atteinte les résultats visés, sera réalisée. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 28 février 2018.
Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation d’un nouveau programme.
Conformément au plan pluriannuel en matière d’évaluation de programme 2017-2020, la Direction Générale des Services à la Gestion (DGSG) a été mandatée par les autorités du ministère du Tourisme pour réaliser le cadre de suivi et d’évaluation préliminaire du PSSDT volet 5 - Appui à la stratégie touristique québécoise au nord du 49e parallèle.
Ce document sera préalablement approuvé par le sous-ministre et transmis au SCT au moins quinze jours avant le début des travaux d’évaluation, tel que précisé dans la directive.
11. CONTEXTE ET ENJEUX Le PSSDT vise à soutenir la mise en œuvre du plan de développement de l’industrie touristique 2012-2020 (PDIT), des stratégies sectorielles de développement touristique et du plan d’action 2016-2020. Pour y parvenir, le programme oriente ses actions vers le développement et le renforcement de l’offre touristique québécoise afin de faire du tourisme une industrie concurrentielle, durable, innovante et attractive pour les visiteurs du Québec et pour ceux des marchés extérieurs. Le PSSDT volet 5 - Appui à la stratégie touristique québécoise au nord du 49e parallèle s’inscrit dans cette vision. En effet, il existe un intérêt croissant de la part d’un segment ciblé de la clientèle internationale, notamment européenne, pour le Nord québécois. Compte tenu du potentiel que représente le tourisme international dans ce secteur et en raison de ce que le Québec peut offrir comme expérience à ses visiteurs, ainsi que le potentiel de développement que le tourisme peut apporter aux régions concernées, le développement touristique du Nord québécois fait partie des composantes qui contribueront à l’atteinte des cibles établies au PDIT. Dans ce contexte, ce volet vise à faire du nord du 49e parallèle une destination de tourisme durable de classe mondiale qui procure une expérience touristique authentique, exceptionnelle et sécuritaire, alliant la cohabitation des peuples nordiques et le respect de la nature, dans une perspective de développement entrepreneurial et d’enrichissement collectif. Plus précisément, les objectifs poursuivis par ce volet sont : 1) accroître la capacité et la qualité de l’hébergement, 2) diversifier les activités des pourvoiries afin d’attirer une nouvelle clientèle, 3) augmenter les infrastructures et attraits touristiques, 4) augmenter l’achalandage en soutenant la structuration de l’offre, 5) accroître le développement et le renforcement de l’expertise en région.
12. OBJECTIFS DU MANDAT Le présent mandat consiste à élaborer un cadre de suivi et d’évaluation préliminaire qui répond aux exigences de la Directive concernant l’évaluation de programme dans les ministères et organismes. L’élaboration du document a comme objectif principal de prévoir le type et la source de données qui alimentera le suivi des programmes et par la suite les évaluations envisagées. Les indicateurs de suivi déterminés serviront de base aux évaluations prévues. De fait, le cadre précise les questions et les enjeux de l’évaluation et identifie les démarches et les stratégies d’évaluation qui devront être entreprises. Il détaille les principaux besoins en matière d’informations et de données à collecter, de manière à assurer leur disponibilité en temps opportun.
13. CADRE DE SUIVI ET D’ÉVALUATION PRÉLIMINAIRE En réponse aux consignes du SCT, le modèle de cadre de suivi et d’évaluation proposé par le MTO contiendra les renseignements suivants :
7) La mise en contexte, la description du programme et sa logique d’intervention incluant une représentation du modèle logique;
8) Le suivi du programme décrivant les indicateurs et les cibles retenus, les sources de données, la fréquence et la responsabilité de la collecte;
9) La stratégie globale d’évaluation comprenant les principales étapes et les méthodes utilisées.
14. QUESTIONS ET SOURCES D’ÉVALUATION Tel que précisé dans le cadre normatif, l’évaluation du PSSDT volet 5 sera basée, entre autres, sur les résultats visés afin de comparer les résultats obtenus à la situation initiale. Par conséquent, les évaluations envisagées des enjeux de pertinence, de fonctionnement, des effets, de l’efficacité et d’efficience. Évaluation de la pertinence Les données recueillies et les analyses réalisées sur les besoins et le contexte justifient-t-elles que le gouvernement continue d’intervenir dans ce secteur? Existe-t-il des chevauchements avec d’autres programmes qui visent des objectifs comparables? Évaluation du fonctionnement Dans quelle mesure les activités et les processus de l’aide financière aux projets correspondent-ils à la planification initiale? Quelles sont les forces à préserver et les faiblesses à améliorer en matière de fonctionnement du programme? Évaluation des effets Dans quelle mesure les résultats visés par le PSSDT volet 5 sont-ils atteints? Les données suivantes seront recueillies auprès des bénéficiaires :
- la progression de l’achalandage; - la progression du chiffre d’affaires du promoteur; - la progression des emplois créés.
Dans quelle mesure le PSSDT volet 5 contribue-t-il à l’atteinte des objectifs du PDIT et du plan d’action 2016-2020? Les données suivantes seront colligées par le MTO :
- le taux d’occupation moyen des établissements d’hébergement touristiques; - la fréquentation régionale et la provenance des touristes; - le nombre d’emplois liés au tourisme; - les recettes touristiques du Québec.
Évaluation de l’efficacité Dans quelle mesure les objectifs visés par le PSSDT volet 5 sont-ils atteints? Les objectifs spécifiques du programme sont :
- Accroître la capacité et la qualité de l’hébergement, - Diversifier les activités des pourvoiries afin d’attirer une nouvelle clientèle, - Augmenter les infrastructures et attraits touristiques, - Augmenter l’achalandage en soutenant la structuration de l’offre, - Accroître le développement et le renforcement de l’expertise en région.
Évaluation de l’efficience Quel est le rendement des investissements en termes de recettes touristiques, d’emplois et de visiteurs? Quel est l’effet levier du financement ? Pour répondre aux questions d’évaluation, les quatre sources d’information suivantes ont été retenues :
11. Les documents administratifs et de gestion 12. Les bases de données statistiques existantes 13. Les promoteurs (bénéficiaires) du projet 14. Le personnel du MTO (gestionnaires et professionnels impliqués) 15. Les experts du milieu
15. ÉCHÉANCIER PRÉVU
Responsable Étapes de la réalisation Janvier 2018
Février 2018 Mars 2018 Avril 2018 Mai 2018
DGSG Rédaction du mandat J1
DGSG Dépôt du mandat au SM aux fins d’approbation J15
SM Approbation du mandat par le SM J30
Unité administrative
Transmission au DGSG des documents sur le
programme et des données afférentes et détermination de la personne-ressource
(15 jours)
J45
DGSG Rédaction du projet de cadre de suivi et d’évaluation
J75
préliminaire du programme (30 jours)
DGSG
Rédaction de la version finale du cadre de suivi et
d’évaluation préliminaire (20 jours)
J95
SM & CT
Dépôt pour approbation du cadre de suivi et d’évaluation préliminaire du programme
par SM (15 jours)
J110
SCT
Dépôt pour approbation du cadre de suivi et d’évaluation préliminaire du programme
par le SCT (15 jours)
J125
16. CLIENTS
M. François Côté, directeur des programmes et de l’intervention régionale M. Patrick Dubé, Sous-ministre
17. COMITÉ CONSULTATIF
Le comité consultatif sera mis en place lors de l’approbation du présent mandat. Idéalement, il sera composé du responsable de la gestion du programme, du responsable de l’évaluation, d’un expert du milieu ainsi que d’autres parties prenantes directement concernées par l’évaluation.
18. RESPONSABLES DU PROCESSUS D’ÉLABORATION DU CADRE S&E PRÉLIMINAIRE
Mme Carmen Méndez, responsable de la vérification interne et de l’évaluation de programme, Direction Générale des Services à la Gestion (DGSG) M. Benoit Lapierre, conseiller en évaluation de programme, Stagiaire, Direction Générale des Services à la Gestion (DGSG)
MINIS TÈ R E DU TOUR IS ME
P R OG R AMME DE S OUT IE N AUX S T R AT É G IE S DE DÉ V E L OP P E ME NT T OUR IS T IQUE
(PSSDT)
V OL E T 1 : AP P UI À L A S T R AT É G IE DE MIS E E N V AL E UR DU T OUR IS ME HIV E R NAL
(SMVTH)
C ADR E DE S UIV I E T D’É V A L UAT ION P R É L IMINAIR E
Préparé par : Direction générale des services à la gestion Févier 2018
TABLE DES MATIÈRES
1 CONTEXTE ........................................................................................................................................ 1
2 DESCRIPTION DU PROGRAMME ....................................................................................................... 1
2.1 RAISON D’ÊTRE ..................................................................................................................... 3
2.2 OBJECTIFS ............................................................................................................................. 3
2.3 LOGIQUE D’INTERVENTION .................................................................................................. 4
3 SUIVI DU PROGRAMME ................................................................................................................... 6
3.1 CHOIX DES INDICATEURS ET DES CIBLES ............................................................................... 7
3.1.1 Le choix des indicateurs ............................................................................................................. 7
4 STRATÉGIE GLOBALE D’ÉVALUATION ............................................................................................. 12
5 CONSIDÉRATIONS ÉTHIQUES ......................................................................................................... 14
6 APPROBATION DES RESPONSABLES ............................................................................................... 14
1
1 CONTEXTE Le 12 décembre 2017, le Conseil du trésor (CT) approuve les modifications apportées au Programme de soutien aux Stratégies de développement touristique (PSSDT) et son cadre normatif (CT 218413). Il précise qu’à échéance, le 31 mars 2020, une évaluation de programmes, basée entre autres sur l’atteinte des résultats visés, sera réalisée. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 31 janvier 2018. Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation d’un nouveau programme. Conformément au plan annuel en matière d’évaluation de programmes 2017-2018, la Direction générale des services à la gestion a été mandatée par les autorités du ministère du Tourisme (MTO) pour réaliser le cadre de suivi et d’évaluation préliminaire du PSSDT volet 1 - Appui à la Stratégie de mise en valeur du tourisme hivernal (SMVTH). Ce document sera préalablement approuvé par le sous-ministre et transmis au SCT quinze jours avant le début des travaux d’évaluation, tel que précisé dans la directive. Le cadre de suivi et d’évaluation préliminaire a pour intention de décrire le programme, de proposer un plan de suivi des principaux indicateurs en plus de développer une stratégie globale d’évaluation. Cette stratégie permet de planifier et de détailler une démarche qui rendra compte de la pertinence et du fonctionnement du programme en plus d’en estimer la performance globale. La structure du présent document répond au gabarit proposé par le SCT et contient les renseignements suivants :
• La description du programme incluant sa raison d’être, ses objectifs et sa logique d’intervention;
• Le suivi du programme décrivant les indicateurs retenus, les sources de données, la fréquence et la responsabilité de la collecte;
• La stratégie globale d’évaluation comprenant les principales étapes et méthodes utilisées.
2 DESCRIPTION DU PROGRAMME Le PSSDT vise le renforcement et le développement de l’offre touristique québécoise afin de faire du « tourisme une industrie concurrentielle, durable, innovante et attractive pour les visiteurs du Québec et ceux des marchés extérieurs ». Il comporte cinq volets qui entendent stimuler l’investissement privé, la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des retombées économiques du tourisme dans toutes les régions du Québec.
2
En février 2014, le MTO a présenté la SMVTH 2014-2020 et son plan d’action afin de développer son potentiel dans ce domaine. Le 17 mars 2016, lors du discours du budget 2016-2017, le gouvernement du Québec annonçait des contributions gouvernementales totalisant 40 M$ pour soutenir la mise en œuvre de trois stratégies de développement touristique dont la SMVTH fait partie. La mise à jour économique de novembre 2017 est venue bonifier de 20 M$ ce montant, portant ainsi le budget à 60 M$. Cette stratégie contribue à la réalisation des objectifs prévus au Plan de développement de l’industrie touristique 2012-2020 : un itinéraire vers la croissance (PDIT) et du Plan d’action 2016-2020 par le développement du tourisme hivernal. Pour atteindre ses buts, neuf mesures structurées autour de deux axes ont été déterminées :
• Premier axe : hausser l’attractivité des cinq zones d’activités hivernales et de leurs produits prioritaires;
• Deuxième axe : développer les produits hivernaux stratégiques de manière durable.
Le déploiement du PSSDT se traduit par la mise en application de son volet 1 qui vise l’appui à la SMVTH. Le PSSDT volet 1 offre une aide financière pour des projets comportant des coûts minimaux de 100 000 $ et l’aide maximale accordée est de 3 M$ pour la construction, l’agrandissement ou la réfection d’infrastructure touristique et la consolidation, l’implantation, l’expansion ou la modernisation d’un attrait, d’une activité, d’un équipement, d’un produit spécialisé ou d’un service touristique. À partir de janvier 2018, l’aide maximale accordée par le MTO est de 2 M$. Cette aide financière ne peut excéder 33,33 % des coûts admissibles d’un projet et est versée comptant en deux versements. Le premier versement, équivalant à 60 % de l’aide accordée, est versé à la suite de la signature de l’entente avec le promoteur alors que le second versement, équivalant à 40 % de l’aide prévue, est versé à la suite de la réception de l’audit d’un vérificateur externe. Le cumul maximal des aides gouvernementales comprend le total des aides financières accordées, incluant les aides remboursables considérées à 50% pour les coûts admissibles du projet par l’ensemble des ministères et organismes provinciaux et fédéraux ainsi que des entités municipales. Ce cumul ne pourra pas excéder 50 % s’il s’agit d’un organisme à but lucratif (OBL), 80 % s’il s’agit d’un organisme à but non lucratif (OBNL), d’une coopérative et d’une municipalité et 90 % s’il s’agit de communauté ou de nation autochtone (OBL et OBNL) ainsi que pour des organismes des Îles-de-la-Madeleine. Pour être admissible, tout projet doit satisfaire aux conditions suivantes :
• Démontrer un potentiel d’attraction des clientèles touristiques du Québec et des marchés extérieurs;
• Avoir comme principale période d’opération l’hiver; • Être réalisé dans une des cinq zones d’activités hivernales; ou • Constituer un des produits touristiques prioritaires ciblés dans la Stratégie de
mise en valeur du tourisme hivernal ou être complémentaire à l’un des produits ciblés.
3
a. RAISON D’ÊTRE Le Québec bénéficie d’une position géographique avantageuse qui lui permet d’offrir une expérience hivernale globale. Selon l’étude « Veille touristique mondiale » de la Commission canadienne du tourisme (CCT), les produits hivernaux du Canada ont une bonne notoriété et occupent la première place quant à leur positionnement concurrentiel. De plus, une enquête sur les préférences en matière de voyage permet de préciser les activités hivernales qui agissent comme principal déclencheur d’un voyage. C’est le cas notamment des excursions de motoneige et de ski alpin. L’offre touristique québécoise doit être renforcée, renouvelée et structurée pour que la destination québécoise se démarque, qu’elle soit compétitive et qu’elle affiche son originalité par rapport aux autres grandes destinations de réputation internationale qui misent sur leur potentiel de tourisme hivernal. La décision de miser sur le tourisme hivernal tire son origine des conclusions de la table mixte qui regroupait l’ensemble des acteurs touristiques québécois en vue d’élaborer le PDIT. Celle-ci est venue à la conclusion que le tourisme hivernal était un secteur touristique à fort potentiel ainsi qu’un produit d’appel qui permettait au Québec de se distinguer de l’offre touristique internationale. Par la suite, une analyse de l’état des lieux du secteur fut entreprise par la Direction des politiques et de l’intelligence d’affaires (DPIA) du MTO afin d’identifier les produits ainsi que les régions prioritaires pour la mise en œuvre de la stratégie. Les investissements prévus au volet 1 du PSSDT devraient aider le Québec à développer son plein potentiel touristique au niveau du tourisme hivernal. L’appui à la SMVTH permettra notamment de prolonger les périodes touristiques et de proposer une offre d’activités touristiques variées. Le programme met l’accent sur les produits touristiques qui représentent des avantages concurrentiels du Québec et qui répondent à la demande des marchés ciblés.
2.1 OBJECTIFS Le Programme d’appui à la SMVTH vise à atteindre trois objectifs spécifiques (effets à court terme) :
• Hausser l’attractivité des cinq zones d’activités hivernales identifiées à la SMVTH58;
• Renforcer la compétitivité du tourisme hivernal québécois par le développement et la croissance des produits prioritaires, soit le ski alpin et les stations de montagne, la motoneige, les parcs nationaux et les festivals et évènements;
• Améliorer la diversification de l’offre touristique québécoise en matière de tourisme hivernal en renforçant une offre multi-activité par des projets structurants.
Pris dans son ensemble, les projets développés dans le cadre de la SMVTH, ainsi que dans les autres stratégies, contribueront à atteindre les objectifs généraux (effets à moyen terme) du PSSDT qui sont :
• Favoriser le développement d’une offre touristique originale, complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés59 par le MTO;
58 Les cinq zones d’activités hivernales identifiées dans la stratégie de mise en valeur du tourisme hivernal sont : Zone A : Outaouais, Laurentides, Lanaudière et Mauricie, Zone B : Montréal, Zone C : Cantons-de-l’Est, Zone D : Québec, Charlevoix, et Saguenay-Lac-Saint-Jean, Zone E : Gaspésie.
4
• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.
Le PSSDT ainsi que l’ensemble des programmes d’aides du MTO ont pour but de réaliser les objectifs du PDIT 2012-2020 ainsi que du Plan d’action 2016-2020 (effets à long terme) qui sont :
• Des recettes touristiques totalisant 18,9 G$ en 2020; • Un accroissement du nombre d’emplois équivalant à 50 000 emplois d’ici 2020.
2.2 LOGIQUE D’INTERVENTION La Direction des interventions sectorielles (DIS) est responsable du déploiement de la SMVTH ainsi que de soutenir les associations touristiques sectorielles (ATS) et autres organismes dans leurs démarches. De plus, la DIS soutient également la Direction des programmes et de l’intervention régionale (DPIR) dans la prise de décision concernant les demandes d’aides financières en réalisant des avis sectoriels dans le cadre du programme. La DPIR du MTO est responsable de la mise en œuvre du PSSDT volet 1, de la sélection des projets et du suivi administratif des dossiers et de sa reddition de comptes. Elle assure le lien avec le promoteur à chacune des étapes du processus d’attribution d’une aide financière. Pour leur part, les promoteurs doivent joindre à leur formulaire de Demande d’aide financière, dûment rempli, les documents exigés, dont un plan d’affaires qui présente la description détaillée des clientèles visées ainsi que des impacts et des retombées touristiques du projet. Cette première étape permet de valider l’admissibilité du projet. À la suite de l’analyse de leur dossier de Demande d’aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leur projet. La coordination des actions de ces différents acteurs ont pour objectif de sélectionner et de financer des projets ayant pour but de soutenir la mise en œuvre de la SMVTH. Ces projets permettront de dynamiser et diversifier l’offre touristique québécoise en matière de tourisme hivernal. Le schéma suivant illustre la logique d’intervention du programme. Il présente une description sommaire du programme et de ses composantes. Schéma : Modèle logique du programme d’appui à la SMVTH.
Raison d'être Le Québec dispose d'une position géographique avantageuse qui lui permet d'offrir une expérience hivernale globale, mais l’offre touristique se doit d’être bonifié afin d’atteindre son plein potentiel :
• Besoin de développer la notoriété et l’avantage concurrentiel des produits hivernaux du Québec;
• Besoin de proposer une offre variée d’activités qui permettra aux visiteurs de vivre une expérience globale de l’hiver québécois.
59 Les onze marchés ciblés : Ontario, Reste du canada (ROC), Atlantique Centre (EU), Nouvelle-Angleterre (EU), Sud des États-Unis, Côte Ouest et Centre Ouest des États-Unis, France, Chine, Mexique et Québec (Stratégie 2014, p. 37 à 40).
5
Conditions d'admissibilité
Pour être admissible, tout projet doit satisfaire aux conditions suivantes :
• Démontrer un potentiel d’attraction des clientèles touristiques du Québec et des marchés extérieurs;
• Avoir comme principale période d’opération l’hiver; • Être réalisé dans une des cinq zones d’activités hivernales; ou
• Constituer un des produits touristiques prioritaires ciblés de la stratégie.
Clientèle cible • Les OBL légalement constitués au Québec; • Les OBNL légalement constitués au Québec; • Les coopératives légalement constituées au Québec; • Les municipalités60, Les communautés et les nations autochtones reconnues par
l’Assemblée nationale; • Tout regroupement de ces clientèles.
Objectifs Objectifs spécifiques
• Hausser l’attractivité des cinq zones d’activités hivernales identifiées à la SMVTH; • Renforcer la compétitivité du tourisme hivernal québécois par le développement
et la croissance des produits prioritaires soit le ski alpin et de montagne, la motoneige, les parcs nationaux et les festivals et évènements;
• Améliorer la diversification de l’offre touristique québécoise en matière de tourisme hivernal en renforçant une offre multi-activité par des projets structurants.
Objectifs généraux
• Favoriser le développement d’une offre touristique originale, complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés par le MTO;
• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.
Buts
• Faire du tourisme une industrie compétitive, durable, innovante et attractive pour les visiteurs du Québec et des autres marchés;
• Soutenir la mise en œuvre du PDIT 2012-2020 et le Plan d’action 2016-2020.
Nature de l'intervention
À la suite de l'analyse de leur dossier de demande d'aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leurs projets selon les modalités suivantes :
60 La désignation de municipalité comprend les municipalités, les cités les villes, les villages, les paroisses, les cantons, les cantons unis, les villages nordiques, les territoires non organisés, les municipalités régionales, de comté (MRC), les communautés métropolitaines, les régies intermunicipales et les corporations ou les organismes dont une corporation municipale nomme la majorité des membres ou contribue à plus de la moitié du financement, les regroupements de tels municipalités, corporations ou organismes.
6
• L’aide financière est versée comptant et est accordée en deux versements : 60 % à la signature de l’entente et 40 % à la réception de l’audit d’un vérificateur externe;
• Le projet admissible doit comporter des coûts admissibles d’au moins 100 000 $ et l’aide financière est de 3 M$. L’aide maximale accordée sera de 2 M$ à partir de janvier 2018.
Intrants Ressources financières : 60 M$ pour les volets 1, 2, 3 (2016-2017 à 2019-2020). Ressources humaines : Les responsables de la coordination du programme (DIS, DPIR). Ressources informationnelles : Les données administratives et de gestion sont consignées dans le système de gestion de l'aide financière du ministère (demandes d'aide financière, fiches de retombées touristiques, etc.).
Activités de production
• Demandes d'aide financière reçues en continu; • Analyse et évaluation de l'admissibilité de la demande d'aide financière; • Prise de décision relative à chacune des demandes d'aide financière; • Attribution de l'aide financière et protocole d'entente; • Suivi et reddition de comptes.
Extrants • Nombre de projets soutenus par le programme.
Effets à court terme
• Augmentation de la compétitivité du tourisme hivernal; • Hausse de l’attractivité des cinq zones d’activités hivernales identifiées à la
SMVTH; • Diversification de l’offre en matière de tourisme hivernal; • Développement et croissance des produits prioritaires.
Effets à moyen terme
• Augmentation de l’achalandage; • Augmentation du chiffre d’affaires des promoteurs; • Augmentation des emplois créés.
Effets à long terme • Augmentation du taux d’occupation moyen des établissements d’hébergement touristiques;
• Augmentation de la fréquentation régionale et la provenance des touristes; • Augmentation du nombre d’emplois liés au tourisme; • Augmentation des recettes touristiques du Québec.
3 SUIVI DU PROGRAMME Le suivi du programme est un examen périodique des activités à l’aide d’indicateurs et de cibles préétablis dans le but de constituer la base de données nécessaire à l’évaluation, soit la mesure de l’atteinte des résultats visés exigée par le CT. La mise en place d’un processus de suivi adéquat assure la disponibilité de données fiables et valides en temps opportun pour évaluer les programmes aux moments clés
7
Pour les besoins du cadre de suivi et d’évaluation préliminaire, le suivi du programme consiste à déterminer les indicateurs significatifs à documenter afin de planifier la collecte et l’analyse des données. Or, la mise en place du processus d’évaluation de programmes fut décidée après la mise en œuvre de la SMVTH, faisant en sorte que cette partie du processus d’évaluation a dû être élaborée a posteriori. Dans ces circonstances, en plus des données prévues dans le cadre normatif (CT 218413), il fut décidé d’identifier des indicateurs pertinents qui sont en adéquation avec les données déjà collectées par la Direction des politiques et de l'intelligence d'affaires (DPIA) ou par les ATS. Une autre partie des données sera rassemblée à partir des fiches de Demande d’aide financière et des fiches de retombées économiques récupérées par la DPIR. Quant à l’établissement des cibles à atteindre, elles seront établies par les acteurs (DIS, DPIR, ATS) par consensus ou, selon les cibles, déjà établies par le PDIT 2012-2020 ainsi que du Plan d’action 2016-2020.
3.1 CHOIX DES INDICATEURS ET DES CIBLES 3.1.1 Le choix des indicateurs
Les normes relatives au PSSDT autorisées par le CT 218413 précisent qu’une évaluation de programmes basée sur les résultats visés sera réalisée à l’échéance du programme afin de comparer les résultats obtenus avec la situation initiale sur la base des indicateurs suivants :
progression de l’achalandage; progression du chiffre d’affaires des promoteurs; progression des emplois créés.
Cette évaluation permettra également de mesurer la contribution du PSSDT à l’atteinte des objectifs du PDIT 2012-2020 et du Plan d’action 2016-2020, notamment :
le taux d’occupation moyen des établissements d’hébergement touristiques; la fréquentation régionale et la provenance des touristes; le nombre d’emplois liés au tourisme; les recettes touristiques du Québec.
Pour mesurer le niveau d’atteinte des résultats visés, il est convenu d’utiliser l’information contenue dans les formulaires et documents, obligatoires à une demande d’aide financière. Elle permet de déterminer les indicateurs et les cibles par projet financé au moment du démarrage c’est-à-dire, « l’an un ». Parmi les informations, il y a le type de projet, le montant d’investissement, la période saisonnière et le nombre de personnes à l’emploi depuis les deux dernières années complètes d’opération ainsi que le nombre projeté pour les deux années qui suivront; c’est la même chose pour le nombre et la provenance des visiteurs. Dans le but d’assurer le suivi des résultats du programme à partir de la date de démarrage du projet, et cela jusqu’au moment de réaliser l’évaluation, l’information documentée dans les fiches de retombées touristiques (annexe B) sera utilisée. Cette fiche fournit annuellement les données nécessaires sur l’achalandage par marché ciblé, la saisonnalité, la structuration et la forfaitisation de l’offre, les données financières de l’organisation promoteur du projet.
8
En plus des indicateurs exigés par le CT 218413, la collecte d’autres données est actuellement en cours afin d’aider à la prise de décision. Cette collecte est faite par la DPIA depuis la création du PDIT en 2012, et se poursuivra en 2018 et 2019. Le tableau suivant présente la liste des indicateurs retenus pour mesurer l’atteinte des résultats visés par la Stratégie d’appui à la mise en valeur du tourisme hivernal.
9
Tableau : Fiche des indicateurs de suivi
Effet Indicateur Donnée de référence Cible Source de données Fréquence de la collecte
Responsabilité de la collecte
Évaluation des effets, de l’efficacité et de l’efficience
Développement et croissance des produits
prioritaires (Effet à court terme)
Dépenses touristiques hivernales au Québec (M$, 1er trimestre)
Année 2012 : 1 264 M$ 5 % par année Banque de données de la
DPIA Annuelle DPIA
Volume de touristes hivernaux (1er trimestre) Année 2012 : 6,0 M
Évolution à la hausse
Banque de données de la DPIA Annuelle DPIA
Nombre de jours-ski Moyenne (2010-2012) : 6 094 000 S/O Étude économique et
financière (ASSQ) Annuelle DPIR
Revenus hivernaux totaux par jour-ski ($) Moyenne (2010-2012) : 35,44$ S/O Étude économique et
financière (ASSQ) Annuelle DPIR
Volume d’affaires total des activités hivernales de l’industrie du ski ($)
Moyenne (2010-2012) : 216 058 000 $ S/O Étude économique et
financière (ASSQ) Annuelle DPIR
Nombre de droits d’accès aux sentiers de motoneige journée/hebdomadaire
Moyenne (2010-2012) : 6982 S/O Étude économique et
financière (FCMQ) Annuelle DPIR
Nombre de droits d’accès aux sentiers de motoneige annuel hors-Québec
Moyenne (2010-2012) : 3965 S/O Étude économique et
financière (FCMQ) Annuelle DPIR
Nombre de spectateurs aux festivals et aux événements hivernaux
Année 2012 : 141 070 S/O Banque de données
(FEQ) Annuelle DPIR
Nombre de visiteurs dans les parcs nationaux Année 2012 : 4 080 702 S/O Banque de données
(SÉPAQ) Annuelle DPIR
Hausse de l’attractivité des cinq zones
d’activités hivernales identifiées à la SMVTH
(Effet à court terme)
Dépenses touristiques des régions ciblées (G$) Moyenne (2010-2012) : 7,01G$ 5% par année Banque de données de la
DPIA Annuelle DPIA
Volume de touristes hivernaux dans les régions ciblées (1er trimestre, M)
Moyenne (2010-2012) : 30,6 M S/O Banque de données de la
DPIA Annuelle DPIA
Diversification de l’offre en matière de tourisme
hivernal (Effet à court terme)
Nombre d’attraits financés par la SMVTH Avant la stratégie : 0 S/O Fiche de demande d’aide
financière En continu DPIR
Augmentation de la compétitivité du
tourisme hivernal Nombre de touristes Avant le projet (fiche de
demande d’aide financière)
Selon les prévisions des
promoteurs/DIS
Fiche de demande d’aide financière /Fiche retombée touristique
En continu DPIR
10
(Effet à court et moyen terme) Chiffre d’affaires du promoteur Avant le projet (fiche de
demande d’aide financière)
Selon les prévisions des
promoteurs/DIS
Fiche de demande d’aide financière /Fiche retombée touristique
En continu DPIR
Nombre d’emploi Avant le projet (fiche de demande d’aide financière)
Selon les prévisions des
promoteurs/DIS
Fiche de demande d’aide financière /Fiche retombée touristique
En continu DPIR
Ratio de touriste québécois/hors-Québec (1er trimestre)
Année 2012 : 76,8 % Québec 23,1 % hors Québec
S/O Banque de données de la DPIA Annuelle DPIA
Nombre d’entrées à la frontière (Décembre à mars)
Décembre 2011 à mars 2012 Canadiens 1 809 622 Internationaux : 547 237
Évolution à la hausse
Banque de données de la DPIA Mensuelle DPIA
Contribution du PSSDT à l’atteinte des objectifs
du PDIT et du Plan d’action 2016-2020 (Effet à long terme)
Taux d’occupation moyen des établissements d’hébergement touristiques (%)
Année 2012 : 52,5 % + 1 % par année Base de données de la
DPIA Mensuelle DPIA
Achalandage touristique du Québec (M) (Des changements méthodologiques de la part de Statistique Canada ont rendu la cible caduque)
Année 2012 : 30,7 M
Auparavant : +7M en 2020
Rapport Le tourisme au Québec en bref Annuelle DPIA
Nombre d’emplois liés au tourisme Année 2012 : 344 494
+ 50 000 d’ici 2020
Portrait de l'industrie touristique Annuelle DPIA
Dépenses touristiques du Québec (M$) Année 2012 : 12 800 M$ + 5 % par an Rapport Le tourisme au
Québec en bref Annuelle DPIA
Évaluation de fonctionnement
Conformité des projets soutenus par le
programme
Taux en pourcentage des aides livrées dans les temps
Sans Objet
100 % Fiche de demande d’aide financière En continu DPIR
Taux en pourcentage des projets financés qui sont terminés 100 % Fiche de demande d’aide
financière En continu DPIR
Taux en pourcentage des projets qui respectent la durée de réalisation prévue dans l’entente 100 % Fiche de demande d’aide
financière En continu DPIR
Nombre de projets refusés S/O Fiche de demande d’aide financière En continu DPIR
Nombre de documents de suivis et de redditions de comptes reçus S/O Fiche retombée
touristique En continu DPIR
Évaluation de la pertinence Répondre aux besoins
du secteur Taux en pourcentage de projets conformes acceptés Sans Objet 85 % Fiche de demande d’aide
financière En continu DPIR
11
Nombre de demandes d’aide financière reçues S/O Fiche de demande d’aide financière En continu DPIR
Montant des aides financières octroyées ($) S/O Fiche de demande d’aide financière En continu DPIR
Volume de projets financés par rapport au volume de projets reçus S/O Fiche de demande d’aide
financière En continu DPIR
Volume de financement disponible par rapport au volume de financement demandé ($) S/O Fiche de demande d’aide
financière En continu DPIR
4 STRATÉGIE GLOBALE D’ÉVALUATION Cinq types d’évaluation sont prévus dans la stratégie. Ces questions couvrent les critères d’analyse de pertinence, de mise en œuvre, des effets, d’efficacité et d’efficience. Ces aspects permettront de répondre aux besoins d’informations du MTO et du SCT et seront particulièrement utiles à la prise de décision lors d’une éventuelle reconduction du programme. Selon les indicateurs, la collecte de données pourrait se faire de 2012 à 2019. Dans le cas contraire, la collecte se fera de 2017 à 2019 inclusivement.
Pour les 5 aspects évaluatifs :
- Transmission du cadre d’évaluation : janvier 2019 - Transmission du rapport d’évaluation : janvier 2020
L’aspect de la pertinence
L’évaluation de la pertinence permet de vérifier l’adéquation entre la raison d’être du programme et les besoins à satisfaire. L’évaluation s’intéressera également sur le bien-fondé des interventions afin de s’assurer que celles-ci répondent bien aux besoins spécifiques de l’industrie du tourisme hivernal. L’évaluation se penchera également sur la pertinence de l’aide financière accordée ainsi que sa forme actuelle. Pour ce faire, un sondage sera envoyé aux promoteurs ayant bénéficié du soutien de la SMVTH, aux promoteurs dont le projet a été refusé ainsi qu’aux ATS s’y rattachant afin de déterminer si le programme répond bien aux attentes et aux besoins de l’industrie. L’élaboration du sondage ainsi que son prétest auront lieu au troisième trimestre de 2019 alors que l’envoi du sondage et la compilation des données se feront au début du quatrième trimestre de 2019. À la suite de cette première ronde de consultation, certaines entrevues téléphoniques pourraient avoir lieu si un besoin d’information supplémentaire se faisait sentir. Les principales questions du sondage et des entrevues porteront sur la pertinence de la forme que prend le financement de l’aide (aide au comptant en deux versements), le genre de projets admissibles pour l’aide ainsi que les produits touristiques ciblés par l’aide. En parallèle de cette démarche, les données contenues dans les fiches de demande d’aide financière en lien avec la pertinence du programme (nombre de projets conformes acceptés, nombre de demandes d’aide financière reçues, montant des aides octroyées) seront compilées. L’ensemble des indicateurs nommés plus haut pourront aussi aider à déterminer si le secteur du tourisme hivernal nécessite toujours d’être soutenu ou si certains produits ciblés par la stratégie n’ont plus besoin d’aide supplémentaire. L’aspect du fonctionnement Cette évaluation vise à s’assurer que les processus et les procédures soient déployés conformément à ce qui a été prévu et qu’ils contribuent à l’atteinte des objectifs visés. Elle permettra de mettre en lumière les forces à préserver et les faiblesses à corriger. Dans ce cas-ci, l’évaluation consistera à compiler les données présentes dans la demande d’aide financière acceptée afin de vérifier que les critères quant au type de projet, aux types de bénéficiaire ainsi qu’à la région concernée soient respectés. La collecte des données se fera en continu par la DPIR au fur et à mesure que les projets seront acceptés ainsi que le suivi de l’implantation des projets par le promoteur.
De plus, le processus de sondage expliqué plus tôt servira également à questionner les bénéficiaires du programme, les ATS et les promoteurs s’étant vu refuser une aide financière sur les forces et les faiblesses du programme. L’évaluation de l’efficacité Cette évaluation consiste à mesurer le degré d’atteinte des objectifs de l’intervention. Pour ce faire, l’équipe d’évaluation de programmes se penchera sur l’ensemble des indicateurs présentés plus haut en ce qui a trait aux effets à court et moyen terme de la SMVTH, soit les indicateurs prévus pour les effets de développement et croissance des produits prioritaires, la hausse de l’attractivité des cinq zones d’activités hivernales identifiées à la SMVTH, la diversification de l’offre en matière de tourisme hivernal, l’augmentation de la compétitivité du tourisme hivernal et la contribution du PSSDT à l’atteinte des objectifs du PDIT. La cueillette de ces données se fera essentiellement par de la recherche et de l’analyse documentaire faite par la DPIA/DIS/DPIR une fois par année ou par mois selon l’indicateur. Le but de la collecte sera de suivre l’évolution des indicateurs pour les promoteurs ayant bénéficié d’une aide financière afin de les comparer aux données de l’ensemble de leur secteur touristique (Ski, motoneige, etc.) afin de déterminer si ceux-ci ont mieux performé que leur secteur. Dans un second temps, les secteurs touristiques priorisés par la stratégie seront comparés à l’ensemble de l’industrie touristique hivernale afin de vérifier si ces secteurs ont mieux performé que l’industrie. Le même exercice sera fait enfin de comparer les différentes régions priorisées par la stratégie avec l’ensemble des régions du Québec. Finalement, afin de mieux définir l’inférence causale entre la SMVTH et l’évolution des données, le processus de sondage cité plus haut permettra aussi de questionner les promoteurs ayant bénéficié d’une aide financière ainsi que les ATS s’y rattachant sur la part de l’évolution imputable à l’aide octroyée. L’évaluation de l’efficience Cette évaluation permet d’examiner la relation entre les effets du programme et les ressources utilisées pour les produire. Autrement dit, il sera question de déterminer le ratio entre les effets du programme et ses intrants. Suite à la collecte et à l’analyse des données recueillies aux fins de l’évaluation de l’efficacité du programme, il sera possible, dans une certaine mesure, de déduire les ressources nécessaires afin de créer ou préserver un emploi grâce au programme, l’importance de l’investissement privé qui découle de l’aide financière accordée ainsi que celle des retombées économiques issues du programme. Ces données pourront ensuite être comparées aux autres volets du PSSDT ou à d’autres programmes gouvernementaux afin de juger de l’efficience de la démarche. Pour ce faire, la méthode Data Envelopement Analysis (DEA) est envisagée. L’évaluation des effets L’évaluation des effets se penche sur l’état de la situation avant et après intervention. Elle vise à mesurer les effets entraînés par une intervention sur la clientèle visée. Dans
un premier temps, les fiches de demande d’aide financière ainsi que les documents de reddition de compte seront comparés afin de valider que les infrastructures aient bien été construire, réfectionnées ou améliorées conformément à l’entente. En plus de bonifier l’aspect évaluatif du fonctionnement du programme, cette mesure permettra de quantifier le premier effet direct du programme soit l’amélioration des infrastructures. Dans un deuxième temps, les données provenant des fiches de demande d’aide financière ainsi que des fiches de retombées économiques soient l’achalandage, le maintien ou la création d’emploi et les revenus du promoteur du projet avant la demande de l’aide financière seront comparées aux données recueillies via les fiches de retombées économiques lors des cinq années suivant l’octroi de l’aide. Le processus de sondage servira également à demander aux promoteurs si la modernisation de leur infrastructure aurait été possible sans l’aide du programme. 5 CONSIDÉRATIONS ÉTHIQUES Les informations obtenues seront traitées et manipulées de façon strictement confidentielle en respect de la Loi sur l’accès aux documents des organismes publics et sur la protection des renseignements personnels (L.R.Q., chapitre A-2.1). Les informations colligées serviront exclusivement aux fins annoncées par la présente évaluation. Aucune autre utilisation ne pourra en être faite. 6 APPROBATION DES RESPONSABLES La mise en œuvre du cadre de suivi et d’évaluation implique la participation et l’approbation de plusieurs directions du MTO :
La DPIR est gestionnaire du PSSDT et responsable de la disponibilité de l’information requise pour les besoins de l’évaluation;
La DPIA offre un soutien pour la constitution ainsi que l’accès de la base de données et l’analyse des retombées économiques;
La DIS coordonne la mise en œuvre de la SMVTH.
Préparé par : Carmen Méndez et Benoit Lapierre Date :
Approuvé par le directeur général : Sylvain Bernier Date :
MINIS T È R E DU T OUR IS ME
PROGRAMME DE SOUTIEN AUX STRATÉGIES DE DÉVELOPPEMENT TOURISTIQUE
(PSSDT)
V OL E T 2 : AP P UI À L A S T R AT É G IE DE MIS E E N V AL E UR DU T OUR IS ME É V É NE ME NT IE L
(SMVTE)
CADRE DE SUIVI ET D’ÉVALUATION PRÉLIMINAIRE
Préparé par : Direction générale des services à la gestion Février 2018
TABLE DES MATIÈRES
1. CONTEXTE ........................................................................................................................................ 1
2. DESCRIPTION DU PROGRAMME ...................................................................................................... 1
2.1 RAISON D’ÊTRE .....................................................................................................................3
2.2 OBJECTIFS .............................................................................................................................3
2.3 LOGIQUE D’INTERVENTION ..................................................................................................4
3. SUIVI DU PROGRAMME ................................................................................................................... 7
3.1 CHOIX DES INDICATEURS ET DES CIBLES ...............................................................................7
3.1.1 Le choix des indicateurs ....................................................................................................7
4. STRATÉGIE GLOBALE D’ÉVALUATION ............................................................................................. 11
5. CONSIDÉRATIONS ÉTHIQUES ......................................................................................................... 13
6. APPROBATION DES RESPONSABLES ............................................................................................... 13
1
1. CONTEXTE Le 12 décembre 2017, le Conseil du trésor (CT) approuve le Programme de soutien aux Stratégies de développement touristique (PSSDT) et son cadre normatif (CT 218413). Il précise qu’à échéance, le 31 mars 2020, une évaluation de programmes, basée entre autres sur l’atteinte des résultats visés, sera réalisée. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 31 janvier 2018. Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation d’un nouveau programme. Conformément au plan annuel en matière d’évaluation de programmes 2017-2018, la Direction générale des services à la gestion a été mandatée par les autorités du ministère du Tourisme (MTO) pour réaliser le cadre de suivi et d’évaluation préliminaire du PSSDT volet 2 - Appui à la Stratégie de mise en valeur du tourisme événementiel (SMVTE). Ce document sera préalablement approuvé par le sous-ministre et transmis au SCT quinze jours avant le début des travaux d’évaluation, tel que précisé dans la directive. Le cadre de suivi et d’évaluation préliminaire a pour intention de décrire le programme, de proposer un plan de suivi des principaux indicateurs en plus de développer une stratégie globale d’évaluation. Cette stratégie permet de planifier et de détailler une démarche qui rendra compte de la pertinence et du fonctionnement du programme, en plus d’en estimer la performance globale. La structure du présent document répond au gabarit proposé par le SCT et contient les renseignements suivants :
• la description du programme incluant sa raison d’être, ses objectifs et sa logique d’intervention;
• le suivi du programme décrivant les indicateurs retenus, les sources de données, la fréquence et la responsabilité de la collecte;
• la stratégie globale d’évaluation comprenant les principales étapes et méthodes utilisées.
2. DESCRIPTION DU PROGRAMME Le PSSDT vise le renforcement et le développement de l’offre touristique québécoise afin de faire du tourisme « une industrie concurrentielle, durable, innovante et attractive pour les visiteurs du Québec et ceux des marchés extérieurs ». Il comporte cinq volets qui entendent stimuler l’investissement privé, la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des retombées économiques du tourisme dans toutes les régions du Québec.
2
Le 17 mars 2016, lors du discours du budget 2016-2017, le gouvernement du Québec annonçait des contributions gouvernementales totalisant 40 M$ pour soutenir la mise en œuvre de trois stratégies de développement touristique. La mise à jour économique de novembre 2017 est venue bonifier de 20 M$ ce montant, portant ainsi le budget à 60 M$. Le PSSDT volet 2 SMVTE s’inscrit dans le déploiement du PSSDT. Cette stratégie repose sur la vision suivante : « Faire du Québec une destination authentique, reconnue, définie par son originalité, s’appuyant sur ses avantages concurrentiels au sein des marchés touristiques d’exploitation et génératrice de retombées durables grâce à des alliances stratégiques ». Pour atteindre ses objectifs, trois axes d’intervention sont proposés :
1) Favoriser l’investissement privé pour développer des produits distinctifs et compétitifs;
2) Offrir un accompagnement adapté aux entrepreneurs pour consolider un tissu d’entreprises performantes;
3) Soutenir la structuration d’une offre multiproduits et multirégions pour proposer aux visiteurs une expérience enrichie et intégrée.
Le Programme d’appui à la mise en valeur du tourisme événementiel met l’accent sur le développement du secteur des festivals et des événements touristiques, du secteur de l’agrotourisme et du tourisme gourmand ainsi que du secteur de « l’expérience autochtone ». Le volet 2 du PSSDT offre une aide financière pour des projets comportant des coûts minimaux de 100 000 $ et l’aide maximale accordée est de 3 M$ pour la construction, l’agrandissement ou la réfection d’infrastructure touristique et la consolidation, l’implantation, l’expansion ou la modernisation d’un attrait, d’une activité, d’un équipement, d’un produit spécialisé ou d’un service touristique. À partir de janvier 2018, l’aide maximale accordée par le MTO est de 2 M$. Cette aide financière ne peut excéder 33,33 % des coûts admissibles d’un projet et est versée comptant en deux versements. Le premier versement, équivalant à 60 % de l’aide accordée est versé à la suite de la signature de l’entente avec le promoteur alors que le second versement, équivalant à 40 % de l’aide prévue, est versé à la suite de la réception de l’audit d’un vérificateur externe. Le cumul maximal des aides gouvernementales comprend le total des aides financières accordées comprend le total des aides financières accordées, incluant les aides remboursables considérées à 50% pour les coûts admissibles du projet par l’ensemble des ministères et organismes provinciaux et fédéraux ainsi que des entités municipales. Ce cumul ne pourra pas excéder 50 % s’il s’agit d’un organisme à but lucratif (OBL), 80 % s’il s’agit d’un organisme à but non lucratif (OBNL), d’une coopérative et d’une municipalité et 90 % s’il s’agit de communauté ou de nation autochtone (OBL et OBNL) ainsi que pour des organismes des Îles-de-la-Madeleine. Pour être admissible, tout projet doit satisfaire aux conditions suivantes :
• Constituer un des produits touristiques prioritaires ciblés dans la SMVTE ou être complémentaire à l’un des produits ciblés; ou
• Faire partie d’une route, d’un itinéraire ou d’un circuit touristique contribuant à la mise en valeur des produits ciblés.
3
2.1 RAISON D’ÊTRE Le tourisme culturel et événementiel représente un véritable trait marquant de la destination québécoise. La force du Québec réside autant dans l’ensemble et la qualité de ses produits culturels que dans la créativité de ses manifestations culturelles et événementielles, mais cette offre se doit d’être structurée et développée davantage afin qu’elle atteigne son plein potentiel. Par son histoire et sa culture, le Québec s’est forgé une personnalité singulière et le tourisme culturel et événementiel permet aux visiteurs de découvrir la richesse historique ou contemporaine d’un milieu donné. La culture québécoise offre ainsi une expérience qui peut se distinguer d’autres destinations. Compte tenu du potentiel que représente le tourisme international en matière événementielle et en raison de ce que le Québec peut offrir comme expérience à ses visiteurs, ses activités touristiques font partie des composantes qui contribueront à l’atteinte des cibles établies au Plan de développement de l’industrie touristique 2012-2020 : un itinéraire vers la croissance (PDIT) ainsi que son Plan d’action 2016-2020. Dans les faits, la décision de miser sur le tourisme événementiel tire son origine des conclusions de la table mixte qui regroupait l’ensemble des acteurs touristiques québécois en vue d’élaborer le PDIT. Celle-ci est venue à la conclusion que le tourisme événementiel était un secteur touristique à fort potentiel ainsi qu’un produit d’appel qui permettait au Québec de se distinguer de l’offre touristique internationale. Par la suite, une analyse de l’état des lieux du secteur fut entreprise par la Direction des politiques et de l’intelligence d’affaires (DPIA) du MTO afin d’identifier les produits à prioriser pour la mise en œuvre de la stratégie. Les investissements prévus au volet 2 du PSSDT devraient aider le Québec à développer son plein potentiel touristique au niveau du tourisme événementiel. Dans ce contexte, ce volet vise à permettre le développement des éléments événementiels à portée touristique ainsi que la mise en valeur de la culture québécoise qui contribuent à faire du Québec une destination touristique de calibre international.
2.2 OBJECTIFS Le Programme d’appui à la SMVTE vise à atteindre deux objectifs spécifiques (effets à court terme) :
• Renforcer la compétitivité et viser la croissance des produits identifiés à la SMVTE (festivals et événements, agrotourisme et tourisme gourmand, expérience touristique autochtone);
• Augmenter l’achalandage en soutenant la structuration de l’offre autour des routes et circuits touristiques.
Pris dans son ensemble, les projets développés dans le cadre de la SMVTE, ainsi que dans les autres stratégies, contribueront à atteindre les objectifs généraux (effets à moyen terme) du PSSDT qui sont :
4
• Favoriser le développement d’une offre touristique originale, complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés61 par le MTO;
• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.
Le PSSDT ainsi que l’ensemble des programmes d’aides du MTO ont pour but de réaliser les objectifs du PDIT 2012-2020 ainsi que du Plan d’action 2016-2020 (effets à long terme) qui sont :
• Des recettes touristiques totalisant 18,9 G$ en 2020; • Un accroissement du nombre d’emplois équivalant à 50 000 emplois d’ici 2020.
2.3 LOGIQUE D’INTERVENTION La Direction des interventions sectorielles (DIS) est responsable du déploiement de la SMVTE ainsi que de soutenir les associations touristiques sectorielles (ATS) et autres organismes dans leurs démarches. De plus, la DIS soutient également la Direction des programmes et de l’intervention régionale (DPIR) dans la prise de décision concernant les demandes d’aides financières en réalisant des avis sectoriels dans le cadre du programme. La DPIR du MTO est responsable de la mise en œuvre du PSSDT volet 2, de la sélection des projets et du suivi administratif des dossiers et de sa reddition de comptes. Elle assure le lien avec le promoteur à chacune des étapes du processus d’attribution d’une aide financière. Pour leur part, les promoteurs doivent joindre à leur formulaire de Demande d’aide financière, dûment rempli, les documents exigés, dont un plan d’affaires qui présente la description détaillée des clientèles visées ainsi que les impacts et les retombées touristiques du projet. Cette première étape permet de valider l’admissibilité du projet. À la suite de l’analyse de leur dossier de Demande d’aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leur projet. La coordination des actions de ces différents acteurs ont pour objectif de sélectionner et de financer des projets ayant pour but de soutenir la mise en œuvre de la SMVTE. Ces projets permettront de dynamiser et diversifier l’offre touristique québécoise en matière de tourisme événementiel. Le schéma suivant illustre la logique d’intervention du programme. Il présente une description sommaire du programme et de ses composantes.
61 Les onze marchés ciblés : Ontario, Reste du canada (ROC), Atlantique Centre (EU), Nouvelle-Angleterre (EU), Sud des États-Unis, côte Ouest et Centre Ouest des États-Unis, France, Chine, Mexique et Québec (Stratégie 2014, p. 37 à 40).
5
Schéma : Modèle logique du Programme d’appui à la SMVTE.
Raison d'être Le tourisme événementiel constitue un véritable trait marquant de la destination québécoise, mais l’offre doit être développée et structurée.
• Besoin de proposer une expérience qui se distingue des autres et de faire découvrir la richesse historique ou contemporaine des milieux touristiques;
• Besoin de miser sur le potentiel du tourisme international.
Conditions d'admissibilité
Pour être admissible, tout projet doit satisfaire aux conditions suivantes :
• Constituer un des produits touristiques ciblés par la stratégie ou être complémentaire à l’un des produits ciblés;
ou
• Faire partie d’une route, d’un itinéraire ou d’un circuit touristique contribuant à la mise en valeur des produits ciblés.
Clientèle cible • Les OBL légalement constitués au Québec; • Les OBNL légalement constitués au Québec; • Les coopératives légalement constituées au Québec; • Les municipalités62, les communautés et les nations autochtones reconnues par
l’Assemblée nationale; • Tout regroupement de ces clientèles.
Objectifs Objectifs spécifiques
• Renforcer la compétitivité et viser la croissance des produits identifiés à la SMVTE (festivals et événements, agrotourisme et tourisme gourmand, expérience touristique autochtone);
• Augmenter l’achalandage en soutenant la structuration de l’offre autour des routes et circuits touristiques.
Objectifs généraux
• Favoriser le développement d’une offre touristique originale, complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés par le MTO;
• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.
Buts
• Faire du tourisme une industrie compétitive, durable, innovante et attractive pour
62 La désignation de municipalité comprend les municipalités, les cités, les villes, les villages, les paroisses, les cantons, les cantons unis, les villages nordiques, les territoires non organisés, les municipalités régionales de comté (MRC), les communautés métropolitaines, les régies intermunicipales et les corporations ou les organismes dont une corporation municipale nomme la majorité des membres ou contribue à plus de la moitié du financement, les regroupements de tels municipalités, corporations ou organismes.
6
les visiteurs du Québec et des autres marchés; • Soutenir la mise en œuvre du PDIT et du Plan d’action 2016-2020.
Nature de
l'intervention
À la suite de l'analyse de leur dossier de Demande d'aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leurs projets selon les modalités suivantes :
• L’aide financière est versée comptant et est accordée en deux versements. 60 % à la signature de l’entente et 40 % à la réception de l’audit d’un vérificateur externe;
• Le projet doit comporter des coûts admissibles d’au moins 100 000 $ et l’aide financière maximale est de 3 M$. À compter de janvier 2018, elle sera de 2 M$.
Intrants Ressources financières : 60 M$ pour les volets 1, 2, 3 (2016-2020). Ressources humaines : les responsables de la coordination du programme (DIS et DPIR). Ressources informationnelles : les données administratives et de gestion sont consignées dans le système de gestion de l'aide financière du MTO (demandes d'aide financière, fiches de retombées touristiques, etc.).
Activités de
production
• Demandes d'aide financière reçues en continu; • Analyse et évaluation de l'admissibilité de la demande d'aide financière; • Prise de décision relative à chacune des demandes d'aide financière; • Attribution de l'aide financière et protocole d'entente; • Suivi et reddition de comptes.
Extrants • Nombre de projets soutenus par le programme;
Effets à court terme
• Augmentation de la compétitivité des produits identifiés à la stratégie de mise en valeur du tourisme culturel et événementiel;
• Croissance des produits identifiés dans la stratégie; • Structuration de l’offre autour des routes et circuits touristique;
Effets à moyen terme
• Augmentation de l’achalandage; • Augmentation du chiffre d’affaires du promoteur; • Augmentation des emplois créés.
7
Effet à long terme • Augmentation du taux d’occupation moyen des établissements d’hébergement touristiques;
• Augmentation de la fréquentation régionale et la provenance des touristes; • Augmentation du nombre d’emplois liés au tourisme; • Augmentation des recettes touristiques du Québec
3. SUIVI DU PROGRAMME Le suivi du programme est un examen périodique des activités à l’aide d’indicateurs et de cibles préétablis dans le but de constituer la base de données nécessaire à l’évaluation, soit la mesure de l’atteinte des résultats visés exigée par le CT. La mise en place d’un processus de suivi adéquat assure la disponibilité de données fiables et valides en temps opportun pour évaluer les programmes aux moments clés. Pour les besoins du cadre de suivi et d’évaluation préliminaire, le suivi du programme consiste à déterminer les indicateurs significatifs à documenter afin de planifier la collecte et l’analyse des données. Or, la mise en place du processus d’évaluation de programmes fut décidée après la mise en œuvre de la SMVTE, faisant en sorte que cette partie du processus d’évaluation a dû être élaborée a posteriori. Dans ces circonstances, en plus des données prévues dans le cadre normatif (CT 218413), il fut décidé d’identifier des indicateurs pertinents qui sont en adéquation avec les données déjà collectées par la Direction des politiques et de l'intelligence d'affaires (DPIA). Une autre partie des données sera rassemblée à partir des fiches de Demande d’aide financière et de fiches de retombées économiques récupérées par la DPIR. Quant à l’établissement des cibles à atteindre, elles correspondront généralement à celles déjà établies par le PDIT 2012-2020 et du Plan d’action 2016-2020. 3.1 CHOIX DES INDICATEURS ET DES CIBLES 3.1.1 Le choix des indicateurs Les normes relatives au PSSDT autorisées par le CT 218413 précisent qu’une évaluation de programmes basée sur les résultats visés sera réalisée à l’échéance du programme afin de comparer les résultats obtenus avec la situation initiale sur la base des indicateurs suivants :
progression de l’achalandage; progression du chiffre d’affaires du promoteur; progression des emplois créés.
Cette évaluation permettra également de mesurer la contribution du PSSDT à l’atteinte des objectifs du PDIT 2012-2020 et du Plan d’action 2016-2020, notamment :
le taux d’occupation moyen des établissements d’hébergement touristiques; la fréquentation régionale et la provenance des touristes; le nombre d’emplois liés au tourisme; les recettes touristiques du Québec.
8
Pour mesurer le niveau d’atteinte des résultats visés, il est convenu d’utiliser l’information contenue dans les formulaires et documents, obligatoire à une demande d’aide financière. Elle permet de déterminer les indicateurs et les cibles par projet financé au moment du démarrage, c’est-à-dire « l’an un ». Parmi les informations, il y a le type de projet, le montant d’investissement, la période saisonnière et le nombre de personnes à l’emploi depuis les deux dernières années complètes d’opération ainsi que le nombre projeté pour les deux années qui suivront; même chose pour le nombre et la provenance des visiteurs. Dans le but d’assurer le suivi des résultats du programme à partir de la date de démarrage du projet et cela, jusqu’au moment opportun de réaliser l’évaluation, l’information documentée dans les fiches de retombées touristiques (annexe B) sera utilisée. Cette fiche fournit annuellement les données nécessaires sur l’achalandage par marché ciblé, sur la saisonnalité, la structuration et la forfaitisation de l’offre, les données financières du promoteur du projet. En plus des indicateurs exigés par le CT 218413, la collecte d’autres données est actuellement en cours afin d’aider à la prise de décision. Cette collecte est faite par la DPIA depuis la création du PDIT en 2012, et se poursuivra en 2018 et 2019. Le tableau suivant présente la liste des indicateurs retenus pour mesurer l’atteinte des résultats visés par l’appui à la SMVTE
9
Tableau : Fiche des indicateurs de suivi
Effet Indicateur Donnée de référence Cible Source de la donnée Fréquence de la collecte
Responsabilité de la collecte
Évaluation des effets, de l’efficacité et de l’efficience
Renforcer la compétitivité et viser la croissance des produits identifiés de la
SMVTE (Effet à court terme)
Chiffre d’affaires moyen des entreprises du tourisme autochtone ($)
2016 : 400 000 $ Évolution à la hausse Portail ATS Rapport TAQ
Annuelle DIS
Nombre d’entreprises œuvrant dans le domaine du tourisme autochtone
2016 : 229 Maintien ou évolution à la hausse
Portail ATS Rapport TAQ
Annuelle DIS
Nombre d’emploi lié au tourisme autochtone 2016 : 3 500 Maintien ou évolution à la hausse
Portail ATS Rapport TAQ
Annuelle DIS
Nombre d’entreprises œuvrant dans le domaine du tourisme gourmand
2015 : 789 Maintien ou évolution à la hausse
Portail ATS Rapport AATGQ
Annuelle DIS
Nombre d’emploi lié au tourisme gourmand 2015 : 3353 Maintien ou évolution à la hausse
Portail ATS Rapport AATGQ
Annuelle DIS
Augmenter l’achalandage en soutenant la
structuration de l’offre autour des routes et circuits touristiques (Effet à court terme)
Ratio de touriste québécois/hors-Québec Année 2012 78,3 % Québec 21,7 % hors Québec
S/O Banques de données de la DPIA Annuelle DPIA
Nombre de visiteurs liés au tourisme autochtone (TAQ) 2016 : 1 160 000 Évolution à la hausse Banque de données
TAQ Annuelle DIS
Nombre de routes et circuits liés au tourisme gourmand 2017 : 17 Maintien ou évolution
à la hausse Banque de données AATGQ
Annuelle DIS
Nombre d’entrées aux festivals et événements membre de la FEQ (M) 2015 : 16.1 M Évolution à la hausse Banque de données
FEQ Annuelle DIS
Augmentation de la compétitivité du tourisme
événementiel (Effet à court et moyen
terme)
Nombre de touristes Avant le projet (fiche de demande d’aide financière)
Selon les prévisions des promoteurs/DIS
Fiche de demande d’aide financière /Fiche retombée touristique
En continu DPIR
Chiffre d’affaires du promoteur Avant le projet (fiche de demande d’aide financière)
Selon les prévisions des promoteurs/DIS
Fiche de demande d’aide financière /Fiche retombée touristique
En continu DPIR
Nombre d’emploi Avant le projet (fiche de demande d’aide financière)
Selon les prévisions des promoteurs/DIS
Fiche de demande d’aide financière /Fiche retombée touristique
En continu DPIR
Contribution du PSSDT à l’atteinte des objectifs du
Taux d’occupation moyen des établissements d’hébergement touristiques (%)
Année 2012 : 52,5 % + 1 % par an Base de données de
la DPIA Mensuelle DPIA
10
PDIT et du Plan d’action 2016-2020
(Effet à long terme)
Achalandage touristique du Québec (M) (Des changements méthodologiques de la part de Statistique Canada ont rendu la cible caduque)
Année 2012 : 30,7 M
Auparavant : +7M en 2020
Rapport Le tourisme au Québec en bref Annuelle DPIA
Nombre d’emplois liés au tourisme Année 2012 : 344 494 + 50 000 d’ici 2020 Portrait de l'industrie
touristique Annuelle DPIA
Dépenses touristiques du Québec (M$) Année 2012 : 12 800 M$ + 5 % par an Rapport Le tourisme
au Québec en bref Annuelle DPIA
Évaluation de fonctionnement
Mise en œuvre des projets soutenus par le
programme
Taux en pourcentage des aides livrées dans les temps
Sans Objet
100 % Fiche de demande d’aide financière En continu DPIR
Taux en pourcentage des projets financés qui sont terminés 100 % Fiche de demande
d’aide financière En continu DPIR
Taux en pourcentage des projets qui respectent la durée de réalisation prévue dans l’entente 100 % Fiche de demande
d’aide financière En continu DPIR
Nombre de projets refusés S/O Fiche de demande d’aide financière En continu DPIR
Nombre de documents de suivis et de redditions de comptes reçus S/O Fiche retombée
touristique En continu DPIR
Évaluation de la pertinence
Répondre aux besoins du secteur touristique
événementiel
Taux en pourcentage de projets conformes acceptés
Sans Objet
85 % Fiche de demande d’aide financière En continu DPIR
Nombre de demandes d’aide financière reçues S/O Fiche de demande d’aide financière En continu DPIR
Montant des aides financières octroyées ($) S/O Fiche de demande d’aide financière En continu DPIR
Volume de projets financés par rapport au volume de projets reçus S/O Fiche de demande
d’aide financière En continu DPIR
Volume de financement disponible par rapport au volume de financement demandé ($) S/O Fiche de demande
d’aide financière En continu DPIR
4. STRATÉGIE GLOBALE D’ÉVALUATION Cinq types d’évaluation sont prévus dans la stratégie. Ces questions couvrent les critères d’analyse de pertinence, de mise en œuvre, des effets, d’efficacité et d’efficience. Ces aspects permettront de répondre aux besoins d’informations du MTO et du SCT et seront particulièrement utiles à la prise de décision lors d’une éventuelle reconduction du programme. Selon les indicateurs, la collecte de données pourrait se faire de 2012 à 2019. Dans le cas contraire, la collecte se fera de 2017 à 2019 inclusivement. Pour les 5 évaluations :
- transmission du cadre d’évaluation : janvier 2019 - transmission du rapport d’évaluation : janvier 2020
L’évaluation de la pertinence L’évaluation de la pertinence permet de vérifier l’adéquation entre la raison d’être du programme et les besoins à satisfaire. L’évaluation s’intéressera également au bien-fondé des interventions afin de s’assurer que celles-ci répondent bien aux besoins spécifiques du secteur du tourisme événementiel. L’évaluation se penchera également sur la pertinence de l’aide financière accordée. Pour ce faire, un sondage sera envoyé aux promoteurs ayant bénéficié du soutien de la SMVTE, aux promoteurs dont le projet a été refusé, ainsi qu’aux ATS s’y rattachant afin de déterminer si le programme répond bien aux attentes et aux besoins de l’industrie. L’élaboration du sondage ainsi que son prétest aura lieu au troisième trimestre de 2019 alors que l’envoi du sondage et la compilation des données se feront au début du quatrième trimestre de 2019. À la suite de cette première ronde de consultation, certaines entrevues téléphoniques pourraient avoir lieu si un besoin d’information supplémentaire se faisait sentir. Les principales questions du sondage et des entrevues porteront sur la pertinence de la forme que prend le financement de l’aide (aide au comptant en deux versements), le genre de projets admissibles pour l’aide ainsi que les produits touristiques ciblés par l’aide. En parallèle de cette démarche, les données contenues dans les fiches de demande d’aide financière en lien avec la pertinence du programme (nombre de projets conformes acceptés, nombre de demandes d’aide financière reçues, montant des aides octroyées) seront compilées. L’ensemble des indicateurs nommés plus haut pourront aussi aider à déterminer si le secteur du tourisme événementiel nécessite toujours d’être soutenu ou si certains produits ciblés par la stratégie n’ont plus besoin d’aide supplémentaire. L’évaluation de fonctionnement Cette évaluation vise à s’assurer que les processus et les procédures soient déployés conformément à ce qui a été prévu et qu’ils contribuent à l’atteinte des objectifs visés. Elle permettra de mettre en lumière les forces à préserver et les faiblesses à corriger. Dans ce cas-ci, l’évaluation consistera à compiler les données présentes dans la demande d’aide financière acceptée afin de vérifier que les critères quant au type de projet, au type de bénéficiaire ainsi qu’à la région concernée soient respectés. La collecte des données se fera en continu par la DPIR au fur et à mesure que les projets seront acceptés ainsi que le suivi de l’implantation des projets par le promoteur.
De plus, le processus de sondage expliqué plus tôt servira également à questionner les bénéficiaires du programme, les ATS et les promoteurs s’étant vu refuser une aide financière sur les forces et les faiblesses du programme. L’évaluation de l’efficacité Cette évaluation consiste à mesurer le degré d’atteinte des objectifs de l’intervention. Pour ce faire, l’équipe d’évaluation de programmes se penchera sur l’ensemble des indicateurs présentés plus haut en ce qui a trait aux effets à court et moyen terme de la SMVTE, soit les indicateurs prévus pour les effets de développement et croissance des produits prioritaires, l’augmentation de l’achalandage en soutenant la structuration de l’offre autour des routes et circuits touristiques, l’augmentation de la compétitivité du tourisme événementiel et la contribution du PSSDT à l’atteinte des objectifs du PDIT. La cueillette de ces données se fera essentiellement par de la recherche et de l’analyse documentaire faite par la DPIA/DPIR/DIS une fois par année ou par mois selon l’indicateur. Le but de la collecte sera de suivre l’évolution des indicateurs pour les promoteurs ayant bénéficié d’une aide financière afin de les comparer aux données de l’ensemble de leur secteur touristique (festival et événement, tourisme gourmand, etc.) afin de déterminer si ceux-ci ont mieux performé que leur secteur. Dans un second temps, les secteurs touristiques priorisés par la stratégie seront comparés à l’ensemble de l’industrie touristique afin de vérifier si ces secteurs ont mieux performé que le reste de l’industrie. Finalement, afin de mieux définir l’inférence causale entre la SMVTE et l’évolution des données, le processus de sondage cité plus haut permettra aussi de questionner les promoteurs ayant bénéficié d’une aide financière ainsi que les ATS s’y rattachant sur la part de l’évolution imputable à l’aide octroyée. L’évaluation de l’efficience Cette évaluation permet d’examiner la relation entre les effets du programme et les ressources utilisées pour les produire. Autrement dit, il sera question de déterminer le ratio entre les effets du programme et ses intrants. Suite à la collecte et à l’analyse des données recueillies aux fins de l’évaluation de l’efficacité du programme, il sera possible, dans une certaine mesure, de déduire les ressources nécessaires afin de créer ou de préserver un emploi grâce au programme, d’évaluer l’importance de l’investissement privé qui découle de l’aide financière accordée ainsi que celle des retombées économiques issues du programme. Ces données pourront ensuite être comparées aux autres volets du PSSDT ou à d’autres programmes gouvernementaux afin de juger de l’efficience de la démarche. Pour ce faire, la méthode Data Envelopment Analysis (DEA) est envisagée. L’évaluation des effets L’évaluation des effets se penche sur l’état de la situation avant et après intervention. Elle vise à mesurer les effets entraînés par une intervention sur la clientèle visée. Dans un premier temps, les fiches de demande d’aide financière ainsi que les documents de reddition de compte seront comparés afin de valider que les infrastructures aient bien été construire, réfectionnées ou améliorées conformément à l’entente. En plus de bonifier l’aspect évaluatif du fonctionnement du programme, cette mesure permettra de quantifier le premier effet direct du programme soit l’amélioration des infrastructures.
Dans un deuxième temps, les données provenant des fiches de demande d’aide financière ainsi que des fiches de retombées économiques soient l’achalandage, le maintien ou la création d’emploi et les revenus du promoteur du projet avant la demande de l’aide financière seront comparées aux données recueillies via les fiches de retombées économiques lors des cinq années suivant l’octroi de l’aide. Le processus de sondage servira également à demander aux promoteurs si la modernisation de leur infrastructure aurait été possible sans l’aide du programme. 5. CONSIDÉRATIONS ÉTHIQUES Les informations obtenues seront traitées et manipulées de façon strictement confidentielle en respect de la Loi sur l’accès aux documents des organismes publics et sur la protection des renseignements personnels (L.R.Q., chapitre A-2.1). Les informations colligées serviront exclusivement aux fins annoncées par la présente évaluation. Aucune autre utilisation ne peut en être faite. 6. APPROBATION DES RESPONSABLES La mise en œuvre du cadre de suivi et d’évaluation implique la participation et l’approbation de plusieurs directions du MTO :
la DPIR est gestionnaire du PSSDT et responsable de la disponibilité de l’information requise pour les besoins de l’évaluation;
la DPIA offre un soutien pour la constitution de la base de données et l’analyse des retombées économiques;
la DIS coordonne la mise en œuvre de la SMVTE.
Préparé par : Carmen Méndez et Benoit Lapierre Date :
Approuvé par le directeur général : Sylvain Bernier Date :
MINIS TÈ R E DU TOUR IS ME
P R OG R AMME DE S OUT IE N AUX S T R AT É G IE S DE DÉ V E L OP P E ME NT T OUR IS T IQUE
(PSSDT)
V OL E T 3 : AP P UI À L A S T R AT É G IE DE MIS E E N V AL E UR DU T OUR IS ME DE NAT UR E E T D’
AV E NT UR E
(SMVTNA)
C ADR E DE S UIV I E T D’É VAL UAT ION P R É L IMINAIR E
Préparé par : Direction générale des services à la gestion
Février 2018
Table des matières
1 CONTEXTE ........................................................................................................................................ 1
2 DESCRIPTION DU PROGRAMME ...................................................................................................... 2
2.1 RAISON D’ÊTRE .....................................................................................................................3
2.2 OBJECTIFS .............................................................................................................................4
2.3 LOGIQUE D’INTERVENTION ..................................................................................................4
3 SUIVI DU PROGRAMME ................................................................................................................... 7
3.1 CHOIX DES INDICATEURS ET DES CIBLES ...............................................................................8
3.1.1 Choix des indicateurs .................................................................................................................8
4 STRATÉGIE GLOBALE D’ÉVALUATION ............................................................................................. 12
5 CONSIDÉRATIONS ÉTHIQUES ......................................................................................................... 14
6 APPROBATION DES RESPONSABLES ............................................................................................... 14
1
1. CONTEXTE Le 12 décembre 2017, le Conseil du trésor (CT) approuve le Programme de soutien aux Stratégies de développement touristique (PSSDT) et son cadre normatif (CT 218413). Il précise qu’à échéance, le 31 mars 2020, une évaluation de programmes, basée entre autres sur l’atteinte des résultats visés, sera réalisée. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 31 janvier 2018.
Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation d’un nouveau programme.
Conformément au plan annuel en matière d’évaluation de programmes 2017-2018, la Direction générale des services à la gestion a été mandatée par les autorités du ministère du Tourisme (MTO) pour réaliser le cadre de suivi et d’évaluation préliminaire du PSSDT volet 3 - Appui à la stratégie de mise en valeur du tourisme de nature et d’aventure (SMVTNA).
Ce document sera préalablement approuvé par le sous-ministre et transmis au SCT quinze jours avant le début des travaux d’évaluation, tel que précisé dans la directive.
Le cadre de suivi et d’évaluation préliminaire a pour intention de décrire le programme, de proposer un plan de suivi des principaux indicateurs en plus de développer une stratégie globale d’évaluation. Cette stratégie permet de planifier et de détailler une démarche qui rendra compte de la pertinence et du fonctionnement du programme en plus d’en estimer la performance globale.
La structure du présent document répond au gabarit proposé par le SCT et contient les renseignements suivants :
• La description du programme incluant sa raison d’être, ses objectifs et sa logique d’intervention;
• Le suivi du programme décrivant les indicateurs retenus, les sources de données, la fréquence et la responsabilité de la collecte;
• La stratégie globale d’évaluation comprenant les principales étapes et méthodes utilisées.
2
2. DESCRIPTION DU PROGRAMME En harmonie avec les objectifs du Plan de développement de l’industrie touristique 2012-2020 : un itinéraire vers la croissance (PDIT) et du Plan d’action 2016-2020, le PSSDT vise le renforcement et le développement de l’offre touristique québécoise afin de faire du tourisme « une industrie concurrentielle, durable, innovante et attractive pour les visiteurs du Québec et ceux des marchés extérieurs ». Il comporte cinq volets qui entendent stimuler l’investissement privé, la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des retombées économiques du tourisme dans toutes les régions du Québec.
Le 17 mars 2016, lors du discours du budget 2016-2017, le gouvernement du Québec annonçait des contributions gouvernementales totalisant 40 M$ pour soutenir la mise en œuvre de trois stratégies de développement touristique. La mise à jour économique de novembre 2017 est venue bonifier de 20 M$ ce montant, portant ainsi le budget à 60 M$. Le PSSDT volet 3 SMVTNA s’inscrit dans le déploiement du PSSDT. Cette stratégie repose sur la vision suivante : « Faire du Québec une destination authentique, reconnue, définie par son originalité, s’appuyant sur ses avantages concurrentiels au sein des marchés touristiques d’exploitation et génératrice de retombées durables grâce à des alliances stratégiques ».
C’est dans ce contexte que la SMVTNA est déployée. De cette stratégie découlent trois axes majeurs d’intervention :
• Favoriser l’investissement privé pour développer des produits distinctifs et compétitifs;
• Offrir un accompagnement adapté aux entrepreneurs pour consolider un tissu d’entreprises performantes;
• Soutenir la structuration d’une offre de séjours multiactivités et multisaisons pour offrir aux visiteurs une expérience enrichie et intégrée.
Le volet 3 du PSSDT offre une aide financière pour des projets comportant des coûts minimaux de 100 000 $ et l’aide maximale accordée est de 3 M$ pour la construction, l’agrandissement ou la réfection d’infrastructure touristique et la consolidation, l’implantation, l’expansion ou la modernisation d’un attrait, d’une activité, d’un équipement, d’un produit spécialisé ou d’un service touristique. À partir de janvier 2018, l’aide maximale accordée par le MTO est de 2 M$.
Cette aide financière ne peut excéder 33,33 % des coûts admissibles d’un projet et est versée comptant en deux versements. Le premier versement, équivalant à 60 % de
3
l’aide accordée, est versé à la suite de la signature de l’entente avec le promoteur alors que le second versement, équivalant à 40 % de l’aide prévue, est versé à la suite de la réception de l’audit d’un vérificateur externe.
Le cumul maximal des aides gouvernementales comprend le total des aides financières accordées comprend le total des aides financières accordées, incluant les aides remboursables considérées à 50% pour les coûts admissibles du projet par l’ensemble des ministères et organismes provinciaux et fédéraux ainsi que des entités municipales. Ce cumul ne pourra pas excéder 50 % s’il s’agit d’un organisme à but lucratif (OBL), 80 % s’il s’agit d’un organisme à but non lucratif (OBNL), d’une coopérative et d’une municipalité et 90 % s’il s’agit de communauté ou de nation autochtone (OBL et OBNL) ainsi que pour des organismes des Îles-de-la-Madeleine.
Pour être admissible, tout projet doit satisfaire aux conditions suivantes :
• Constituer un des produits touristiques prioritaires ciblés dans la SMVTNA ou être complémentaire à l’un des produits ciblés;
• Démontrer un potentiel d’attraction des clientèles touristiques.
a. RAISON D’ÊTRE Les activités touristiques de type nature et aventure se retrouvent dans toutes les régions touristiques du Québec. Elles constituent un bon complément à d’autres produits touristiques québécois et leur grande diversité ajoute à l’enrichissement de l’expérience offerte aux visiteurs. Pour atteindre ses objectifs, le Québec doit proposer une expérience touristique sans cesse renouvelée qui mise sur des produits novateurs et distinctifs afin de se démarquer des destinations concurrentes.
La décision de miser sur le tourisme de nature et aventure tire son origine des conclusions de la table mixte qui regroupait l’ensemble des acteurs touristiques québécois en vue d’élaborer le PDIT. Celle-ci est venue à la conclusion que le tourisme de nature et d’aventure était un secteur touristique à fort potentiel ainsi qu’un produit complémentaire à plusieurs autres offres touristiques québécoises. Par la suite, une analyse de l’état des lieux du secteur fut entreprise par la Direction des politiques et de l’intelligence d’affaires (DPIA) du MTO afin d’identifier les produits prioritaires permettant la mise en œuvre de la stratégie. Les investissements prévus au volet 3 du PSSDT devraient aider le Québec à développer son plein potentiel touristique au niveau du tourisme de nature et d’aventure.
4
Compte tenu du potentiel que représente le tourisme international en matière du tourisme de nature et d’aventure, et en raison de ce que le Québec peut offrir comme expérience à ses visiteurs, ses activités touristiques font partie des composantes qui contribueront à l’atteinte des cibles établies au PDIT 2012-2020 ainsi que du Plan d’action 2016-2020.
b. OBJECTIFS Le Programme d’appui à la SMVTNA vise deux objectifs spécifiques (effets à court terme) :
• Renforcer le développement et le renouvellement des produits identifiés dans la SMVTNA (villégiature en milieu naturel, adrénaline, expérience autochtone et produits spécialisés);
• Accroître la collaboration et les partenariats d’affaires entre les parcs nationaux ou les chefs de file de la villégiature en milieu naturel avec des entreprises performantes offrant des produits identifiés dans la stratégie.
Prise dans son ensemble, les projets développés dans le cadre de la SMVTNA, ainsi que dans les autres stratégies, contribueront à atteindre les objectifs généraux (effets à moyen terme) du PSSDT qui sont :
• Favoriser le développement d’une offre touristique originale complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés par le MTO;
• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.
Le PSSDT ainsi que l’ensemble des programmes d’aides du MTO ont pour but de réaliser les objectifs du PDIT 2012-2020 ainsi que du Plan d’action 2016-2020 (effets à long terme) qui sont :
• Des recettes touristiques totalisant 18,9 G$ en 2020; • Un accroissement du nombre d’emplois équivalant à 50 000 emplois d’ici 2020. c. LOGIQUE D’INTERVENTION La Direction des interventions sectorielles (DIS) est responsable du déploiement de la SMVTNA ainsi que de soutenir les associations touristiques sectorielles (ATS) et autres organismes dans leurs démarches. De plus, la DIS soutient également la Direction des programmes et de l’intervention régionale (DPIR) dans la prise de décision concernant les demandes d’aides financières en réalisant des avis sectoriels dans le cadre du programme.
5
La DPIR du MTO est responsable de la mise en œuvre du PSSDT volet 3, de la sélection des projets et du suivi administratif des dossiers et de sa reddition de comptes. Elle assure le lien avec le promoteur à chacune des étapes du processus d’attribution d’une aide financière.
Pour leur part, les promoteurs doivent joindre à leur formulaire de Demande d’aide financière, dûment rempli, les documents exigés, dont un plan d’affaires qui présente la description détaillée des clientèles visées ainsi que les impacts et les retombées touristiques du projet. Cette première étape permet de valider l’admissibilité du projet. À la suite de l’analyse de leur dossier de Demande d’aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leur projet.
La coordination des actions de ces différents acteurs a pour objectif de sélectionner et de financer des projets ayant pour but de soutenir la mise en œuvre de la SMVTNA. Ces projets permettront de dynamiser et diversifier l’offre touristique québécoise en matière de tourisme de nature et d’aventure.
Le schéma suivant illustre la logique d’intervention du programme. Il présente une description sommaire du programme et de ses composantes.
Schéma : Modèle logique du Programme d’appui à la SMVTNA
Raison d'être Les activités touristiques de type nature et aventure se retrouvent dans toutes les régions touristiques du Québec et constituent un bon complément à d’autres produits touristiques québécois. Cependant, l’offre nécessite d’être structurée :
• Besoin de faire du Québec une destination reconnue qui mise sur ses grands espaces et qui se distingue par son offre multiactivité;
• Besoin de développer la pratique d’activités de plein air, que ce soit d’aventure, de découverte, de culture autochtone ou de séjour de forêt;
• Besoin d’appuyer les entreprises offrant des expériences authentiques et diversifiées.
Conditions d'admissibilité
Pour être admissible, tout projet doit satisfaire aux conditions suivantes :
• Constituer un des produits touristiques prioritaires ciblés par la stratégie ou être complémentaire à l'un des produits ciblés;
• Démontrer un potentiel d'attraction des clientèles touristiques.
6
Clientèle cible • Les OBL légalement constitués au Québec; • Les OBNL légalement constitués au Québec; • Les coopératives légalement constituées au Québec; • Les municipalités63; • Les communautés et les nations autochtones reconnues par l’Assemblée
nationale; • Tout regroupement de ces clientèles.
Objectifs Objectifs spécifiques
• Renforcer le développement et le renouvellement des produits identifiés dans la SMVTNA;
• Accroître la collaboration et les partenariats d’affaires entre les parcs nationaux ou les chefs de file de la villégiature en milieu naturel avec des entreprises performantes offrant des produits identifiés dans la stratégie.
Objectifs généraux
• Favoriser le développement d’une offre touristique originale, complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés par le MTO;
• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.
Buts
• Faire du tourisme une industrie compétitive, durable, innovante et attractive pour les visiteurs du Québec et des autres marchés;
• Soutenir la mise en œuvre du PDIT 2012-2020 et du Plan d’action 2016-2020.
Nature de l'intervention
À la suite de l'analyse de leur dossier de demande d'aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leurs projets selon les modalités suivantes :
• L’aide financière est versée comptant et est accordée en deux versements. 60 % à la signature de l’entente et 40 % à la réception de l’audit d’un vérificateur externe;
• Le projet doit comporter des coûts admissibles d’au moins 100 000 $ et l’aide financière est de 3 M$. L’aide maximale accordée sera de 2 M$ à partir de janvier 2018.
63 La désignation de municipalité comprend les municipalités, les cités les villes, les villages, les paroisses, les cantons, les cantons unis, les villages nordiques, les territoires non organisés, les municipalités régionales de comté (MRC), les communautés métropolitaines, les régies intermunicipales et les corporations ou les organismes dont une corporation municipale nomme la majorité des membres ou contribue à plus de la moitié du financement, les regroupements de tels municipalités, corporations ou organismes.
7
Intrants Ressources financières : 60 M$ pour les volets 1, 2, 3 (2016-2017 à 2019-2020). Ressources humaines : les responsables de la coordination du programme (DIS, DPIR). Ressources informationnelles : les données administratives et de gestion sont consignées dans le système de gestion de l'aide financière du MTO (demandes d'aide financière, fiches de retombées touristiques, etc.).
Activités de production
• Demandes d'aide financière reçues en continu; • Analyse et évaluation de l'admissibilité de la demande d'aide financière; • Prise de décision relative à chacune des demandes d'aide financière; • Attribution de l'aide financière et protocole d'entente; • Suivi et reddition de comptes.
Extrants • Nombre de projets soutenus par le programme;
Effets à court terme
• Développement et renouvellement des produits identifiés à la SMVTNA; • Accroissement de la collaboration et des partenariats d’affaires entre les parcs
nationaux ou les chefs de file de la villégiature en milieu naturel avec des entreprises performantes offrant des produits identifiés dans la stratégie.
Effets à moyen terme
• Augmentation de l’achalandage; • Augmentation du chiffre d'affaires du promoteur; • Augmentation des emplois créés.
Effets à long terme • Augmentation du taux d’occupation moyen des établissements d’hébergement touristiques;
• Augmentation de la fréquentation régionale et la provenance des touristes; • Augmentation du nombre d’emplois liés au tourisme; • Augmentation des recettes touristiques du Québec.
3. SUIVI DU PROGRAMME Le suivi du programme est un examen périodique des activités à l’aide d’indicateurs et de cibles préétablis dans le but de constituer la base de données nécessaire à l’évaluation, soit la mesure de l’atteinte des résultats visés exigée par le CT. La mise en place d’un processus de suivi adéquat assure la disponibilité de données fiables et valides en temps opportun pour évaluer les programmes aux moments clés. Pour les besoins du cadre de suivi et d’évaluation préliminaire, le suivi du programme consiste à déterminer les indicateurs significatifs à documenter afin de planifier la collecte et l’analyse des données. Or, la mise en place du processus d’évaluation de programmes fut décidée après la mise en œuvre de la SMVTNA, faisant en sorte que cette partie du processus d’évaluation a dû être élaborée a posteriori. Dans ces circonstances, en plus des données prévues dans le cadre normatif (CT 218413), il fut décidé d’identifier des indicateurs pertinents qui sont en adéquation avec les données déjà collectées par la DPIA. Une autre partie des données sera rassemblée à
8
partir des fiches de Demande d’aide financière et de fiches de retombées économiques récupérées par la DPIR. Quant à l’établissement des cibles à atteindre, elles correspondront à celles déjà établies par le PDIT 2012-2020 et du Plan d’action 2016-2020 lorsque ceux-ci en mentionnent. a. CHOIX DES INDICATEURS ET DES CIBLES
i. Choix des indicateurs Les normes relatives au PSSDT autorisées par le CT 218413 précisent qu’une évaluation de programmes basée sur les résultats visés sera réalisée à l’échéance du programme afin de comparer les résultats obtenus avec la situation initiale sur la base des indicateurs suivants :
progression de l’achalandage; progression du chiffre d’affaires du promoteur; progression des emplois créés.
Cette évaluation permettra également de mesurer la contribution du PSSDT à l’atteinte des objectifs du PDIT 2012-2020 et du Plan d’action 2016-2020, notamment :
le taux d’occupation moyen des établissements d’hébergement touristiques; la fréquentation régionale et la provenance des touristes; le nombre d’emplois liés au tourisme; les recettes touristiques du Québec.
Pour mesurer le niveau d’atteinte des résultats visés, il est convenu d’utiliser l’information contenue dans les formulaires et documents obligatoires à une demande d’aide financière. Elle permet de déterminer les indicateurs et les cibles par projet financé au moment du démarrage, c’est-à-dire « l’an un ». Parmi les informations, il y a le type de projet, le montant d’investissement, la période saisonnière et le nombre de personnes à l’emploi depuis les deux dernières années complètes d’opération ainsi que le nombre projeté pour les deux années qui suivront; c’est la même chose pour le nombre et la provenance des visiteurs. Dans le but d’assurer le suivi des résultats du programme à partir de la date de démarrage du projet, et cela jusqu’au moment opportun de réaliser l’évaluation, l’information documentée dans les fiches de retombées touristiques (annexe B) sera utilisée. Cette fiche fournit annuellement les données nécessaires sur l’achalandage par marché ciblé, sur la saisonnalité, la structuration et la forfaitisation de l’offre, les données financières du promoteur du projet. En plus des indicateurs exigés par le CT 218413, la collecte d’autres données est actuellement en cours afin d’aider à la prise de décision. Cette collecte est faite par la DPIA depuis la création du PDIT en 2012, et se poursuivra en 2018 et 2019. Le tableau suivant présente la liste des indicateurs retenus pour mesurer l’atteinte des résultats visés par la SMVTNA.
9
Tableau : Fiche des indicateurs de suivi
Effet Indicateur Donnée de référence Cible Source de données Fréquence de la collecte
Responsabilité de la collecte
Évaluation des effets, de l’efficacité et de l’efficience
Développement et renouvellement des produits identifiés dans la stratégie
(Effet à court terme)
Nombre d’attraits financés par la SMVTNA Avant la stratégie : 0 S/O Fiche de demande
d’aide financière En continu DPIR
Chiffre d’affaires des entreprises en écotourisme (AEQ) 2017 : 77 800 000 $
Évolution à la hausse
Portail ATS Rapport AEQ Annuelle DIS
Nombre d’entreprises dans le secteur de l’écotourisme 2016 : 160 Maintien ou
évolution à la hausse
Portail ATS Rapport AEQ Annuelle DIS
Chiffre d’affaires des entreprises du secteur des pourvoiries ($)
2016 : 135 026 335 $
Évolution à la hausse
Portail ATS Rapport FPQ Annuelle DIS
Nombre d’entreprises dans le secteur des pourvoiries 2016 : 609
Maintien ou évolution à la
hausse
Portail ATS Rapport FPQ Annuelle DIS
Nombre d’entrée dans les parcs du réseau SÉPAQ 2016 : 4 803 724
Évolution à la hausse
Banque de données de la SÉPAQ Annuelle DIS
Chiffre d’affaires moyen des entreprises du tourisme autochtone ($)
2016 : 400 000 $ Évolution à la hausse
Portail ATS Rapport TAQ
Annuelle DIS
Nombre d’entreprises œuvrant dans le domaine du tourisme autochtone
2016 : 229 Maintien ou évolution à la
hausse
Portail ATS Rapport TAQ
Annuelle DIS
Accroissement de la collaboration et des
partenariats d’affaires (Effet à court terme)
Nombre de partenariat et de collaboration entre la SÉPAQ et des entreprises privées
Avant la stratégie : 0
Évolution à la hausse
Banque de données de la SÉPAQ/Fiche de demande d’aide financière
Annuelle DIS
Augmentation de la compétitivité du
tourisme de nature et d’aventure
(Effet à court et
Nombre de touristes Avant le projet (fiche de demande d’aide financière)
Selon les prévisions des
promoteurs/DIS
Fiche de demande d’aide financière /Fiche retombée touristique
En continu DPIR
Chiffre d’affaires du promoteur Avant le projet (fiche de demande d’aide financière)
Selon les prévisions des
Fiche de demande d’aide financière /Fiche En continu DPIR
10
moyen terme) promoteurs/DIS retombée touristique
Nombre d’emploi Avant le projet (fiche de demande d’aide financière)
Selon les prévisions des
promoteurs/DIS
Fiche de demande d’aide financière /Fiche retombée touristique
En continu DPIR
Ratio de touriste québécois/hors-Québec Année 2012 : 78,3 % Québec 21,7 % hors Québec
Maintien ou évolution à la hausse H-Q
Banque de données DPIA Annuelle DPIA
Contribution du PSSDT à l’atteinte
des objectifs du PDIT et du Plan d’action
2016-2020 (Effet à long terme)
Taux d’occupation moyen des établissements d’hébergement touristiques (%)
Année 2012 : 52,5 % + 1 % par année Base de données de la
DPIA Mensuelle DPIA
Achalandage touristique du Québec (M) (Des changements méthodologiques de la part de Statistique Canada ont rendu la cible caduque)
Année 2012 : 30,7 M
Auparavant : +7M en 2020
Rapport Le tourisme au Québec en bref Annuelle DPIA
Nombre d’emplois liés au tourisme Année 2012 : 344 494
+ 50 000 d’ici 2020
Portrait de l'industrie touristique Annuelle DPIA
Dépenses touristiques du Québec (M$) Année 2012 : 12 800 M$ + 5 % par an Rapport Le tourisme au
Québec en bref Annuelle DPIA
Évaluation de fonctionnement
Conformité des projets soutenus par
le programme
Taux en pourcentage des aides livrées dans les temps
Sans Objet
100 % Fiche de demande d’aide financière En continu DPIR
Taux en pourcentage des projets financés qui sont terminés 100 % Fiche de demande
d’aide financière En continu DPIR
Taux en pourcentage des projets qui respectent la durée de réalisation prévue dans l’entente 100 % Fiche de demande
d’aide financière En continu DPIR
Nombre de projets refusés S/O Fiche de demande d’aide financière En continu DPIR
Nombre de documents de suivis et de redditions de comptes reçus S/O Fiche retombée
touristique En continu DPIR
Évaluation de la pertinence
Répondre aux besoins du secteur
Taux en pourcentage de projets conformes acceptés Sans Objet
85 % Fiche de demande d’aide financière En continu DPIR
Nombre de demandes d’aide financière reçues S/O Fiche de demande d’aide financière En continu DPIR
11
Montant des aides financières octroyées ($) S/O Fiche de demande d’aide financière En continu DPIR
Volume de projets financés par rapport au volume de projets reçus S/O Fiche de demande
d’aide financière En continu DPIR
Volume de financement disponible par rapport au volume de financement demandé ($) S/O Fiche de demande
d’aide financière En continu DPIR
4. STRATÉGIE GLOBALE D’ÉVALUATION Cinq types d’évaluation sont prévus dans la stratégie. Ces questions couvrent les critères d’analyse de pertinence, de mise en œuvre, des effets, d’efficacité et d’efficience. Ces aspects permettront de répondre aux besoins d’informations du MTO et du SCT et seront particulièrement utiles à la prise de décision lors d’une éventuelle reconduction du programme. Selon les indicateurs, la collecte de données pourrait se faire de 2012 à 2019. Dans le cas contraire, la collecte se fera de 2017 à 2019 inclusivement. Pour les 5 évaluations :
- Transmission du cadre d’évaluation : janvier 2019 - Transmission du rapport d’évaluation : janvier 2020
L’évaluation de la pertinence L’évaluation de la pertinence permet de vérifier l’adéquation entre la raison d’être du programme et les besoins à satisfaire. L’évaluation s’intéressera également sur le bien-fondé des interventions afin de s’assurer que celles-ci répondent bien aux besoins spécifiques du secteur du tourisme du tourisme de nature et d’aventure. L’évaluation se penchera également sur la pertinence de l’aide financière accordée. Pour ce faire, un sondage sera envoyé aux promoteurs ayant bénéficié du soutien de la SMVTNA, aux promoteurs dont le projet a été refusé ainsi qu’aux ATS s’y rattachant afin de déterminer si le programme répond bien aux attentes et aux besoins de l’industrie. L’élaboration du sondage ainsi que son prétest aura lieu au troisième trimestre de 2019 alors que l’envoi du sondage et la compilation des données se feront au début du quatrième trimestre de 2019. À la suite de cette première ronde de consultation, certaines entrevues téléphoniques pourraient avoir lieu si un besoin d’information supplémentaire se faisait sentir. Les principales questions du sondage et des entrevues porteront sur la pertinence de la forme que prend le financement de l’aide (aide au comptant en deux versements), le genre de projets admissibles pour l’aide ainsi que les produits touristiques ciblés par l’aide. En parallèle de cette démarche, les données contenues dans les fiches de demande d’aide financière en lien avec la pertinence du programme (nombre de projets conformes acceptés, nombre de demandes d’aide financière reçues, montant des aides octroyées) seront compilées. L’ensemble des indicateurs nommés plus haut pourront aussi aider à déterminer si le secteur du tourisme de nature et d’aventure nécessite toujours d’être soutenu ou si certains produits ciblés par la stratégie n’ont plus besoin d’aide supplémentaire. L’évaluation de fonctionnement Cette évaluation vise à s’assurer que les processus et les procédures soient déployés conformément à ce qui a été prévu et qu’ils contribuent à l’atteinte des objectifs visés. Elle permettra de mettre en lumière les forces à préserver et les faiblesses à corriger. Dans ce cas-ci, l’évaluation consistera à compiler les données présentes dans la demande d’aide financière acceptée afin de vérifier que les critères quant au type de projet, aux types de bénéficiaire ainsi qu’à la région concernée soient respectés. La collecte des données se fera en continu par la DPIR au fur et à mesure que les projets seront acceptés ainsi que le suivi de l’implantation des projets par le promoteur. De plus, le processus de sondage expliqué plus tôt servira également à questionner les bénéficiaires du programme, les ATS et les promoteurs s’étant vu refuser une aide financière sur les forces et les faiblesses du programme.
L’évaluation de l’efficacité Cette évaluation consiste à mesurer le degré d’atteinte des objectifs de l’intervention. Pour ce faire, l’équipe d’évaluation de programmes se penchera sur l’ensemble des indicateurs présentés plus haut en ce qui a trait aux effets à court et moyen terme de la SMVTNA, soit les indicateurs prévus pour les effets de développement et croissance des produits identifiés à la stratégie, l’accroissement de la collaboration et des partenariats d’affaires, l’augmentation de la compétitivité du tourisme de nature et d’aventure et la contribution du PSSDT à l’atteinte des objectifs du PDIT. La cueillette de ces données se fera essentiellement par de la recherche et de l’analyse documentaire faite par la DPIA/DIS/DPIR une fois par année ou par mois selon l’indicateur. Le but de la collecte sera de suivre l’évolution des indicateurs pour les promoteurs ayant bénéficié d’une aide financière afin de les comparer aux données de l’ensemble de leur secteur touristique afin de déterminer si ceux-ci ont mieux performé que leur secteur. Dans un second temps, les secteurs touristiques priorisés par la stratégie seront comparés à l’ensemble de l’industrie touristique de nature et d’aventure afin de vérifier si ces secteurs ont mieux performé que l’industrie. Finalement, afin de mieux définir l’inférence causale entre la SMVTNA et l’évolution des données, le processus de sondage cité plus haut permettra aussi de questionner les promoteurs ayant bénéficié d’une aide financière ainsi que les ATS s’y rattachant sur la part de l’évolution imputable à l’aide octroyée. L’évaluation de l’efficience Cette évaluation permet d’examiner la relation entre les effets du programme et les ressources utilisées pour les produire. Autrement dit, il sera question de déterminer le ratio entre les effets du programme et ses intrants. Suite à la collecte et à l’analyse des données recueillies aux fins de l’évaluation de l’efficacité du programme, il sera possible, dans une certaine mesure, de déduire les ressources nécessaires afin de créer ou préserver un emploi grâce au programme, d’évaluer l’importance de l’investissement privé qui découle de l’aide financière accordée ainsi que celle des retombées économiques issues du programme. Ces données pourront ensuite être comparées aux autres volets du PSSDT ou à d’autres programmes gouvernementaux afin de juger de l’efficience de la démarche. Pour ce faire, la méthode Data Envelopment Analysis (DEA) est envisagée. L’évaluation des effets L’évaluation des effets se penche sur l’état de la situation avant et après intervention. Elle vise à mesurer les effets entraînés par une intervention sur la clientèle visée. Dans un premier temps, les fiches de demande d’aide financière ainsi que les documents de reddition de compte seront comparés afin de valider que les infrastructures aient bien été construire, réfectionnées ou améliorées conformément à l’entente. En plus de bonifier l’aspect évaluatif du fonctionnement du programme, cette mesure permettra de quantifier le premier effet direct du programme soit l’amélioration des infrastructures. Dans un deuxième temps, les données provenant des fiches de demande d’aide financière ainsi que des fiches de retombées économiques soient l’achalandage, le maintien ou la création d’emploi et les revenus du promoteur du projet avant la demande de l’aide financière seront
comparées aux données recueillies via les fiches de retombées économiques lors des cinq années suivant l’octroi de l’aide. Le processus de sondage servira également à demander aux promoteurs si la modernisation de leur infrastructure aurait été possible sans l’aide du programme. 5. CONSIDÉRATIONS ÉTHIQUES Les informations obtenues seront traitées et manipulées de façon strictement confidentielle en respect de la Loi sur l’accès aux documents des organismes publics et sur la protection des renseignements personnels (L.R.Q., chapitre A-2.1). Les informations colligées serviront exclusivement aux fins annoncées par la présente évaluation. Aucune autre utilisation ne peut en être faite. 6. APPROBATION DES RESPONSABLES La mise en œuvre du cadre de suivi et d’évaluation implique la participation et l’approbation de plusieurs directions du MTO :
la DPIR est gestionnaire du PSSDT et responsable de la disponibilité de l’information requise pour les besoins de l’évaluation;
la DPIA offre un soutien pour la constitution de la base de données et l’analyse des
retombées économiques; la DIS coordonne la mise en œuvre de la Stratégie de mise en valeur du tourisme de
nature et d’aventure (SMVTNA).
Préparé par : Carmen Méndez et Benoit Lapierre Date :
Approuvé par le directeur général : Sylvain Bernier Date :
MINIS TÈ R E DU TOUR IS ME
P R OG R AMME DE S OUT IE N AUX S T R AT É G IE S DE DÉ V E L OP P E ME NT T OUR IS T IQUE
(PSSDT)
V OL E T 4 : AP P UI À L A S T R AT É G IE DE MIS E E N V AL E UR DU S AINT -L AUR E NT T OUR IS T IQUE
(SMVSLT)
C ADR E DE S UIV I E T D’É VAL UAT ION P R É L IMINAIR E
Préparé par : Direction générale des services à la gestion Février 2018
Table des matières 1 CONTEXTE........................................................................................................................................ 1
2 DESCRIPTION DU PROGRAMME ...................................................................................................... 1
2.1 RAISON D’ÊTRE .................................................................................................................... 2
2.2 OBJECTIFS ............................................................................................................................ 3
2.3 LOGIQUE D’INTERVENTION ................................................................................................. 3
3 SUIVI DU PROGRAMME ................................................................................................................... 6
3.1 CHOIX DES INDICATEURS ET DES CIBLES .............................................................................. 7
3.1.1 Le choix des indicateurs ............................................................................................................ 7
4 STRATÉGIE GLOBALE D’ÉVALUATION ............................................................................................... 3
5 CONSIDÉRATIONS ÉTHIQUES ........................................................................................................... 5
6 APPROBATION DES RESPONSABLES ................................................................................................. 5
1
1 CONTEXTE Le 12 décembre 2017, le Conseil du trésor approuve le Programme de Soutien aux Stratégies de Développement Touristique (PSSDT) et son cadre normatif (CT 218413). Il précise qu’à échéance, le 31 mars 2020, une évaluation de programme, basée entre autres sur l’atteinte les résultats visés, sera réalisée. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 31 janvier 2018. Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation d’un nouveau programme. Conformément au plan annuel en matière d’évaluation de programmes 2017-2018, la Direction Générale des Services à la Gestion a été mandatée par les autorités du ministère du Tourisme (MTO) pour réaliser le cadre de suivi et d’évaluation préliminaire du PSSDT volet 4 - Appui à la Stratégie de mise en valeur du Saint-Laurent touristique (SMVSLT). Ce document sera préalablement approuvé par le sous-ministre et transmis au Secrétariat du Conseil du trésor (SCT) quinze jours avant le début des travaux d’évaluation, tel que précisé dans la directive. Le cadre de suivi et d’évaluation préliminaire a pour intention de décrire le programme, de proposer un plan de suivi des principaux indicateurs en plus de développer une stratégie globale d’évaluation. Elle permet de planifier et de détailler une démarche qui rendra compte de la pertinence et du fonctionnement du programme en plus d’en estimer la performance globale. La structure du présent document répond au gabarit proposé par le SCT et contient les renseignements suivants :
• La description du programme incluant sa raison d’être, ses objectifs et sa logique d’intervention;
• Le suivi du programme décrivant les indicateurs retenus, les sources de données, la fréquence et la responsabilité de la collecte;
• La stratégie globale d’évaluation comprenant les principales étapes et méthodes utilisées.
2 DESCRIPTION DU PROGRAMME En harmonie avec les objectifs du Plan de développement de l’industrie touristique 2012-2020 : un itinéraire vers la croissance (PDIT) et du Plan d’action 2016-2020, le PSSDT vise le renforcement et le développement de l’offre touristique québécoise afin de faire du « tourisme une industrie concurrentielle, durable, innovante et attractive pour les visiteurs du Québec et ceux des marchés extérieurs ». Il comporte cinq volets qui entendent stimuler l’investissement privé, la création d’emplois, l’augmentation du
2
nombre de visiteurs et l’accroissement des retombées économiques du tourisme dans toutes les régions du Québec. C’est dans ce contexte que la SMVSLT est déployée. Le MTO disposait déjà d’un programme similaire visant le soutien à la mise en œuvre de la SMVSLT. Il s’agit du Programme Stratégie maritime - volet tourisme (PSMVT) qui a été approuvé par le CT 214235 du 21 octobre 2014. Vu la similitude entre ces deux programmes et dans le but d’uniformiser et de simplifier le nombre de programmes disponibles au MTO, il a été jugé opportun d’intégrer le PSMVT au nouveau programme. Le PSSDT volet 4 offre une aide financière pour les projets dont les coûts admissibles sont d’au moins 100 000 $ et l’aide financière maximale pouvant être accordée est de 3 M$, pour la construction, l’agrandissement ou la réfection d’infrastructure touristique et la consolidation, l’implantation, l’expansion ou la modernisation d’un attrait, d’une activité, d’un équipement, d’un produit spécialisé ou d’un service touristique. À partir de janvier 2018, l’aide financière maximale passera à 2 M$. Cette aide financière ne peut excéder 33,33 % des coûts admissibles d’un projet. Elle peut être versée comptant lorsque l’aide financière est de 250 000 $ et moins. Lorsque celle-ci est de plus de 250 000 $ ou lorsqu’elle ne peut être versée comptant, elle est attribuée sous forme de prise en charge du service de la dette sur une période maximale de 10 ans à laquelle s’ajoutent les intérêts. Le cumul maximal des aides gouvernementales comprend le total des aides financières accordées comprend le total des aides financières accordées, incluant les aides remboursables considérées à 50% pour les coûts admissibles du projet par l’ensemble des ministères et organismes provinciaux et fédéraux ainsi que des entités municipales. Ce cumul ne pourra pas excéder 50 % s’il s’agit d’un organisme à but lucratif (OBL), 80 % s’il s’agit d’un organisme à but non lucratif (OBNL), d’une coopérative et d’une municipalité et 90 % s’il s’agit de communauté ou de nation autochtone (OBL et OBNL) ainsi que pour des organismes des Îles-de-la-Madeleine. Pour être admissible, le projet doit être réalisé dans un des pôles du Saint-Laurent ou le long d’une route ou d’un circuit touristique entre les pôles ET constituer un des sept produits touristiques prioritaires identifiés dans la stratégie ou complémentaires à un des produits ciblés. 2.1 RAISON D’ÊTRE Le Saint-Laurent est l’un des vingt plus longs fleuves de la planète. Il constitue la nature même du paysage québécois, de son développement humain et de ses ressources naturelles exceptionnelles. L’Amérique française a pris naissance sur les rives de ce grand fleuve où vivent encore près de quatre Québécois sur cinq. Plusieurs destinations misant sur les voies navigables ou leurs plans d’eau majeurs proposent un développement intégré des activités maritimes et fluviales. Le Saint-Laurent est un joyau national et un atout majeur pour le développement touristique du Québec. La SMVSLT représente une des pierres d’assise du renouvellement touristique québécois et de son positionnement à l’international. Elle s’inscrit dans le prolongement de la vision économique du gouvernement du Québec et de sa stratégie maritime. Plus
3
concrètement, la décision de miser sur le tourisme autour du St-Laurent tire son origine des conclusions de la table mixte qui regroupait l’ensemble des acteurs touristiques québécois en vue d’élaborer le PDIT. Celle-ci est venue à la conclusion que le tourisme lié au fleuve St-Laurent était un secteur touristique à fort potentiel ainsi qu’un produit d’appel qui permettait au Québec de se distinguer de l’offre touristique internationale. Par la suite, une analyse de l’état des lieux du secteur fut entreprise par la Direction des politiques et de l’intelligence d’affaires (DPIA) du MTO afin d’identifier les produits ainsi que les régions prioritaires pour la mise en œuvre de la stratégie. Les investissements prévus au volet 4 du PSSDT devraient aider le Québec à développer son plein potentiel touristique au niveau du tourisme lié au St-Laurent. 2.2 OBJECTIFS Le volet 4 du PSSDT, Programme d’appui à la SMVSLT, vise à atteindre trois objectifs spécifiques (effets à court terme) :
• Hausser l’attractivité des 10 pôles du Saint-Laurent identifiés à l’ensemble de la SMVSLT 2014-202064;
• Renforcer la compétitivité et viser la croissance des produits prioritaires : croisières internationales, croisières fluviales et maritimes, croisières-excursions, observation de mammifères marins, sites naturels et patrimoniaux, nautisme, festivals et évènements;
• Augmenter l’achalandage en soutenant la structuration de l’offre des routes et des circuits touristiques liant les pôles du Saint-Laurent.
Pris dans son ensemble, les projets développés dans le cadre de la SMVSLT, ainsi que dans le cadre des autres stratégies, contribueront à atteindre les objectifs généraux (effets à moyen terme) du PSSDT qui sont :
• Favoriser le développement d’une offre touristique originale, complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés65 par le MTO;
• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.
Le PSSDT ainsi que l’ensemble des programmes d’aides du MTO ont pour but de réaliser les objectifs du PDIT 2012-2020 ainsi que du Plan d’action 2016-2020 (effets à long terme) qui sont :
• Des recettes touristiques totalisant 18,9 G$ en 2020; • Un accroissement du nombre d’emplois équivalant à 50 000 emplois d’ici 2020. 2.3 LOGIQUE D’INTERVENTION 64 Les 10 pôles du Saint-Laurent identifiés à la stratégie sont : Montréal, Trois-Rivières, Québec, Parc marin du Saguenay-Saint-Laurent, Saguenay-Lac-Saint-Jean, Baie-Comeau, Sept-Îles, Havre-Saint-Pierre, Gaspé, Îles-de-la-Madeleine. 65 Les onze marchés ciblés : Ontario, Reste du Canada (ROC), Atlantique Centre (EU), Nouvelle-Angleterre (EU), Sud des États-Unis, Côte Ouest et Centre Ouest des États-Unis, France, Chine, Mexique et Québec (Stratégie 2014, p. 37 à 40).
4
La Direction des interventions sectorielles (DIS) est responsable du déploiement de la SMVSLT ainsi que de soutenir les associations touristiques sectorielles (ATS) et autres organismes dans leurs démarches. De plus, la DIS soutient également la Direction des programmes et de l’intervention régionale (DPIR) dans la prise de décision concernant les demandes d’aides financières en réalisant des avis sectoriels dans le cadre du programme. La DPIR du MTO est responsable de la mise en œuvre du PSSDT volet 4, de la sélection des projets et du suivi administratif des dossiers et de sa reddition de comptes. Elle assure le lien avec le promoteur à chacune des étapes du processus d’attribution d’une aide financière. Pour leur part, les promoteurs doivent joindre à leur formulaire de Demande d’aide financière, dûment rempli, les documents exigés, dont un plan d’affaires qui présente la description détaillée des clientèles visées ainsi que des impacts et des retombées touristiques du projet. Cette première étape permet de valider l’admissibilité du projet. À la suite de l’analyse de leur dossier de Demande d’aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leur projet. Une aide financière leur est accordée selon différentes modalités de financement. La coordination des actions de ces différents acteurs a pour objectif de sélectionner et de financer des projets ayant pour but de soutenir la mise en œuvre de la SMVSLT. Ces projets permettront de dynamiser et diversifier l’offre touristique québécoise en matière de tourisme lié au Saint-Laurent. Le schéma suivant illustre la logique d’intervention du programme. Il présente une description sommaire du programme et de ses composantes. Schéma : Modèle logique du Programme d’appui à la SMVSLT.
Raison d'être Le Saint -Laurent compte parmi les plus grands fleuves du monde et donc un atout majeur pour le développement touristique du Québec qui doit être mis en valeur.
• Besoin de concerter la multitude d’acteurs concernés par sa préservation et son développement;
• Besoin de faire du Saint-Laurent une icône touristique de calibre international, qui fera la fierté des Québécois, jouira d’une notoriété auprès des clientèles étrangères et bénéficiera d’un développement durable aux retombées économiques considérables.
Conditions d'admissibilité
Pour être admissible, tout projet doit satisfaire aux conditions suivantes :
• Être réalisé dans un des pôles du Saint-Laurent ou le long d'une route ou d'un circuit touristiques entre les pôles;
• Constituer un des produits touristiques prioritaires identifiés dans la stratégie ou être complémentaire à l'un des produits ciblés.
5
Clientèle-cible • Les OBL légalement constitués au Québec; • Les OBNL légalement constitués au Québec; • Les coopératives légalement constituées au Québec; • Les municipalités66; • Les communautés et les nations autochtones reconnues par l’Assemblée nationale; • Tout regroupement de ces clientèles.
Objectifs Objectifs spécifiques
• Hausser l’attractivité des 10 pôles du Saint-Laurent identifiés à la stratégie d’ensemble;
• Renforcer la compétitivité et viser la croissance des produits prioritaires : croisières internationales, croisières fluviales, etc.;
• Augmenter l’achalandage en soutenant la structuration de l’offre des routes et des circuits touristiques liant les pôles du Saint-Laurent.
Les objectifs généraux
• Favoriser le développement d’une offre touristique originale, complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés par le MTO;
• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.
Buts
• Faire du tourisme une industrie compétitive, durable, innovante et attractive pour les visiteurs du Québec et des autres marchés;
• Soutenir la mise en œuvre du PDIT 2012-2020 du Plan d’action 2016-2020.
Nature de l'intervention
À la suite de l'analyse de leur dossier de demande d'aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leurs projets. Une aide financière leur est accordée sous forme de :
• Prise en charge du service de la dette lorsque l'aide financière est de plus de 250 000 $ (autofinancement, prêt à long terme, règlement d'emprunt);
• Possibilité de versement comptant lorsque l'aide financière est de 250 000 $ et moins.
Intrants Ressources financières : 12 M$ - (2016-2017 à 2019-2020)
Le budget initial annoncé est de 30 M$ (les engagements déjà pris totalisent 18 M$).
66 La désignation de municipalité comprend les municipalités, les cités les villes, les villages, les paroisses, les cantons, les cantons unis, les villages nordiques, les territoires non organisés, les municipalités régionales, de comté (MRC), les communautés métropolitaines, les régies intermunicipales et les corporations ou les organismes dont une corporation municipale nomme la majorité des membres ou contribue à plus de la moitié du financement, les regroupements de tels municipalités, corporations ou organismes.
6
Ressources humaines : Les responsables de la coordination du programme (DIS, DPIR).
Ressources informationnelles : Les données administratives et de gestion sont consignées dans le système de gestion de l'aide financière du ministère (demandes d'aide financière, fiches de retombées touristiques, etc.).
Activités de production
• Demandes d'aide financière reçues en continu; • Analyse et évaluation de l'admissibilité de la demande d'aide financière; • Prise de décision relative à chacune des demandes d'aide financière; • Attribution de l'aide financière et protocole d'entente; • Suivi et reddition de comptes.
Extrants • Nombre de projets soutenus par le programme;
Effets à court terme
• Hausse de l’attractivité des 10 pôles du Saint-Laurent; • Compétitivité et croissance des produits prioritaires; • Soutien accru à la structuration de l’offre des routes et circuits touristiques liant les
pôles du Saint-Laurent.
Effets à moyen terme
• Augmentation de l’achalandage; • Augmentation du chiffre d’affaires du promoteur; • Augmentation des emplois créés.
Effets à long terme
• Augmentation du taux d’occupation moyen des établissements d’hébergement touristiques;
• Augmentation de la fréquentation régionale et la provenance des touristes; • Augmentation du nombre d’emplois liés au tourisme; • Augmentation des recettes touristiques du Québec.
3 SUIVI DU PROGRAMME Le suivi du programme est un examen périodique des activités à l’aide d’indicateurs et de cibles préétablis dans le but de constituer la base de données nécessaire à l’évaluation, soit la mesure de l’atteinte des résultats visés exigée par le CT. La mise en place d’un processus de suivi adéquat assure la disponibilité de données fiables et valides en temps opportun pour évaluer les programmes aux moments clés. Pour les besoins du cadre de suivi et d’évaluation préliminaire, le suivi du programme consiste à déterminer les indicateurs significatifs à documenter afin de planifier la collecte et l’analyse des données. Or, la mise en place du processus d’évaluation de programmes fut décidée après la mise en œuvre de la SMVSLT, faisant en sorte que cette partie du processus d’évaluation a dû être élaborée a postériori. Dans ces circonstances, en plus des données prévues dans le cadre normatif (CT 218413), il fut décidé d’identifier des indicateurs pertinents qui sont en adéquation avec les données
7
déjà collectées par la Direction des politiques et de l'intelligence d'affaires (DPIA). Une autre partie des données sera rassemblée à partir des fiches de Demande d’aide financière et des fiches de retombées économiques récupérées par la DPIR. Quant à l’établissement des cibles à atteindre, elles correspondront généralement à celles déjà établies par le PDIT et le Plan d’action 2016-2020 lorsqu’elles s’appliquent.
3.1 CHOIX DES INDICATEURS ET DES CIBLES 3.1.1 Le choix des indicateurs
Les normes relatives au PSSDT autorisées par le CT 218413 précisent qu’une évaluation de programmes basée sur les résultats visés sera réalisée à l’échéance du programme afin de comparer les résultats obtenus avec la situation initiale sur la base des indicateurs suivants :
progression de l’achalandage; progression du chiffre d’affaires du promoteur; progression des emplois créés.
Cette évaluation permettra également de mesurer la contribution du PSSDT à l’atteinte des objectifs du PDIT 2012-2020 et du Plan d’action 2016-2020, notamment :
le taux d’occupation moyen des établissements d’hébergement touristiques; la fréquentation régionale et la provenance des touristes; le nombre d’emplois liés au tourisme; les recettes touristiques du Québec.
Pour mesurer le niveau d’atteinte des résultats visés, il est convenu d’utiliser l’information contenue dans les formulaires et documents, obligatoire à une demande d’aide financière. Elle permet de déterminer les indicateurs et les cibles par projet financé au moment du démarrage c’est-à-dire, « l’an un ». Parmi les informations, il y a le type de projet, le montant d’investissement, la période saisonnière et le nombre de personnes à l’emploi depuis les deux dernières années complètes d’opération ainsi que le nombre projeté pour les deux années qui suivront; c’est la même chose pour le nombre et la provenance des visiteurs. Dans le but d’assurer le suivi des résultats du programme à partir de la date de démarrage du projet et cela, jusqu’au moment opportun de réaliser l’évaluation, l’information documentée dans les fiches de retombées touristiques (annexe B) sera utilisée. Cette fiche fournit annuellement les données nécessaires sur l’achalandage par marché ciblé, sur la saisonnalité, la structuration et la forfaitisation de l’offre, les données financières de l’organisation promoteur du projet. En plus des indicateurs exigés par le CT 218413, la collecte d’autres données est actuellement en cours afin d’aider à la prise de décision. Cette collecte est faite par la DPIA depuis la création du PDIT en 2012, et se poursuivra en 2018-2019. Le tableau suivant présente la liste des indicateurs retenus pour mesurer l’atteinte des résultats visés du PSSDT volet 4.
8
Tableau : Fiche des indicateurs de suivi Effet Indicateur Donnée de référence Cible Source de données Fréquence de
la collecte Responsabilité de la
collecte Évaluation des effets, de l’efficacité et de l’efficience
Hausser l’attractivité des pôles du St-
Laurent identifiés à la stratégie
(Effet à court terme)
Nombre de passagers débarquant aux différents pôles (ventilé par pôles)
Total 2013 : 218 204
Évolution à la hausse
Banque de données Croisières du Saint-Laurent
Annuelle DPIR
Montant des investissements dans les infrastructures de croisière ($) S/O S/O Banque de données de la
DPIR Annuelle DPIR
Renforcer la compétitivité et viser la croissance des produits
prioritaires (Effet à court terme)
Volume de passagers de croisière internationale Moyenne 2010-2012 : 249 033
Évolution à la hausse
Banque de données Croisières du Saint-Laurent
Annuelle DPIR
Dépenses touristiques liées au Saint-Laurent au Québec ($)
Moyenne 2010-2012 : À venir + 5 % par année Banque de données de la
DPIR Annuelle DPIR
Nombre de projets d’installation d’infrastructures de type place à quai financés (produit nautisme) S/O S/O Fiche de demande d’aide
financière En continu DPIR
Soutenir la structuration de l’offre des routes et des circuits touristiques
liant les pôles du St-Laurent
(Effet à court terme)
Nombre de projets financés par la stratégie S/O S/O Fiche de demande d’aide financière En continu DPIR
Nombre de projets d’aide au développement destinés à l’accueil dans les escales S/O S/O Fiche de demande d’aide
financière En continu DPIR
Montant des aides destinées au développement de projets destiné à l’accueil dans les escales ($) S/O S/O Fiche de demande d’aide
financière En continu DPIR
Augmentation de la compétitivité du
tourisme lié au St-Laurent
(Effet à court et moyen terme)
Nombre de touristes Avant le projet (fiche de demande d’aide financière)
Selon les prévisions des
promoteurs/DIS
Fiche de demande d’aide financière /Fiche retombée touristique
En continu DPIR
Chiffre d’affaires du promoteur Avant le projet (fiche de demande d’aide financière)
Selon les prévisions des
promoteurs/DIS
Fiche de demande d’aide financière /Fiche retombée touristique
En continu DPIR
Nombre d’emploi Avant le projet (fiche de demande d’aide financière)
Selon les prévisions des
promoteurs/DIS
Fiche de demande d’aide financière /Fiche retombée touristique
En continu DPIR
Contribution du PSSDT à l’atteinte des objectifs
du PDIT et du Plan d’action 2016-2020 (Effet à long terme)
Taux d’occupation moyen des établissements d’hébergement touristiques (%)
Année 2012 : 52,5 % +1% par an Base de données de la
DPIA Mensuelle DPIA
Achalandage touristique du Québec (M) (Des changements méthodologiques de la part de Statistique Canada ont rendu la cible caduque)
Année 2012 : 30,7 M
Auparavant : +7M en 2020
Rapport Le tourisme au Québec en bref Annuelle DPIA
Nombre d’emplois liés au tourisme Année 2012 : 344 494
+ 50 000 d’ici 2020
Portrait de l'industrie touristique Annuelle DPIA
9
Recettes touristiques du Québec (M$) Année 2012 : 12 800 M$ + 5 % par an Rapport Le tourisme au
Québec en bref Annuelle DPIA
Évaluation de fonctionnement
Mise en œuvre des projets soutenus par le
programme
Taux en pourcentage des aides livrées dans les temps
Sans Objet
100% Fiche de demande d’aide financière En continu DPIR
Taux en pourcentage des projets financés qui sont terminés 100% Fiche de demande d’aide
financière En continu DPIR
Taux en pourcentage des projets qui respectent la durée de réalisation prévue dans l’entente 100% Fiche de demande d’aide
financière En continu DPIR
Nombre de projets refusés S/O Fiche de demande d’aide financière En continu DPIR
Nombre de documents de suivis et de redditions de comptes reçus S/O Fiche retombée
touristique En continu DPIR
Évaluation de la pertinence
Répondre aux besoins du secteur
Taux en pourcentage de projets conformes acceptés
Sans Objet
85 % Fiche de demande d’aide financière En continu DPIR
Nombre de demandes d’aide financière reçues S/O Fiche de demande d’aide financière En continu DPIR
Montant des aides financières octroyées ($) S/O Fiche de demande d’aide financière En continu DPIR
Volume de projets financés par rapport au volume de projets reçus S/O Fiche de demande d’aide
financière En continu DPIR
Volume de financement disponible par rapport au volume de financement demandé ($) S/O Fiche de demande d’aide
financière En continu DPIR
4 STRATÉGIE GLOBALE D’ÉVALUATION Cinq types d’évaluation sont prévus dans la stratégie. Ces questions couvrent les critères d’analyse de pertinence, de mise en œuvre, des effets, d’efficacité et d’efficience. Ces aspects permettront de répondre aux besoins d’informations du MTO et du SCT et seront particulièrement utiles à la prise de décision lors d’une éventuelle reconduction du programme. Selon les indicateurs, la collecte de données pourrait se faire de 2012 à 2019. Dans le cas contraire, la collecte se fera de 2017 à 2019 inclusivement.
Pour les 5 évaluations :
- Transmission du cadre d’évaluation : janvier 2019 - Transmission du rapport d’évaluation : janvier 2020
L’évaluation de la pertinence
L’évaluation de la pertinence permet de vérifier l’adéquation entre la raison d’être du programme et les besoins à satisfaire. L’évaluation s’intéressera également sur le bien-fondé des interventions afin de s’assurer que celles-ci répondent bien aux besoins spécifiques de l’industrie du tourisme maritime. L’évaluation se penchera également sur la pertinence de l’aide financière accordée Pour ce faire, un sondage sera envoyé aux promoteurs ayant bénéficié du soutien de la SMVSLT, aux promoteurs dont le projet a été refusé ainsi qu’aux ATS s’y rattachant afin de déterminer si le programme répond bien aux attentes et aux besoins de l’industrie. L’élaboration du sondage ainsi que son prétest auront lieu au troisième trimestre de 2019 alors que l’envoi du sondage et la compilation des données se feront au début du quatrième trimestre de 2019. À la suite de cette première ronde de consultation, certaines entrevues téléphoniques pourraient avoir lieu si un besoin d’information supplémentaire se faisait sentir. Les principales questions du sondage et des entrevues porteront sur la pertinence de la forme que prend le financement de l’aide gouvernementale (garantie de prêt), le genre de projets admissibles pour l’aide ainsi que les produits touristiques ciblés par l’aide. En parallèle de cette démarche, les données contenues dans les fiches de demande d’aide financière en lien avec la pertinence du programme (nombre de projets conformes acceptés, nombre de demandes d’aide financière reçues, montant des aides octroyées) seront compilées. L’ensemble des indicateurs nommés plus haut pourront aussi aider à déterminer si le secteur du tourisme lié au St-Laurent nécessite toujours d’être soutenu ou si certains produits ciblés par la stratégie n’ont plus besoin d’aide supplémentaire. L’évaluation de fonctionnement Cette évaluation vise à s’assurer que les processus et les procédures soient déployés conformément à ce qui a été prévu et qu’ils contribuent à l’atteinte des objectifs visés. Elle permettra de mettre en lumière les forces à préserver et les faiblesses à corriger. Dans ce cas-ci, l’évaluation consistera à compiler les données présentes dans la demande d’aide financière acceptée afin de vérifier que les critères quant au type de projet, aux types de bénéficiaire ainsi qu’à la région concernée soient respectés. La collecte des données se fera en continu par la DPIR au fur et à mesure que les projets seront acceptés ainsi que le suivi de l’implantation des projets par le promoteur.
De plus, le processus de sondage expliqué plus tôt servira également à questionner les bénéficiaires du programme, les ATS et les promoteurs s’étant vu refuser une aide financière sur les forces et les faiblesses du programme. L’évaluation de l’efficacité
Cette évaluation consiste à mesurer le degré d’atteinte des objectifs de l’intervention. Pour ce faire, l’équipe d’évaluation de programmes se penchera sur l’ensemble des indicateurs présentés plus haut en ce qui a trait aux effets à court et moyen terme de la SMVSLT, soit les indicateurs prévus pour les effets de hausse de l’attractivité des pôles du Saint-Laurent, le renforcement de la compétitivité, la structuration de l’offre et la contribution du PSSDT à l’atteinte des objectifs du PDIT. La cueillette de ces données se fera essentiellement par de la recherche et de l’analyse documentaire faite par la DPIA/DPIR/DIS une fois par année ou par mois selon l’indicateur. Le but de la collecte sera de suivre l’évolution des indicateurs pour les promoteurs ayant bénéficié d’une aide financière afin de les comparer aux données de l’ensemble de leur secteur touristique afin de déterminer si ceux-ci ont mieux performé que leur secteur. Dans un second temps, les secteurs touristiques priorisés par la stratégie seront comparés à l’ensemble de l’industrie touristique afin de vérifier si ces secteurs ont mieux performé que l’industrie. Le même exercice sera fait enfin de comparer les différentes régions priorisées par la stratégie avec l’ensemble des régions du Québec. Finalement, afin de mieux définir l’inférence causale entre la SMVSLT et l’évolution des données, le processus de sondage cité plus haut permettra aussi de questionner les promoteurs ayant bénéficié d’une aide financière ainsi que les ATS s’y rattachant sur la part de l’évolution imputable à l’aide octroyée. L’évaluation de l’efficience Cette évaluation permet d’examiner la relation entre les effets du programme et les ressources utilisées pour les produire. Autrement dit, il sera question de déterminer le ratio entre les effets du programme et ses intrants. Suite à la collecte et à l’analyse des données recueillies aux fins de l’évaluation de l’efficacité du programme, il sera possible, dans une certaine mesure, de déduire les ressources nécessaires afin de créer ou préserver un emploi grâce au programme, l’importance de l’investissement privé qui découle de l’aide financière accordée ainsi que celle des retombées économiques issues du programme. Ces données pourront ensuite être comparées aux autres volets du PSSDT ou à d’autres programmes gouvernementaux afin de juger de l’efficience de la démarche. Pour ce faire, la méthode Data Envelopment Analysis (DEA) est envisagée. L’évaluation des effets L’évaluation des effets se penche sur l’état de la situation avant et après intervention. Elle vise à mesurer les effets entraînés par une intervention sur la clientèle visée. Dans un premier temps, les fiches de demande d’aide financière ainsi que les documents de reddition de compte seront comparés afin de valider que les infrastructures aient bien été construire, réfectionnées ou améliorées conformément à l’entente. En plus de
bonifier l’aspect évaluatif du fonctionnement du programme, cette mesure permettra de quantifier le premier effet direct du programme soit l’amélioration des infrastructures. Dans un deuxième temps, les données provenant des fiches de demande d’aide financière ainsi que des fiches de retombées économiques soient l’achalandage, le maintien ou la création d’emploi et les revenus du promoteur du projet avant la demande de l’aide financière seront comparées aux données recueillies via les fiches de retombées économiques lors des cinq années suivant l’octroi de l’aide. Le processus de sondage servira également à demander aux promoteurs si la modernisation de leur infrastructure aurait été possible sans l’aide du programme. 5 CONSIDÉRATIONS ÉTHIQUES Les informations obtenues seront traitées et manipulées de façon strictement confidentielle en respect de la Loi sur l’accès aux documents des organismes publics et sur la protection des renseignements personnels (L.R.Q., chapitre A-2.1). Les informations colligées serviront exclusivement aux fins annoncées par la présente évaluation. Aucune autre utilisation ne peut en être faite. 6 APPROBATION DES RESPONSABLES La mise en œuvre du cadre de suivi et d’évaluation implique la participation et l’approbation de plusieurs directions du MTO :
La DPIR est gestionnaire du PSSDT et responsable de la disponibilité de l’information requise pour les besoins de l’évaluation.
La DPIA offre un soutien pour la constitution de la base de données et l’analyse des retombées économiques.
La DIS coordonne la mise en œuvre de la SMVSLT.
Préparé par : Carmen Méndez et Benoit Lapierre Date :
Approuvé par le directeur général : Sylvain Bernier Date :
MINIS TÈ R E DU TOUR IS ME
P R OG R AMME DE S OUT IE N AUX S T R AT É G IE S DE DÉ V E L OP P E ME NT T OUR IS T IQUE
(PSSDT)
V OL E T 5 : AP P UI À L A S T R AT É G IE T OUR IS T IQUE QUÉ B É C OIS E AU NOR D DU 49E P AR AL L È L E
(STQN49P)
C ADR E DE S UIV I E T D’É V A L UAT ION P R É L IMINAIR E
Préparé par : Direction générale des services à la gestion
Février 2018
TABLE DES MATIÈRES
1 CONTEXTE........................................................................................................................................ 8
2 DESCRIPTION DU PROGRAMME ...................................................................................................... 8
2.1 RAISON D’ÊTRE .................................................................................................................. 10
2.2 OBJECTIFS .......................................................................................................................... 10
2.3 LOGIQUE D’INTERVENTION ............................................................................................... 11
3 SUIVI DU PROGRAMME ................................................................................................................. 14
3.1 CHOIX DES INDICATEURS ET DES CIBLES ............................................................................ 14
3.1.1 Le choix des indicateurs .......................................................................................................... 14
4 STRATÉGIE GLOBALE D’ÉVALUATION ............................................................................................. 19
5 CONSIDÉRATIONS ÉTHIQUES ......................................................................................................... 21
6 APPROBATION DES RESPONSABLES ............................................................................................... 21
CONTEXTE Le 21 février 2017, le Conseil du trésor approuve le Programme de Soutien aux Stratégies de Développement Touristique (PSSDT) et son cadre normatif (CT 218413). Il précise qu’à échéance, le 31 mars 2020, une évaluation de programme, basée entre autres sur l’atteinte des résultats visés, sera réalisée. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 28 février 2018. Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation de nouveau programme. Conformément au plan annuel en matière d’évaluation de programme 2017-2018, la Direction Générale des Services à la Gestion a été mandatée par les autorités du ministère du Tourisme pour réaliser le cadre de suivi et d’évaluation préliminaire du PSSDT volet 5 - Appui à la stratégie touristique québécoise au nord du 49e parallèle (STQN49P). Le cadre de suivi et d’évaluation préliminaire a pour intention de décrire le programme, de proposer un plan de suivi des principaux indicateurs en plus de développer une stratégie globale d’évaluation. Elle permet de planifier et de détailler une démarche qui permettra de rendre compte de la pertinence et du fonctionnement du programme en plus d’en estimer la performance globale. La structure du présent document répond au gabarit proposé par le SCT et contient les renseignements suivants :
• La description du programme incluant sa raison d’être, ses objectifs et sa logique d’intervention;
• Le suivi du programme décrivant les indicateurs retenus, les sources de données, la fréquence et la responsabilité de la collecte;
• La stratégie globale d’évaluation comprenant les principales étapes et méthodes utilisées.
DESCRIPTION DU PROGRAMME Le PSSDT vise le renforcement et le développement de l’offre touristique québécoise afin de faire du « tourisme une industrie concurrentielle, durable, innovante et attractive pour les visiteurs du Québec et ceux des marchés extérieurs ». Il comporte cinq volets qui entendent stimuler l’investissement privé, la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des retombées économiques du tourisme dans toutes les régions du Québec. Lancée en 2011, en partenariat avec divers ministères, la STQN49P et son plan d’action font partie du PSSDT depuis le 12 décembre 2017 (CT 218413). Cette stratégie contribue à la réalisation des objectifs prévus au plan de développement de l’industrie
touristique 2012-2020 et du Plan d’action 2016-2020 par le développement du tourisme nordique. Pour atteindre ses buts, onze mesures structurées autour de cinq axes d’intervention ont été déterminées :
• Agir en partenariat; • Développer des infrastructures de qualité; • Miser sur des attraits et des produits distinctifs; • Investir dans la formation et la gestion des ressources humaines; • Promouvoir et commercialiser la destination.
Le déploiement du PSSDT se traduit par la mise en application du programme d’appui à la STQN49P. Le PSSDT volet 5 offre une aide financière sans aucun coût minimum admissible et pouvant aller jusqu’à 500 000 $ pour la construction, l’agrandissement ou la réfection d’infrastructure touristique et la consolidation, l’implantation, l’expansion ou la modernisation d’un attrait, d’une activité, d’un équipement, d’un produit spécialisé, d’un service touristique ou, sous certaines conditions, d’un projet d’hébergement ainsi que les projets de structuration de l’offre touristique comme les études spécialisées permettant d’acquérir de nouvelles connaissances ou de meilleures pratiques d’affaires, le développement des compétences par l’embauche de ressources humaines spécialisées ou de travailleurs stratégiques ainsi que les initiatives permettant de faire connaître la destination aux multiplicateurs, telles les missions d’affaires et les tournées de familiarisation. Pour les pourvoiries, les projets admissibles sont ceux visant l’amélioration des infrastructures, incluant l’hébergement, et des équipements permettant la diversification des produits offerts afin d’attirer une nouvelle clientèle touristique et d’allonger la saison d’exploitation. Cette aide financière accordée par le MTO ne peut excéder 50 % des coûts admissibles d’un projet dans le cas d’un organisme à but lucratif (OBL), 80 % dans le cas d’un organisme à but non lucratif (OBNL), d’une coopérative et d’une entité municipale et 90 % dans le cas de communauté ou nation autochtone (OBL, OBNL). L’aide accordée est versée comptant en deux versements. Le premier versement, équivalant à 60 % de l’aide accordée, est versé à la suite de la signature de l’entente avec le promoteur alors que le second versement, équivalant à 40 % de l’aide prévue, est versé à la suite de la réception de l’audit d’un vérificateur externe. Le cumul maximal des aides gouvernementales comprend le total des aides financières accordées, incluant les aides remboursables considérées à 50 % de leur valeur, pour les coûts admissibles du projet par l’ensemble des ministères et organismes provinciaux et fédéraux ainsi que des entités municipales. Ce cumul ne pourra pas excéder 70 % s’il s’agit d’un OBL, 80 % s’il s’agit d’un OBNL, d’une coopérative et d’une municipalité et 90 % s’il s’agit de communauté ou de nation autochtone (OBL et OBNL). Dans le cas d’un projet d’un OBL visant une pourvoirie qui offrirait des activités de chasse aux caribous, le taux maximal et le cumul maximal des aides gouvernementales sont fixés à 80 %. Pour être admissible, le projet doit :
• Démontrer un potentiel d’attraction des clientèles touristiques du Québec et des marchés extérieurs;
• Être réalisé sur les territoires situés au nord du 49e parallèle.
RAISON D’ÊTRE L’intérêt de la clientèle touristique envers les destinations nordiques est en croissance. Toutefois, la qualité de l’offre touristique actuelle du Nord québécois nécessite des investissements afin de la rendre concurrentielle et de répondre aux exigences de la clientèle internationale convoitée. L’amélioration de la qualité de l’offre touristique constitue l’élément prioritaire de l’action gouvernementale en matière de tourisme au nord du 49e parallèle. La STQN49P guide les orientations du MTO. Elle s’inscrit dans le prolongement de la vision économique du gouvernement du Québec et du Plan Nord. Le projet qualifié d’ambitieux par le gouvernement est de faire du nord du 49e parallèle une destination de tourisme durable de classe mondiale qui procure une expérience touristique authentique, exceptionnelle et sécuritaire, alliant la cohabitation des peuples nordiques et le respect de la nature, dans une perspective de développement entrepreneurial et d’enrichissement collectif. Dans ce contexte, le MTO mise sur le développement du tourisme centré sur la nature, la culture et le terroir qui constituent les atouts des régions concernées. La priorité est accordée au développement et à la mise en valeur des caractéristiques culturelles et naturelles de la région. L’approche du développement durable sera présente dans tous les aspects et les choix qui seront effectués. Ce développement se fera avec les communautés intéressées, en tenant compte de leur capacité d’accueil et du potentiel touristique du territoire concerné. Ce volet vise à soutenir des projets qui contribuent à ce que le Nord québécois devienne une destination de calibre international, par une approche de développement et de structuration de l’offre touristique. Puisque certains enjeux sont spécifiques au nord du 49e parallèle, le programme permet aussi des actions ciblées pour développer des connaissances stratégiques et intervenir auprès des ressources humaines, le tout en collaboration avec les partenaires régionaux. La décision de miser sur le tourisme au nord du 49e parallèle tire son origine des conclusions de la table mixte qui regroupait l’ensemble des acteurs touristiques québécois en vue d’élaborer le PDIT. Celle-ci est venue à la conclusion que le tourisme nordique était un secteur touristique à fort potentiel ainsi qu’un produit d’appel qui permettait au Québec de se distinguer de l’offre touristique internationale. Par la suite, une analyse de l’état des lieux du secteur fut entreprise par la Direction des politiques et de l’intelligence d’affaires (DPIA) du MTO afin d’identifier les produits prioritaires pour la mise en œuvre de la stratégie. Les investissements prévus au volet 5 du PSSDT devraient aider le Québec à développer son plein potentiel touristique au niveau du tourisme nordique. OBJECTIFS Le programme d’appui à la STQN49P vise à atteindre cinq objectifs spécifiques (effets à court terme) :
• Accroître la capacité et la qualité de l’hébergement; • Diversifier les activités des pourvoiries afin d’attirer une nouvelle clientèle ; • Augmenter les infrastructures et attraits touristiques;
• Augmenter l’achalandage en soutenant la structuration de l’offre; • Accroître le développement et le renforcement de l’expertise dans les régions
visées67. Pris dans son ensemble, les projets développés dans le cadre de la STQN49P, ainsi que dans les autres stratégies, contribueront à atteindre les objectifs généraux (effets à moyen terme) du PSSDT qui sont :
• Favoriser le développement d’une offre touristique originale, complémentaire respectueuse du développement durable et répondant à la demande des marchés ciblés68 par le MTO;
• Stimuler l’économie des régions par la création d’emplois, l’augmentation du nombre de visiteurs et l’accroissement des recettes touristiques.
Le PSSDT ainsi que l’ensemble des programmes d’aides du MTO ont pour but de réaliser les objectifs du PDIT 2012-2020 ainsi que du Plan d’action 2016-2020 (effets à long terme) qui sont :
• Des recettes touristiques totalisant 18,9 G$ en 2020; • Un accroissement du nombre d’emplois équivalant à 50 000 emplois d’ici 2020.
LOGIQUE D’INTERVENTION La Direction des interventions sectorielles (DIS) est responsable du déploiement de la STQN49P ainsi que de soutenir les Associations touristiques sectorielles (ATS) et autres organismes dans leurs démarches. De plus, la DIS soutient également la Direction des programmes et de l’intervention régionale (DPIR) dans la prise de décision concernant les demandes d’aides financières en réalisant des avis sectoriels dans le cadre du programme. La DPIR est responsable de la mise en œuvre du PSSDT volet 5, de la sélection des projets et du suivi administratif des dossiers et de sa reddition de comptes. Elle assure le lien avec le promoteur à chacune des étapes du processus d’attribution d’une aide financière. La DPIR soutient également les associations touristiques régionales (ATR) et autres organismes dans leurs démarches. Pour leur part, les promoteurs doivent joindre à leur formulaire de Demande d’aide financière, dûment rempli, les documents exigés, dont un plan d’affaires qui présente la description détaillée des clientèles visées ainsi que des impacts et des retombées touristiques du projet. Cette première étape permet de valider l’admissibilité du projet. À la suite de l’analyse de leur dossier de Demande d’aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leur projet. La coordination des actions de ces différents acteurs a pour objectif de sélectionner et de financer des projets ayant pour but de soutenir la mise en œuvre de la STQN49P. Ces projets permettront de dynamiser et diversifier l’offre touristique québécoise en matière de tourisme nordique. 67 Les régions visées sont le Nunavik, la Baie-James et Eeyou Istchee, la Côte-Nord et le nord du Saguenay-Lac-Saint-Jean. 68 Les onze marchés ciblés : Ontario, Reste du canada (ROC), Atlantique Centre (EU), Nouvelle-Angleterre (EU), Sud des États-Unis, Côte Ouest et Centre Ouest des États-Unis, France, Chine, Mexique et Québec (Stratégie 2014, p. 37 à 40).
Le schéma suivant illustre la logique d’intervention du programme. Il présente une description sommaire du programme et de ses composantes. Schéma : Modèle logique du Programme d’appui à la STQN49P. Raison d'être L’intérêt de la clientèle touristique envers les destinations nordiques est en
croissance, mais l’offre québécoise se doit d’être développée et mieux structurée.
• Besoin d’améliorer la qualité de l’offre touristique actuelle du Nord québécois afin de la rendre concurrentielle et de répondre aux exigences de la clientèle internationale convoitée;
• Volonté de faire du nord du 49e parallèle une destination de tourisme durable de classe mondiale qui procure une expérience touristique authentique, exceptionnelle et sécuritaire, alliant la cohabitation des peuples nordiques et le respect de la nature.
Conditions d'admissibilité
Pour être admissible, tout projet doit satisfaire aux conditions suivantes:
• Démontrer un potentiel d’attraction des clientèles touristiques; • Être réalisé sur les territoires du 49e parallèle.
Clientèle-cible • Les OBL légalement constitués au Québec; • Les OBNL légalement constitués au Québec; • Les coopératives légalement constituées au Québec; • Les municipalités69; • Les communautés et les nations autochtones reconnues par l’Assemblée
nationale; • Tout regroupement de ces clientèles.
Objectifs Objectifs spécifiques
• Accroître la capacité et la qualité de l’hébergement; • Diversifier les activités des pourvoiries afin d’attirer une nouvelle clientèle; • Augmenter les infrastructures et attraits touristiques; • Augmenter l’achalandage en soutenant la structuration de l’offre; • Accroître le développement et le renforcement de l’expertise dans les régions
ciblées.
Objectifs généraux
• Favoriser le développement d’une offre touristique originale, complémentaire, respectueuse du développement durable et répondant à la demande des
69 La désignation de municipalité comprend les municipalités, les cités les villes, les villages, les paroisses, les cantons, les cantons unis, les villages nordiques, les territoires non organisés, les municipalités régionales, de comté (MRC), les communautés métropolitaines, les régies intermunicipales et les corporations ou les organismes dont une corporation municipale nomme la majorité des membres ou contribue à plus de la moitié du financement, les regroupements de telles municipalités, corporations ou organismes.
marchés ciblés par le MTO; • Stimuler l’économie des régions par la création d’emplois, l’augmentation du
nombre de visiteurs et l’accroissement des recettes touristiques.
Buts
• Faire du tourisme une industrie compétitive, durable, innovante et attractive pour les visiteurs du Québec et des autres marchés;
• Soutenir la mise en œuvre du PDIT 2012-2020 et du Plan d’action 2016-2020.
Nature de l'intervention
À la suite de l'analyse de leur dossier de demande d'aide financière, le MTO soutient les clientèles admissibles dans la réalisation de leurs projets. Une aide financière leur est accordée sous forme d’aide financière payable comptant en deux versements :
• Le premier versement correspond à 60 % de l’aide financière payable à la signature de la convention d’aide financière avec le promoteur;
• Le second versement correspond à 40 % de l’aide financière est versé après la réception de l’audit d’un vérificateur externe.
Intrants Ressources financières : 9,48 M$ (2017-2018 à 2019-2020).
Ressources humaines : Les responsables de la coordination du programme (DIS, DPIR).
Ressources informationnelles : Les données administratives et de gestion sont consignées dans le système de gestion de l'aide financière du ministère (demandes d'aide financière, fiches de retombées touristiques, etc.).
Activités de production
• Demandes d'aide financière reçues en continu; • Analyse et évaluation de l'admissibilité de la demande d'aide financière; • Prise de décision relative à chacune des demandes d'aide financière; • Attribution de l'aide financière et protocole d'entente; • Suivi et reddition de comptes.
Extrants • Nombre de projets soutenus par le programme
Effets à court terme
• Augmentation de la capacité et de la qualité de l’hébergement; • Diversification des activités des pourvoiries attirant une nouvelle clientèle; • Augmenter les infrastructures et les attraits touristiques; • Augmentation de l’achalandage et structuration de l’offre; • Accroissement du développement et renforcement de l’expertise en région.
Effets à moyen terme
• Augmentation de l’achalandage; • Augmentation du chiffre d’affaires du promoteur; • Augmentation des emplois créés.
Effets à long terme • Hausse du taux d’occupation moyen des établissements d’hébergement touristiques;
• Hausse de la fréquentation régionale et la provenance des touristes; • Hausse du nombre d’emplois liés au tourisme; • Hausse recettes touristiques du Québec.
SUIVI DU PROGRAMME Le suivi du programme est un examen périodique des activités à l’aide d’indicateurs et de cibles préétablis dans le but de constituer la base de données nécessaire à l’évaluation, soit la mesure de l’atteinte des résultats visés exigée par le CT. La mise en place d’un processus de suivi adéquat assure la disponibilité de données fiables et valides en temps opportun pour évaluer les programmes aux moments clés. Pour les besoins du cadre de suivi et d’évaluation préliminaire, le suivi du programme consiste à déterminer les indicateurs significatifs à documenter afin de planifier la collecte et l’analyse des données. Or, la mise en place du processus d’évaluation de programme fut décidée après la mise en œuvre de la STQN49P, faisant en sorte que cette partie du processus d’évaluation a dû être élaborée a posteriori. Dans ces circonstances, en plus des données prévues dans le cadre normatif (CT 218413), il fut décidé d’identifier des indicateurs pertinents qui sont en adéquation avec les données déjà collectées par la Direction des politiques et de l'intelligence d'affaires (DPIA). Une autre partie des données sera rassemblée à partir des fiches de demande d’aide financière et des fiches de retombées touristiques récupérées par les DPIR. Quant à l’établissement des cibles à atteindre, elles seront établies par les acteurs (DIS, DPIR, ATS) par consensus lorsque le PDIT 2012-2020 ou le Plan d’action 2016-2020 n’en fixe pas. CHOIX DES INDICATEURS ET DES CIBLES Le choix des indicateurs Les normes relatives au PSSDT autorisées par le CT 218413 précisent qu’une évaluation de programme basée sur les résultats visés sera réalisée à l’échéance du programme afin de comparer les résultats obtenus avec la situation initiale sur la base des indicateurs suivants : progression de l’achalandage; progression du chiffre d’affaires du promoteur; progression des emplois créés.
Cette évaluation permettra également de mesurer la contribution du PSSDT à l’atteinte des objectifs du PDIT 2012-2020 et du Plan d’action 2016-2020, notamment : le taux d’occupation moyen des établissements d’hébergement touristiques; la fréquentation régionale et la provenance des touristes; le nombre d’emplois liés au tourisme; les recettes touristiques du Québec.
Pour mesurer le niveau d’atteinte des résultats visés, il est convenu d’utiliser l’information contenue dans les formulaires et documents obligatoires à une demande
d’aide financière. Elle permet de déterminer les indicateurs et les cibles par projet financé au moment du démarrage c’est-à-dire, « l’an un ». Parmi les informations, il y a le type de projet, le montant d’investissement, la période saisonnière et le nombre d’emplois créés ou maintenus (permanent, saisonnier, temps plein ou partiel) depuis les deux dernières années complètes d’opération ainsi que le nombre projeté pour les deux années qui suivront; c’est la même démarche est prévue pour le nombre et la provenance des visiteurs. Dans le but d’assurer le suivi des résultats du programme à partir de la date de démarrage du projet et cela, jusqu’au moment opportun de réaliser l’évaluation, l’information documentée dans les fiches de retombées touristiques sera utilisée. Cette fiche fournit annuellement les données nécessaires sur l’achalandage par marché ciblé, sur la saisonnalité, la structuration et la forfaitisation de l’offre, les données financières de l’organisation promoteur du projet. En plus des indicateurs exigés par le CT 218413, la collecte d’autres données est actuellement en cours afin d’aider à la prise de décision. Cette collecte est faite par DPIA depuis la création du PDIT 2012, et se poursuivra en 2018 et 2019. Le tableau suivant présente la liste des indicateurs retenus pour mesurer l’atteinte des résultats visés par le programme d’appui à la stratégie touristique québécoise au nord du 49e parallèle.
Tableau : Fiche des indicateurs de suivi
Effet Indicateur Donnée de référence Cible Source de données Fréquence de la collecte
Responsabilité de la collecte
Évaluation des effets, de l’efficacité et de l’efficience Accroissement de la capacité et la qualité
de l’hébergement (Effet à court terme)
Nombre d’unités disponibles dans les régions au nord du 49e parallèle (sauf Saguenay Lac-Saint-Jean)
Année 2015 : 2915
Évolution à la hausse Banque de données DPIA Mensuelle DPIA
Diversifier les activités des pourvoiries afin d’attirer une nouvelle clientèle (Effet à court terme)
Nombre de pourvoiries bénéficiant du programme Avant le programme : 0 S/O Fiche de demande d’aide
financière En continu DPIR
Nombre d’attraits financés dans les pourvoiries par le programme
Avant le programme : 0 S/O Fiche de demande d’aide
financière En continu DPIR
Augmenter les infrastructures et les attraits touristiques (Effet à court terme)
Nombre d’attraits et d’infrastructures financés par le programme
Avant le programme : 0 S/O Fiche de demande d’aide
financière En continu DPIR
Accroître le développement et le
renforcement de l’expertise dans les
régions visées (Effet à court terme)
Nombre de services de consultants financés dans le cadre du programme
Avant le programme : 0 S/O Banque de données DPIR En continu DPIR
Nombre d’études financées dans le cadre du programme Avant le programme : 0 S/O Banque de données DPIR En continu DPIR
Augmenter l’achalandage en
soutenant la structuration de l’offre (Effet à court terme)
Ratio de touriste québécois/hors-Québec Année 2012 : 82.2% Québec 17.8% hors Québec
S/O Rapport Le tourisme au Québec en bref Annuelle DPIA
Dépenses touristiques au 49e parallèle au Québec (M$) Année 2012 : 97 M$ Québec 39 M$ hors Québec
+5% par an Rapport Le tourisme au Québec en bref Annuelle DPIA
Volume de touristes au nord du 49e parallèle Année 2012 : 467 000 Québec 101 000 hors Québec
Évolution à la hausse
Rapport Le tourisme au Québec en bref Annuelle DPIA
Augmentation de la compétitivité du
tourisme au nord du Nombre de touristes Avant le projet
Selon les prévisions du promoteur/DPIR
Fiche de demande d’aide financière /Fiche retombée touristique
En continu DPIR
49e parallèle (Effet à court et moyen terme)
Chiffre d’affaires du promoteur Avant le projet Selon les prévisions du promoteur/DPIR
Fiche de demande d’aide financière /Fiche retombée touristique
En continu DPIR
Nombre d’emplois Avant le projet Selon les prévisions du promoteur/DPIR
Fiche de demande d’aide financière /Fiche retombée touristique
En continu DPIR
Contribution du PSSDT à l’atteinte
des objectifs du PDIT et du Plan d’action
2016-2020 (Effet à long terme)
Taux d’occupation moyen des établissements d’hébergement touristiques (%)
Année 2012 : 52,5 % +1% par an Base de données de la
DPIA Mensuelle DPIA
Fréquentation régionale (Des changements méthodologiques de la part de Statistique Canada ont rendu la cible caduque)
Année 2012 : 30,7 M
Auparavant : 7M de visiteurs de plus qu’en 2012
Rapport Le tourisme au Québec en bref Annuelle DPIA
Nombre d’emplois liés au tourisme Année 2012 : 344 494
+50 000 d’ici 2020
Portrait de l'industrie touristique Annuelle DPIA
Recettes touristiques du Québec (M$) Année 2012 : 12 800 M$ +5% par an Rapport Le tourisme au
Québec en bref Annuelle DPIA
Évaluation du fonctionnement
Mise en œuvre des projets soutenus par
le programme
Taux en pourcentage des aides livrées dans les temps
Sans Objet
100% Fiche de demande d’aide financière En continu DPIR
Taux en pourcentage des projets financés qui sont terminés 100% Fiche de demande d’aide
financière En continu DPIR
Taux en pourcentage des projets qui respectent la durée de réalisation prévue dans l’entente 100% Fiche de demande d’aide
financière En continu DPIR
Nombre de projets refusés S/O Fiche de demande d’aide financière En continu DPIR
Nombre de documents de suivis et de redditions de comptes reçus S/O Fiche retombée touristique En continu DPIR
Évaluation de la pertinence
Répondre aux besoins du secteur
Taux en pourcentage de projets conformes acceptés
Sans Objet
85% Fiche de demande d’aide financière En continu DPIR
Nombre de demandes d’aide financière reçues S/O Fiche de demande d’aide financière En continu DPIR
Montant des aides financières octroyées ($) S/O Fiche de demande d’aide En continu DPIR
financière
Volume de projets financés par rapport au volume de projets reçus S/O Fiche de demande d’aide
financière En continu DPIR
Volume de financement disponible par rapport au volume de financement demandé ($) S/O Fiche de demande d’aide
financière En continu DPIR
STRATÉGIE GLOBALE D’ÉVALUATION Cinq types d’évaluation sont prévus dans la stratégie. Ces questions couvrent les critères d’analyse de pertinence, de fonctionnement, des effets, d’efficacité et d’efficience. Ces aspects permettront de répondre aux besoins d’informations du ministère et du SCT et seront particulièrement utiles à la prise de décision lors d’une éventuelle reconduction du programme. Selon les indicateurs, la collecte de données pourrait se faire de 2012 à 2019. Dans le cas contraire, la collecte se fera de 2017 à 2019 inclusivement. Pour les 5 évaluations :
- Transmission du cadre d’évaluation : janvier 2019 - Transmission du rapport d’évaluation : janvier 2020
L’évaluation de la pertinence L’évaluation de la pertinence permet de vérifier l’adéquation entre la raison d’être du programme et les besoins à satisfaire. L’évaluation s’intéressera également sur le bien-fondé des interventions afin de s’assurer que celles-ci répondent bien aux besoins spécifiques de l’industrie du tourisme au nord du 49e parallèle. L’évaluation se penchera également sur la pertinence de l’aide financière accordée Pour ce faire, un sondage sera envoyé aux promoteurs ayant bénéficié du soutien de la STQN49P, aux promoteurs dont le projet a été refusé ainsi qu’aux ATS et ATR s’y rattachant afin de déterminer si le programme répond bien aux attentes et aux besoins de l’industrie. L’élaboration du sondage ainsi que son prétest auront lieu au troisième trimestre de 2019 alors que l’envoi du sondage et la compilation des données se feront au début du quatrième trimestre de 2019. À la suite de cette première ronde de consultation, certaines entrevues téléphoniques pourraient avoir lieu si un besoin d’information supplémentaire se faisait sentir. Les principales questions du sondage et des entrevues porteront sur la pertinence de la forme que prend le financement de l’aide (aide au comptant en deux versements), le genre de projets admissibles pour l’aide ainsi que les produits touristiques ciblés par l’aide. En parallèle de cette démarche, les données contenues dans les fiches de demande d’aide financière en lien avec la pertinence du programme (nombre de projets conformes acceptés, nombre de demandes d’aide financière reçues, montant des aides octroyées) seront compilées. L’ensemble des indicateurs nommés plus haut pourra aussi aider à déterminer si le secteur du tourisme nordique nécessite toujours d’être soutenu ou si certains produits ciblés par la stratégie n’ont plus besoin d’aide supplémentaire. L’évaluation du fonctionnement Cette évaluation vise à s’assurer que les processus et les procédures soient déployés conformément à ce qui a été prévu et qu’ils contribuent à l’atteinte des objectifs visés. Elle permettra de mettre en lumière les forces à préserver et les faiblesses à corriger. Dans ce cas-ci, l’évaluation consistera à compiler les données présentes dans la demande d’aide financière acceptée afin de vérifier que les critères quant au type de projet, aux types de bénéficiaire ainsi qu’à la région concernée soient respectés. La collecte des données se fera en continu par la DPIR au fur et à mesure que les projets seront acceptés et que le suivi de l’implantation des projets par le promoteur est fait. De plus, le processus de sondage expliqué plus tôt servira également à questionner les
bénéficiaires du programme, les ATS et les promoteurs s’étant vu refuser une aide financière sur les forces et les faiblesses du programme. L’évaluation de l’efficacité Cette évaluation consiste à mesurer le degré d’atteinte des objectifs de l’intervention. Pour ce faire, l’équipe d’évaluation de programme se penchera sur l’ensemble des indicateurs présentés plus haut en ce qui a trait aux effets à court et moyen terme de la SMTQN49P, soit l’accroissement de la capacité d’hébergement, la diversification des activités des pourvoiries, l’augmentation du nombre d’infrastructures, l’augmentation de l’achalandage, le développement de l’expertise des régions, l’augmentation de la compétitivité du tourisme nordique et la contribution du PSSDT à l’atteinte des objectifs du PDIT. La cueillette de ces données se fera essentiellement par de la recherche et de l’analyse documentaire faite par la DPIA/DIS/DPIR une fois par année ou par mois selon l’indicateur. Le but de la collecte sera de suivre l’évolution des indicateurs pour les promoteurs ayant bénéficié d’une aide financière afin de les comparer aux données de l’ensemble de leur secteur touristique afin de déterminer si ceux-ci ont mieux performé que leur secteur. Le même exercice sera fait enfin de comparer les différentes régions priorisées par la stratégie avec l’ensemble des régions du Québec. Finalement, afin de mieux définir l’inférence causale entre la STQN49P et l’évolution des données, le processus de sondage cité plus haut permettra aussi de questionner les promoteurs ayant bénéficié d’une aide financière ainsi que les ATS s’y rattachant sur la part de l’évolution imputable à l’aide octroyée. L’évaluation de l’efficience Cette évaluation permet d’examiner la relation entre les effets du programme et les ressources utilisées pour les produire. Autrement dit, il sera question de déterminer le ratio entre les effets du programme et ses intrants. Suite à la collecte et à l’analyse des données recueillies aux fins de l’évaluation de l’efficacité du programme, il sera possible, dans une certaine mesure, de déduire les ressources nécessaires afin de créer ou préserver un emploi grâce au programme, l’importance de l’investissement privé qui découle de l’aide financière accordée ainsi que celle des retombées touristiques issues du programme. Ces données pourront ensuite être comparées aux autres volets du PSSDT ou à d’autres programmes gouvernementaux afin de juger de l’efficience de la démarche. Pour ce faire, la méthode Data Envelopment Analysis (DEA) est envisagée. L’évaluation des effets L’évaluation des effets se penche sur l’état de la situation avant et après intervention. Elle vise à mesurer les effets entraînés par une intervention sur la clientèle visée. Dans un premier temps, les fiches de demande d’aide financière ainsi que les documents de reddition de compte seront comparés afin de valider que les infrastructures aient bien été construire, réfectionnées ou améliorées conformément à l’entente. En plus de bonifier l’aspect évaluatif du fonctionnement du programme, cette mesure permettra de quantifier le premier effet direct du programme soit l’amélioration des infrastructures. Dans un deuxième temps, les données provenant des fiches de demande d’aide financière ainsi que des fiches de retombées économiques soient l’achalandage, le maintien ou la création d’emploi et les revenus du promoteur du projet avant la demande
de l’aide financière seront comparées aux données recueillies via les fiches de retombées économiques lors des cinq années suivant l’octroi de l’aide. Le processus de sondage servira également à demander aux promoteurs si la modernisation de leur infrastructure aurait été possible sans l’aide du programme. CONSIDÉRATIONS ÉTHIQUES Les informations obtenues seront traitées et manipulées de façon strictement confidentielle en respect de la Loi sur l’accès aux documents des organismes publics et sur la protection des renseignements personnels (L.R.Q., chapitre A-2.1). Les informations colligées serviront exclusivement aux fins annoncées par la présente évaluation. Aucune autre utilisation ne peut en être faite. APPROBATION DES RESPONSABLES La mise en œuvre du cadre de suivi et d’évaluation implique la participation et l’approbation de plusieurs directions du MTO : La Direction des programmes et de l’intervention régionale (DPIR) est
gestionnaire du PSSDT et est responsable de la disponibilité de l’information requise pour les besoins de l’évaluation.
La Direction des politiques et de l’intelligence d’affaires (DPIA) offre un soutien pour la constitution de la base de données et l’analyse des retombées touristiques.
La Direction des interventions sectorielles (DIS) coordonne la mise en œuvre de la stratégie touristique québécoise au nord du 49e parallèle.
Préparé par : Carmen Méndez et Benoit Lapierre Date :
Approuvé par le directeur général : Sylvain Bernier Date :
Ministère du Tourisme
Aide aux associations touristiques sectorielles (ATS)
Cadre de suivi et d’évaluation préliminaire
Préparé par : Direction générale des services à la gestion Mars 2018
TABLE DES MATIÈRES
1. CONTEXTE .......………………………………………………..…………………………… 2. DESCRIPTION DU PROGRAMME ………………………………….…………………...
2.1 Raison d’être et contexte du programme ……………….……….……………...…… 2.2 Objectifs de l’intervention ………………………………….……….………………….. 2.3 Nature de l’intervention ………………………………………………………………… 2.4 Intrants et activités de production .....................................................................…...
3. SUIVI DU PROGRAMME …………………………………………………………..…….. 4. STRATÉGIE GLOBALE D’ÉVALUATION ………………………………….………….….. 5. CONSIDÉRATIONS ÉTHIQUES ……………………………………..………….………… 6. APPROBATION DES RESPONSABLES …………………………………………….……
1. CONTEXTE Le 7 mai 2013, le Conseil du trésor (CT) approuvait le Programme de développement de l’industrie touristique (PrDIT) et son cadre normatif (CT 212558). Ce programme se veut comme le successeur du Programme de soutien au développement et à la promotion touristiques (PSDPT) et a été structuré autour de quatre axes plutôt que les neuf volets précédant. Le volet 5, qui intégrait le Programme d’aide aux associations touristiques en vue de soutenir les objectifs de ce volet, est devenu l’axe 1 du PrDIT : Aide à la gouvernance et à la concertation. Le CT 212558 précise qu’à échéance du programme, le 31 mars 2018, une évaluation de programme, basée entre autres sur l’atteinte des résultats visés, sera réalisée. Afin de planifier cette future évaluation, il convient de transmettre un cadre de suivi et d’évaluation préliminaire au Secrétariat du Conseil du trésor (SCT) au plus tard le 31 mars 2018. Le cadre de suivi et d’évaluation préliminaire répond aux exigences de la Directive concernant l’évaluation de programmes dans les ministères et organismes (SCT, 19 février 2014) qui prévoit que ce document soit produit pour toute demande d’autorisation d’un nouveau programme. Conformément au plan triennal d’évaluation de programmes 2017-2020, la Direction générale des services à la gestion (DGSG) a été mandatée, via son Bureau des dossiers corporatifs et des ressources matérielles, par les autorités du MTO pour réaliser le cadre de suivi et d’évaluation préliminaire du Programme d’aide financière aux associations touristiques avant le 31 mars 2018. Le cadre de suivi et d’évaluation préliminaire a pour intention de décrire le programme, de proposer un plan de suivi des principaux indicateurs en plus de développer une stratégie globale d’évaluation. Cette stratégie permet de planifier et de détailler une démarche qui rendra compte de la pertinence et du fonctionnement du programme en plus d’en estimer les effets, l’efficacité et l’efficience. La structure du présent document répond au gabarit proposé par le SCT et contient les renseignements suivants :
• La description du programme incluant sa raison d’être, ses objectifs et sa logique d’intervention;
• Le suivi du programme décrivant les indicateurs retenus, les sources de données, la fréquence et la responsabilité de la collecte;
• La stratégie globale d’évaluation comprenant les principales étapes et méthodes utilisées.
2. DESCRIPTIONS DU PROGRAMME 2.1 Raison d’être et contexte du programme En vertu de la Loi sur le ministère du Tourisme (RLRQ, chapitre M-31.2), le MTO a pour mission de soutenir le développement et la promotion du tourisme au Québec en favorisant la concertation et le partenariat des intervenants associés à ce développement et à cette promotion dans une perspective de création d’emplois, de prospérité économique et de développement durable. Dans l’exercice de ses responsabilités, le MTO peut confier à un organisme reconnu les fonctions prévues à l’article de la loi et conclure des ententes avec celui-ci. Cette reconnaissance s’effectue en prenant en compte une série de critères reliés notamment à la mission de l’organisme, à sa représentativité et à ses membres. C’est grâce à ce processus que
des partenariats sont actuellement conclus avec 16 associations touristiques sectorielles (ATS). Les ATS sont reconnues comme partenaires privilégiés du ministère du Tourisme (MTO) pour le développement de leur produit ou secteur touristique respectif. Pour ce faire, elles sont appelées à exercer un leadership sectoriel et à jouer un rôle de concertation auprès des intervenants de leurs secteurs afin de favoriser une convergence des actions touristiques sectorielles et régionales ainsi qu’un arrimage de celles-ci avec les orientations du MTO. Pour ce faire, un soutien financier, professionnel et technique est offert par le ministère aux ATS, notamment pour les accompagner dans l’élaboration de leurs plans d’action, dans l’arrimage avec les stratégies sectorielles du ministère et dans la mise en place de politiques de gouvernance. Cet accompagnement a pour objectif d’aider les ATS à assumer les mandats qui leur sont délégués en vertu des ententes convenues afin que ces organisations puissent atteindre leur plein potentiel et jouer le rôle de leader de leur secteur d’activités respectif. 2.2 Objectifs de l’intervention Dans cette optique, le Programme d’aide aux associations touristiques sectorielles vise à développer l’offre touristique, accompagner les entreprises touristiques et développer une expertise sectorielle en plus de doter les ATS de bonnes pratiques de gouvernance. Les interventions du programme d’aide aux ATS, structurées autour de 3 volets, ont pour objectifs spécifiques (effets à court terme) de :
• Contribuer au développement des produits sectoriels et assumer un leadership; • Offrir un accompagnement adapté aux entreprises touristiques des secteurs; • Développer et rendre disponible les connaissances stratégiques; • Assurer une gestion saine des fonds publics et mettre en place un mécanisme
de reddition de compte de la part des ATS. Les interventions réalisées dans le cadre du Programme d’aide aux associations touristiques sectorielles permettront de soutenir, dans une certaine mesure, les objectifs du PrDIT suivant (effets à moyen terme):
• Miser sur la synergie des partenaires • Développer et renforcer les produits touristiques • Accroître les investissements privés et stimuler l’innovation
À terme, les actions entreprises dans le cadre du Programme d’aide aux associations touristiques sectorielles, et plus largement du PrDIT, ainsi que l’ensemble des autres programmes du MTO contribueront aux objectifs du PDIT 2012-2020 et du Plan d’action 2016-2020 (effets à long terme) soit :
• Des recettes touristiques totalisant 18,9 G$ en 2020; • Un accroissement du nombre d’emplois équivalant à 50 000 emplois d’ici 2020. Le programme d’aide aux ATS permettra également de poursuivre la mission du ministère du Tourisme qui est de «soutenir le développement et la promotion du tourisme au Québec en favorisant la concertation et le partenariat des intervenants associés à ce développement et à cette promotion, et ce, dans une perspective de création d’emplois, de prospérité économique et de développement durable.»
2.3 Nature de l’intervention La nature de l’intervention du MTO, dans le cadre du programme d’aide aux ATS, consiste à la signature d’ententes entre le ministère et les ATS. Ces ententes ont pour but de déterminer les mandats qui sont délégués aux associations ainsi que les obligations de gestion, de gouvernance, d’évaluation, de reddition de comptes et de résultats attendus en contrepartie du financement qui leur est octroyé. Le programme bénéficie d’une enveloppe annuelle de 1,9 M$. Le montant de l’aide accordée à chaque ATS est déterminé à partir d’une série de critères qui prend en compte le nombre d’entreprises membres, le nombre d’entreprises dans le secteur, et le nombre de régions touristiques où l’ATS est présente, le nombre de stratégies sectorielles du MTO dans laquelle un produit de l’association est identifié, le pourcentage des revenus autonomes sur les revenus totaux, le chiffre d’affaires des membres et l’attractivité des activités. Concrètement, les aides accordées annuellement pour la période 2016-2020 variaient entre 56 667 $ et 239 830 $ selon les ATS. Outre la première année de l’entente pour laquelle il y a trois versements (25 %, 45 %, 30 %), l’aide financière annuelle est accordée en deux versements (70 % et 30 %) et est conditionnelle au dépôt et l’approbation de certains livrables spécifiés dans l’entente entre le MTO et l’ATS. Pour leur part, les ATS subventionnées s’engagent à réaliser une série d’actions en matière de développement de l’offre, d’accompagnement des entreprises touristiques ainsi qu’à l’acquisition et la diffusion de connaissances stratégiques et d’expertises sectorielle en plus de se doter de bonnes pratiques de gouvernance. Les ATS s’engagent également à recueillir certaines données, notamment par rapport aux entreprises qu’elles considèrent comme leader ou présentant un potentiel de développement significatif dans leur secteur et de les transmettre au MTO. À partir de 2017-2018, elles s’engagent aussi à remettre l’équivalant de 1% de l’aide financière accordée au Plan-cadre de développement d’intelligence d’affaires en tourisme afin de financer certaines études dont l’utilité stratégique va au-delà leur secteur d’activités. Les parties prenantes permettant le bon fonctionnement du programme sont la Direction des interventions sectorielles (DIS), la Direction des politiques et de l’intelligence d’affaires (DPIA) et les bénéficiaires du programme, soit les ATS. La DIS est responsable de la mise en œuvre et du déploiement du programme d’aide aux ATS. Elle est également chargée de l’analyse des demandes, du suivi administratif des dossiers et de la sélection des ATS admissibles. De plus, la DIS assure le lien entre les ATS et le MTO à chacune des étapes du programme et est responsable de la reddition de comptes. Elle joue également un rôle-conseil auprès des ATS dans la mise en œuvre des stratégies sectorielles. La DPIA, quant à elle, gère les actions liées au Plan-cadre en développement de l’intelligence d’affaires en tourisme et s’assure de la rigueur méthodologique des études menées pour le compte des ATS ou dans le cadre des études communes. Pour leur part, les ATS doivent fournir les documents exigés dans le cadre du processus de reconnaissance. Si celles-ci répondent aux critères, l’entente signée avec le MTO spécifie notamment qu’elles ont la responsabilité de se doter de bonnes pratiques de gouvernance et d’en effectuer le suivi en plus d’effectuer une reddition de compte
auprès du ministère à ce sujet. Les ATS ont aussi la responsabilité d’identifier et de soutenir des entreprises se démarquant dans leur secteur touristique et ont la responsabilité de collecter certaines données auprès de leurs membres et de les transmettre au MTO. La coordination des actions des parties prenantes a pour but de donner les moyens et la structure nécessaires aux ATS pour jouer leur rôle de leader et de concertation au sein de leurs secteurs d’activités. 2.4 Intrants et activités de production Pour mener à bien ses activités, le programme d’aide aux ATS peut compter sur les ressources humaines de la DIS, notamment les conseillers en développement touristique des secteurs d’activités concernées ainsi que sur le personnel administratif pour le suivi des dossiers. De plus le programme bénéficie de l’appui des professionnels de la DPIA pour la vérification de la rigueur méthodologique des études soumises. Du point de vue des ressources financières, le programme dispose d’un budget annuel de 1,9 M$ et du côté des ressources informationnelles, le programme se sert des données administratives et de gestion du Portail ATS du MTO Les principales activités de production liées au programme consistent à assurer la gestion des partenariats d’affaires avec les ATS. Par la suite, il y a analyse et évaluation des demandes afin de vérifier que celles-ci respectent les critères de reconnaissance établis par le MTO et, finalement, il y a prise de décision. Si la réponse est positive, un protocole d’entente est signé avec l’ATS en question et l’aide financière est versée selon les modalités précisées précédemment. Un suivi de la part de la DIS est effectué en continu et la reddition de compte de la part des ATS se fait sur une base bisannuelle tout au long de la durée de l’entente. Un suivi de la rigueur méthodologique des études est également fait par la DPIA en continu. Le cadre logique qui suit vient imager les principales étapes et composantes du programme.
Tableau : Cadre logique du Programme d'aides aux ATS • 7.6 M$ pour les années 2016-2017 à 2019-2020 • Critères de financement • Objectifs du programme • Ressources humaines (DIS, DPIA) •Données administratives et de gestion du système de gestion Portail ATS
• Réception des documents en lien avec le processus de reconnaissance • Analyse et évaluation du respect des critères de reconnaissance • Prise de décision • Signature d'entente et versement d'aide financière •Assurer la gestion des partenariats d'affaires avec les ATS et leurs partenaires • Suivi des A TS et reddition de comptes
• Continuum mandats (actions approuvées ou refusées) • Signature d'entente entre le MTO et A TS
• Contribuer au développement des produits sectoriels et assumer un leadership • Offrir un accompagnement adapté aux entreprises touristiques des secteurs • Contribuer au développement et rendre disponible la connaissance stratégique • Assurer une gestion saine des fonds publics alloués et mettre en place un mécanisme de reddition de
compte de la part des A TS
• Miser sur la synergie des partenaires • Développer et renforcer les produits touristiques • Accroître les investissements privés et stimuler l'innovation
•Des recettes touristiques totalisant 18,9 G$ en 2020 • Un accroissement du nombre d'emplois équivalant à 50 000 emplois d'ici 2020
__........,,...,.., • Un accroissement de l'achalandage touristique du Québec
3. SUIVI DU PROGRAMME Le suivi du programme est un examen périodique des activités à l'aide d'indicateurs et de cibles préétablis dans le but de constituer la base de données nécessaire à l'évaluation, soit la mesure de l'atteinte des résultats visés exigée par le CT 218548. La mise en place d'un processus de suivi adéquat assure la disponibilité de données fiables et valides en temps opportun pour évaluer les programmes aux moments clés.
Pour les besoins du cadre de suivi et d'évaluation préliminaire, le suivi du programme consiste à déterminer les indicateurs significatifs à documenter afin de planifier la collecte et l'analyse des données. Ces indicateurs sont présentés dans le tableau qui suit avec l'effet qui leur est attribué, la donnée de référence, la cible, la source de la donnée ainsi que la fréquence et la responsabilité de la collecte.
Tableau : Fiche des indicateurs de suivi
Effet Indicateur Donnée de référence Cible Source de
données Fréquence de la
collecte Responsabilité de la collecte
Évaluation des effets, de l’efficacité et de l’efficience Contribuer au développement des produits sectoriels et assumer un leadership (Effet à court terme)
Nombre d’actions en matière de développement de l’offre S/O S/O Portail ATS Annexe D Annuelle DIS
Offrir un accompagnement adapté aux entreprises touristiques des secteurs (Effet à court terme)
Nombre d’entreprises accompagnées par les ATS dans leurs pratiques dans le cadre des entreprises leaders ou ayant un fort potentiel S/O S/O
Portail ATS Annexe E Annuelle DIS
Nombre d’actions d’accompagnement des entreprises touristiques
Portail ATS Annexe D Annuelle DIS
Développer et rendre disponible la connaissance stratégique (Effet à court terme)
Nombre d’ATS participant au Plan-cadre
S/O
16 Banque de données DPIA Annuelle DPIA
Montant des investissements des ATS au Plan-cadre ($) 1% de l’aide octroyée aux ATS
Banque de données DPIA Annuelle DPIA
Nombre d’action d’expertise et de connaissances stratégiques S/O Portail ATS
Annexe D Annuelle DIS
Assurer une gestion saine des fonds publics et mettre en place un mécanisme de reddition de compte de la part des ATS (Effet à court terme)
Nombre d’ATS s’étant doté d’un code d’éthique et déontologique
S/O 100%
Cadre de référence et
résolution des CA
Annuelle DIS
Nombre d’ATS s’étant doté d’une procédure d’attribution de contrat Nombre d’ATS s’étant doté d’un processus d’évaluation des offres de services Nombre d’ATS s’étant doté d’un cadre précisant les échelles de traitement des administrateurs Nombre d’ATS s’étant doté de procédures concernant les frais de représentation et déplacement. Nombre d’ATS s’étant doté d’un mécanisme de vérification/contrôle des remboursements Nombre d’ATS s’étant doté d’une politique régissant l’octroi de dons, de gratuités, de subventions et de commandites Nombre d’ATS s’étant doté d’une politique liée à la délégation administrative et financière
-Développer et renforcer les produits touristiques -Accroître les investissements privés et stimuler l’innovation
(effet à moyen terme)
Achalandage touristique du Québec (M) (Des changements méthodologiques de la part de Statistique Canada ont rendu cette cible caduque)
Année 2012 : 30,7 M
Auparavant : +7M en 2020
Rapport Le tourisme au Québec en bref
Annuelle DPIA
Recettes touristiques du Québec (M$) Année 2012 : 12 800 M$ + 5 % par an
Rapport Le tourisme au Québec en
bref
Annuelle DPIA
Nombre d’emplois directement créés ou maintenus Année 2012 : 344 494
+ 50 000 d’ici 2020
Portrait de l'industrie touristique
Annuelle DPIA
Miser sur la synergie des partenaires (Effet à moyen terme)
Nombre d’ententes MTO/ATS signées S/O 16 Portail ATS Annuelle DIS Nombre de membres par ATS S/O S/O Portail ATS Annuelle DIS
Taux en pourcentage de représentativité des ATS S/O Maintien ou
évolution à la hausse
Portail ATS Annuelle DIS
Nombre d’ATS participant au Plan-Cadre S/O 16 Banque de données DPIA Annuelle DIS
Évaluation du fonctionnement
Conformité du programme
Taux en pourcentage des aides livrées dans les temps
S/O Évolution à la hausse Portail ATS Annuelle DIS
Nombre de documents de suivis et de redditions de comptes reçus dans les temps Nombre de livrables reçus dans les temps Nombre de demandes de reconnaissance refusées S/O
Évaluation de la pertinence
Répondre au besoin de l’industrie Nombre de demandes de reconnaissance reçues
S/O S/O Portail ATS Annuelle DIS Volume des ATS financés par rapport au volume des demandes reçues
4. STRATÉGIE GLOBALE D’ÉVALUATION Cinq enjeux évaluatifs sont prévus dans la stratégie. Ces questions couvrent les critères d’analyse de pertinence, de fonctionnement, des effets, d’efficacité et d’efficience. Ces aspects permettront de répondre aux besoins d’informations du MTO ainsi que du SCT et seront particulièrement utiles à la prise de décision lors d’une éventuelle reconduction du programme. Selon les indicateurs, la collecte de données pourra se faire de 2012 à 2018. Dans le cas contraire, la collecte de donnée sera faite pour les années 2016-2018. Pour les cinq enjeux:
- Transmission du cadre d’évaluation : mai 2018 - Transmission du rapport d’évaluation : février 2019
L’aspect de la pertinence L’évaluation de la pertinence permet de vérifier l’adéquation entre la raison d’être du programme et les besoins à satisfaire. L’évaluation s’intéressera également sur le bien-fondé des interventions du programme afin de s’assurer que celles-ci répondent bien aux besoins spécifiques des ATS et des entreprises touristiques qu’elles représentent dans leur secteur d’activité respectif. L’évaluation se penchera également sur la pertinence de la forme de l’aide financière accordée ainsi que de la pertinence de l’aide financière en elle-même. Pour ce faire, un sondage sera envoyé aux membres ayant bénéficié du support des ATS afin d’évaluer, entre autres, si leurs associations répondent à leurs besoins, ainsi qu’un deuxième sondage destiné aux ATS elles-mêmes afin de déterminer si le programme répond bien aux attentes et aux besoins de leur secteur conformément aux objectifs visés. À la suite de la compilation des données recueillies par les sondages, des entrevues téléphoniques avec certains membres et représentants des ATS pourraient avoir lieu afin de recueillir davantage d’informations si le besoin s’en fait sentir. L’élaboration du sondage, ainsi que son prétest aura lieu au troisième trimestre de 2018 tandis que l’envoi de celui-ci et la compilation des données se fera au début du quatrième trimestre de 2018. Les principales questions du sondage et des entrevues porteront sur la pertinence de la forme que prend le financement de l’aide (aide au comptant en deux versements), le choix et le genre d’entreprises pouvant faire l’objet d’un support privilégié de la part de l’ATS, la pertinence des rôles et responsabilités octroyés aux ATS ainsi que sur les critères de sélection de reconnaissance des ATS en plus des critères de sélection des entreprises méritant un support particulier. L’aspect du fonctionnement Cette évaluation vise à s’assurer que les processus et les procédures soient déployés conformément à ce qui a été prévu et qu’ils contribuent à l’atteinte des objectifs visés. Elle permettra de mettre en lumière les forces à préserver et les faiblesses à corriger. Dans ce cas-ci, l’évaluation consistera à compiler les données présentes dans les ententes signées entre les ATS et le MTO afin de vérifier que les critères de sélection et que les obligations des différents partis sont respectées. Le processus de sondage et d’entrevue prévu pour l’évaluation de la pertinence servira également à interroger les ATS et les membres ayant reçu un support particulier sur les points forts et les contraintes liés au fonctionnement du programme.
L’aspect des effets L’évaluation des effets se penche sur l’état de la situation avant et après une intervention. Elle vise à mesurer les effets entraînés par une intervention sur la clientèle visée. Dans ce cas, une analyse documentaire des données provenant des cadres de référence et des résolutions du CA ainsi que des documents de reddition de comptes sera faite et les données seront comparées aux situations initiales, c’est-à-dire avant la mise en place du programme de soutien aux ATS. Dans un premier temps, l’évaluation portera sur les changements observés chez les ATS en ce qui a trait à la concertation, le leadership et la reddition de compte pour ne nommer que ceux-ci. En plus de bonifier l’aspect évaluatif du fonctionnement du programme, cette mesure permettra de quantifier le premier effet direct du programme soit la structuration des ATS. Par la suite, l’aspect évaluatif des effets s’intéressera aux entreprises ayant bénéficié d’un soutien particulier de la part des ATS. Pour ce faire, les différents documents de reddition de compte transmis par les ATS, particulièrement l’annexe E, permettront d’apprécier l’évolution de ces entreprises, particulièrement en matière de l’achalandage, la création d’emploi et leur chiffre d’affaires. Le processus de sondage mentionné plus tôt permettra également d’interroger ces entreprises et les ATS pour déterminer si les changements observés auraient été possibles sans l’aide du programme. L’aspect de l’efficacité Cette évaluation consiste à mesurer le degré d’atteinte des objectifs de l’intervention. Pour ce faire, l’équipe d’évaluation de programmes se penchera sur l’ensemble des objectifs spécifiques soit le développement des produits sectoriels, l’accompagnement adapté aux entreprises touristiques, le développement de la connaissance stratégique, etc., ainsi qu’aux indicateurs s’y rattachant afin de vérifier si les actions menées dans le cadre du programme d’aide aux ATS permettent d’arriver aux résultats escomptés. De plus, l’efficacité de l’accompagnement privilégié des entreprises pourra être mesurée en comparant les résultats obtenus par celles-ci aux résultats de l’ensemble des entreprises du secteur touristique afin de déterminer si elles ont mieux performé que le reste du secteur. Le même exercice pourrait être fait en comparant ces mêmes entreprises avec l’ensemble de l’industrie touristique de leur région, tous secteurs touristiques confondus. La cueillette des données sera principalement faite à partir de la recherche et l’analyse documentaire, notamment à partir des différents livrables et données transmis par les ATS via le Portail ATS du MTO et seront compilées par le personnel de la DIS. Finalement, afin de mieux définir l’inférence causale entre le programme d’aide aux ATS et l’évolution des données, le processus de sondage cité plus haut permettra aussi de questionner les promoteurs ayant bénéficié d’un suivi, ainsi que les ATS s’y rattachant, sur la part de l’évolution imputable au programme. L’aspect de l’efficience Cette évaluation permet d’examiner la relation entre les effets du programme et les ressources utilisées pour les produire. Autrement dit, il sera question de déterminer le ratio entre les effets du programme et ses intrants. Suite à la collecte et à l’analyse des données recueillies aux fins de l’évaluation de l’efficacité du programme, il sera possible,
dans une certaine mesure, de mesurer les ressources nécessaires afin de créer ou préserver un emploi grâce au programme, l’importance de l’investissement privé qui découle des interventions ainsi que de l’importance des retombées touristiques issues du programme. Ces données pourront ensuite être comparées entre ATS ou à d’autres programmes gouvernementaux afin de juger de l’efficience de la démarche. Pour ce faire, la méthode Data Envelopement Analysis (DEA) est envisagée.
5. CONSIDÉRATIONS ÉTHIQUES Les informations obtenues seront traitées et manipulées de façon strictement confidentielle en respect de la Loi sur l’accès aux documents des organismes publics et sur la protection des renseignements personnels (L.R.Q., chapitre A-2.1). Les informations colligées serviront exclusivement aux fins annoncées par la présente évaluation. Aucune autre utilisation ne pourra en être faite.
6. APPROBATION DES RESPONSABLES La Direction des interventions sectorielles (DIS) est gestionnaire du programme
d’aide aux ATS et est responsable de la disponibilité de l’information requise pour les besoins de l’évaluation.
La Direction des politiques et de l’intelligence d’affaires (DPIA) offre un soutien
pour la constitution et l’analyse de la base de données pour l’évaluation de programme en plus d’offrir une expertise méthodologique pour les études de développements touristiques.
Préparé par : Carmen Méndez et Benoit Lapierre Date :
Approuvé par le directeur général : Sylvain Bernier Date :
ANNEXE
2017-11-08 1/2
RÉF. 117316
PLAN TRIENNAL D’ÉVALUATION 2017-2020
PROGRAMME ÉVALUÉ TRAVAUX D'ÉVALUATION ÉCHÉANCIER (2)
Nom du programme Estimation budget annuel
(En M$)
ASPECTS ÉVALUÉS Période sur laquelle porte la collecte de données
Référence légale ou
réglementaire
Transmission du cadre de
suivi et d'évaluation préliminaire
Transmission du cadre
d'évaluation
Transmission du rapport
d'évaluation
Per
tinen
ce
Fon
ctio
nnem
ent
Effi
cacit
é
Effi
cienc
e
Effe
ts
Début (1) Fin
PSSDT, volet 1 : Appui à la stratégie de mise en valeur du tourisme hivernal
4,21 M$ (volets 1, 2, 3) ✔ ✔ ✔ ✔ ✔ 03-2017 09-2019 C.T. 218413 01/2018 01/2019 01/2020
PSSDT, volet 2 : Appui à la stratégie de mise en valeur du tourisme culturel et événementiel
4,21 M$ (volets 1, 2, 3) ✔ ✔ ✔ ✔ ✔ 03-2017 09-2019 C.T. 218413 01/2018 01/2019 01/2020
PSSDT, volet 3 : Appui à la stratégie de mise en valeur du tourisme de nature et d'aventure
4,21 M$ (volets 1, 2, 3) ✔ ✔ ✔ ✔ ✔ 03-2017 09-2019 C.T. 218413 01/2018 01/2019 01/2020
PSSDT, volet 4 : Appui à la stratégie de mise en valeur du Saint-Laurent touristique
6,5 M$ ✔ ✔ ✔ ✔ ✔ 03-2017 09-2019 C.T. 218413 01/2018 01/2019 01/2020
PSSDT, volet 5 : Appui à la stratégie touristique québécoise au nord du 49e parallèle (ADN49)
3,16 M$ ✔ ✔ ✔ ✔ ✔ 06-2013 09-2019 C.T. 218413 02/2018 01/2019 01/2020
PROGRAMME ÉVALUÉ TRAVAUX D'ÉVALUATION ÉCHÉANCIER (2)
Nom du programme Estimation budget annuel
(En M$)
ASPECTS ÉVALUÉS Période sur laquelle porte la collecte de données
Référence légale ou
réglementaire
Transmission du cadre de
suivi et d'évaluation préliminaire
Transmission du cadre
d'évaluation
Transmission du rapport
d'évaluation
Per
tinen
ce
Fon
ctio
nnem
ent
Effi
cacit
é
Effi
cienc
e
Effe
ts
Début (1) Fin
Programme d’aide financière aux festivals et aux événements touristiques
22 M$ ✔ ✔ ✔ ✔ ✔ 03-2018 03-2021 C.T. 218548 05/2018 01/2020 01/2021
PrDIT, Programme d'aide financière aux associations touristiques sectorielles (ATS)
1,4 M$ ✔ ✔ ✔ ✔ ✔ 06-2013 03-2018 C.T. 212558 07/2018 07/2018 02/2019
PrDIT, Entente de partenariat régional en tourisme (EPRT)
3 M$ ✔ ✔ ✔ ✔ ✔ 06-2013 03-2018 C.T. 212558 09/2018 09/2018 09/2019
Programme d'appui au développement des attraits touristiques (PADAT)
24 M$ ✔ ✔ ✔ ✔ ✔ 07-2017 09-2021 C.T. 217866 06/2018 01/2021 01/2022
Légende Note 1 : La date inscrite est basée sur l’année civile (Mois-Année) PSSDT: Programme de soutien aux stratégies de développement touristique PrDIT : Programme de développement de l’industrie touristique Note 2 : Date à laquelle les documents seront transmis au SCT
✔ Enjeux d’évaluation à couvrir
Préparé par : Carmen Méndez Date : 2018-02-28
Recommandé par le directeur général : Sylvain Bernier Date : 2018-02-28
Autorisé par le sous-ministre : Patrick Dubé Date :