Accélérateur ESS : deux ans de réflexion sur la mesure d'impact

L'Accélérateur ESS a fait le choix d'internaliser la mesure d'impact pour améliorer l'accompagnement de ses entreprises accélérées, enrichir sa pédagogie et celle de l'école, et être ainsi plus réactif. Une cheffe de projet a piloté ce projet depuis plus d'un an dans une logique itérative d'essai erreur. Cet article a pour objectif de partager ses réflexions lors de ce cheminement.

Au sein de l'Accélérateur ESS, nous avons fait le choix d'internaliser la mesure d'impact. Cela avait pour nous plusieurs intérêts :

• comprendre le processus pour mieux accompagner nos accélérés qui se lancent dans une démarche similaire
• pouvoir par la pratique enrichir la pédagogie de l'école sur ce sujet
• maitriser l'ensemble du processus et être ainsi réactif

Une cheffe de projet a piloté ce projet depuis plus d'un an dans une logique itérative d'essai erreur. Cet article a pour objectif de partager ses réflexions lors de ce cheminement.

Le programme dure deux ans. Une boucle de mesure d’impact, entre la candidature et la sortie du programme, s’étale donc sur une période longue. Dans un souci de comparabilité et de précision, il est ainsi compliqué de modifier une ou plusieurs questions au fur et à mesure des questionnaires.

Par ailleurs, en deux ans de nombreux formats sont proposés aux accélérés : mentorat, formation, diagnostic, missions personnalisées, parcours thématiques, missions étudiantes... Au début de l’exercice, il était particulièrement délicat de retracer les liens de cause à effet entre un type de format précis et un résultat. Dans une logique de recherche académique, nous pourrions choisir de tester des indicateurs pour chaque module. Or l’Accélérateur ESS est un programme d’accompagnement, c’est un tout, nous avons donc choisi de regarder l’impact global, plutôt que l’impact de chaque format.

Nous comparons deux photographies de chaque accéléré pour évaluer leur évolution : les questions du questionnaire de candidature seront posées à nouveau à la sortie du programme. La promotion 2 a donc répondu au questionnaire de sortie en janvier 2022, et la promotion 3 répondra en janvier 2023.

Pour ne pas naviguer à l'aveugle entre les deux, nous avons choisi de faire un suivi longitudinal. Chaque été, nous envoyons un questionnaire qui permet à l'accéléré de déclarer s'il perçoit une évolution et de l'attribuer au programme le cas échéant.

La promotion 2 de l’Accélérateur ESS comprend 9 entreprises. Cela permet un accompagnement personnalisé, intensif et de qualité pour des entreprises déjà matures, entre la microentreprise et la PME. Toutefois cela limite les conclusions statistiques que l’on peut tirer d’un tel exercice. Il était donc primordial de collecter 100% des données pour être rigoureux. En effet croiser des données sur un échantillon restreint n’est à ce jour par pertinent.

Au fil du temps de nouvelles promos vont s’ajouter et nous pourrons ainsi analyser les données en fonction de différents paramètres comme le secteur d’activité ou le type de structure à impact (entreprise adaptée, entreprise d’insertion, ESUS, coopérative, ESAT, ACI, etc).

Le bénéficiaire direct de l’accompagnement est le dirigeant. Nous insistons pour que le dépositaire de la candidature soit à un poste de direction et ait un mandat clair dans la gouvernance pour postuler. En effet, nous demandons aux bénéficiaires deux choses : la capacité à libérer du temps pour l’accompagnement et la garantie qu’ils peuvent être décisionnaire dans les grandes orientations stratégiques sur lesquelles portera l’accompagnement. Or par définition, ces dirigeants ont peu de temps.

Nous avons donc choisi de limiter  le nombre de questions à leur poser pour se concentrer sur quelques indicateurs représentatifs de l’impact du programme sur ces dirigeants pendant 2 ans, sans être totalement exhaustifs.

Le programme est l'émanation d'une politique publique territoriale de la Région Ile-de-France, portée par la mission ESS au sein du pôle développement économique, emploi et formation. L'objectif de ce sponsor clef est de favoriser l'emploi sur le territoire francilien en soutenant un accélérateur qui doit permettre aux accélérés de croître et d'inclure dans la vie économique plus de personnes.

En tant qu'école et programme pédagogique, nous avons d’abord une obligation de moyens, c'est-à-dire de bonne mise en place des moyens d'accompagnement des accélérés. La durée de l’accompagnement et notre rôle même de formateur, d’école et d’accompagnateur nous porte à croire et à observer que tous nos résultats ne s’évaluent pas de la même manière et dans la même temporalité. Nous mesurons des impacts courts termes, soit des effets immédiats de nos actions, et des impacts longs termes, soit des effets progressifs à la suite d’une série de changements de la part des accélérés. Ainsi nos efforts pour construire une mesure adaptée contribuent à aligner les objectifs d’impact du programme et de nos partenaires.

Nous avons essayé de marcher sur une ligne de crête entre exigence éthique et volonté de communication. Nous avons maintenu un niveau d'exigence élevé concernant les chiffres que nous communiquons. L'enjeu est de communiquer sur ces chiffres de façon claire, c'est-à-dire qui explique leur construction. En comprenant la démarche, les chiffres en contexte prennent sens. Tout réside dans l’interprétation des chiffres et sa formulation afin que l'analyse soit accessible par tous. Cela nécessite de prendre du temps. A chaque questionnaire, il faut s’interroger sur la formulation des questions pour ne pas introduire de biais qui rendrait le résultat caduc. A chaque collecte, il faut analyser et croiser les données sans forcer les conclusions. A chaque communication, il faut être attentif à ne pas s'attribuer des mérites par omission de détails.

Or ce temps n'est pas toujours compatible avec le temps de la communication, d'autant plus dans un environnement de plus en plus concurrentiel. En effet, depuis 2018, la notion d'impact, centrale pour l'Accélérateur, est de plus en plus débattue par les programmes d'accompagnement à l'entrepreneuriat et devient une clef de différenciation.

Les mentors du programme encouragent les accélérés à privilégier la prise de décision basée sur les chiffres et les faits. La mesure d'impact est une façon de nous appliquer à nous-mêmes cette recommandation. Cela nous permet d'aller au-delà des questionnaires de satisfaction que nous collectons après les rencontres collectives (formation, masterclass, diagnostic...).

La promotion 2 de l'Accélérateur ESS était en 2019 la première à être pilotée entièrement par les équipes d'HEC Paris. La tâche nous revenait donc de mesurer l'impact du programme et en parallèle d'accompagner les accélérés sur ce même sujet. Lors de l'intervention d'Adrien Baudet, professeur à HEC Paris et praticien au sein de Koreis, devant les accélérés de la promotion 2 en novembre 2019, les premières bases de réflexion ont été posées. En mars 2020, Ricardo Scacchetti, fondateur d'Impact Track, déroulait lors d'une conférence une méthode simple de mesure, le tout hébergé sur une plateforme. Cela nous a permis de faire une première itération de mesure d'impact. Toutefois, cette plateforme était à l'époque plus adaptée à des porteurs de projet à bénéficiaire unique. Nos parties prenantes sont multiples et les impacts protéiformes.

Nous avons donc opté pour un accompagnement par Improve, cabinet de conseil en mesure d’impact, pour relire nos questionnaires et nous guider sur l'analyse. Grâce à ces regards d'experts, nous avons pu progresser et aboutir à l'analyse rigoureuse que nous souhaitions. En parallèle, nous avons pu partager avec d'autres interlocuteurs qui avaient aussi fait le choix d'internaliser la démarche, grâce aux groupes de réflexion menés par Convergences, association de plaidoyer dans le développement durable, et par la Mouvement Impact France, association qui représente les acteurs de l'économie sociale et solidaire en France. Ces discussions auront été riches d'enseignements  : rester humble sur ce qu'on peut mesurer et penser la mesure d'impact comme un outil de discernement pour prendre des décisions.

La notion de "trace" est pour nous un outil complémentaire à la logique quantifiable, à la mesure de l'impact. La trace c'est ce qui persiste dans le temps et l'espace, ce qui permet de tracer de proche en proche les effets d'une action. La trace offre de la profondeur de champ pour rendre visible la complexité des transformations à l’œuvre dans les organisations que nous accompagnons.

Il s'agirait alors plutôt de faire un "relevé de traces" pour chercher à voir les effets. Pour mettre en avant la trace de notre programme sur ces accélérés, il y a de la place pour l'inventivité : podcasts, portraits, témoignages, cartes mentales, pitchs filmés avant/après, etc. Nous nous interrogeons également sur la façon de consigner les verbatims des accélérés, les retours informels confiés entre deux portes. Or cela dépasse le cadre d’une mesure d’impact et entre dans le champ de la recherche académique, qui nécessite d’autres moyens.

Derrière cette logique de mesure d'impact, il y a l'enjeu de rendre des comptes, ce qui est un peu différent de "répondre de ses actes". "Rendre des comptes" s'apparente à la logique comptable, on se met en règle, on fait ce qui est attendu de soi. Plus souvent employée dans un cadre juridique, "répondre de ses actes" renvoie à une notion d'éthique, de justice. En répondant de ses actes on accepte d'être jugé, on ouvre ainsi un dialogue sur les actions qui ont été menées. Il serait intéressant que la mesure d'impact aille au-delà du dicton "faire et faire savoir", au-delà du besoin de faire la preuve de son action. Et si la mesure d'impact devenait un premier pas pour ouvrir un dialogue avec l'ensemble des parties prenantes ? Impact et trace deviennent alors un horizon régulateur, c'est-à-dire un principe qui guide les choix et les actions de toute organisation, un principe qui engage sa responsabilité.

Ecrit par Raphaelle CHAYGNEAUD-DUPUY pour l’Accélérateur ESS

En savoir plus sur l' Accélérateur ESS