Etude des besoins pour la Phase 2. Rapport final

- Etude des besoins pour la Phase 2 - Rapport final Septembre 2012 Table des matières Table des matières... 1 Contexte... 2 Besoins ergonomiques des organisations utilisatrices... 3 Méthodologie... 3 Résultats et analyse... 3 Conclusion... 4 Besoins fonctionnels de nouvelles organisations... 5 Méthodologie... 5 Résultats et Analyse... 6 Conclusion... 8

Contexte Au terme d une première phase pilote, les 10 ONG humanitaires partenaires du projet Sigmah ont réussi à développer de façon collaborative une première version d un logiciel de gestion intégrée de projets en 2011. La stratégie à 4 ans prévoit 2 nouvelles phases : (i) une phase 2 «adoptions étendues» (2012-2013) qui a pour objectif de passer d un projet pilote à un projet mûr avec un logiciel plus riche, des adoptions plus étendues dans les ONG ayant déjà initié une démarche, et un plus grand nombre d ONG partenaires ; (ii) une phase 3 «vers une durabilité économique» (2014-2015) dont l objectif est de finaliser le modèle économique pour arriver à une situation permettant l animation au quotidien du projet sans appui permanent de financement extérieur. Les réunions trimestrielles de la Coopérative de Pilotage ainsi que la participation à différents forums dans le secteur ont permis d avoir une première évaluation des besoins à couvrir en priorité pour cette phase 2. Les besoins de fonctionnalités sont déjà bien balisés pour les organisations membres de la Coopérative de Pilotage. Néanmoins, une lumière méritait encore d être apportée sur les besoins en termes de révision de l ergonomie des écrans actuels, et les besoins d ONG non encore partenaires nécessitaient d être davantage explicités. Le recueil des besoins s est donc déroulé en 2 études parallèles : 1. Une étude des besoins ergonomiques des organisations déjà utilisatrices ; 2. Une étude des besoins des potentielles nouvelles organisations.

Besoins ergonomiques des organisations utilisatrices Méthodologie Des entretiens dirigés avec un questionnaire structuré Des représentants des organisations utilisant Sigmah ont été contactés pour participer à des entretiens dirigés. Un questionnaire commun précis a été établi en amont permettant de poser des questions transversales sur les conditions de leur usage (fréquence, durée, environnement), leur formation à l outil et leur perceptions générales, et ensuite de revoir de manière générale puis écran par écran tout le fonctionnement de l interface. Les entretiens ont été menés par un binôme constitué de : Gilles Murawiec : expert en ergonomie logicielle du réseau Adergo, qui a offert sa prestation bénévolement ; Olivier Sarrat : ingénieur système d information du Groupe URD. Trois organisations et trois profils différents d utilisateurs contactés Les entretiens ont été menés avec les organisations et profils suivants : Croix-Rouge Française o Chargée d adoption de Sigmah o Desk Haïti o Chef de projet en Haïti o Déléguée de reporting en Haïti Handicap International o Chargée d adoption de Sigmah Médecins du Monde o Chargée de relations bailleurs / Chargée d adoption de Sigmah Résultats et analyse Les retours d expériences mesurés via l enquête sont globalement bons et montrent une réelle et forte demande d améliorations fonctionnelles et ergonomiques : la formation en suivi individuel a été efficace ; le logiciel est assez facile à comprendre, assez simple à utiliser, une fois les 2-3 concepts clé expliqués ; certains écrans sont perçus comme complexe et dense en première approche, en revanche, l expérience et le maniement clarifient cette première impression. Ce qui ressort des résultats de l enquête s organise en trois directions : les écrans existants à améliorer (lisibilité, maniabilité), les fonctions à revoir ou créer qui vont permettre plus de fluidité dans l usage de Sigmah et les améliorations de points de détail collectés lors de l enquête : Ecran existant à améliorer o Tableau de gestion Fonctions complètes à revoir intégralement ou à ajouter

o o o o o Gestion et saisie des Indicateurs Suivi des activités (Ecran Agenda à améliorer, vision Gantt global des activités, vision des mes activités dans une échelle de temps plus réduite, plus en lien avec l opérationnel, liaisons entre Cadre Logique et Activités, ) Zones d intervention Auto-apprentissage (pour lever les incompréhensions sur des parties de l application, et pour lever l inquiétude de visiter de nouveaux écrans complexes qui une fois manipulés un peu sont évalués plutôt simples finalement) Administration (plus intuitive, en WYSIWYG) Conclusion Cette première étude collectant les retours d expériences menée auprès d un échantillon d utilisateurs de Sigmah montre tout l intérêt porté à l outil, les attentes fortes en termes de simplicité d usage et l incitation à poursuivre le travail entamé dans le sens d une meilleure adéquation aux besoins du terrain. Les résultats de l étude croisés avec nos objectifs nous permettent d identifier plusieurs axes de travail sur l Interface Homme-Machine de Sigmah : Travailler sur la simplification des écrans-clés cités dans l étude, tant sur le plan de leur composition que sur celui des accès fonctionnels ; Affiner les principes ergonomiques mis en oeuvre dans la première version de Sigmah à la lumière du retour d expériences ; Homogénéiser l existant via ces nouveaux principes ; Consolider les principes ergonomiques en spécifiant les nouvelles fonctionnalités. Par ailleurs il est importé de mentionné que contrairement à ce qui avait été prévu dans les termes de référence, aucun contact n a établi avec un directeur des opérations. En effet, dans les adoptions pilote où en sont les organisations, ces utilisateurs n utilisent pas encore Sigmah car cela ne leur apporte pas d informations directement utile à leur niveau de prise de décision.

Besoins fonctionnels de nouvelles organisations Méthodologie La méthodologie utilisée est celle de l entretien semi-structuré, avec un questionnaire composé de questions ouvertes et questions à choix multiples. Les entretiens se sont déroulés par téléphone et ont été menés par deux personnes du Groupe URD en charge du diagnostic des besoins des ONG qui pourraient potentiellement adopter Sigmah. Le même questionnaire a été utilisé pour chacun des entretiens afin de garder une cohérence dans les questions quelque soit la personne du Groupe URD menant l entretien et permettre l analyse des réponses. En tout, 13 ONG ont été interviewées. Ces ONG sont de divers horizons : d urgence et de développement, françaises, européennes ou du Sud, de tailles différentes (avec des effectifs allant d une vingtaine à 1000 employés), et de nombre d années d expérience différentes de 2 ans à plus de 70 ans) et enfin, mettant en place des projets dans différents secteurs (agriculture, santé, éducation, WASH, etc), afin de représenter au maximum la diversité des métiers existants dans le secteur de l aide internationale : - Alliance Médicale Contre le Paludisme au Mali (AMCP) - Palestinian Medical Relief Society (PMRS) - Solidarité Laïque - Oxfam Belgique - Intersos - Oxfam GB - Centro Italiano Aiuti all Infanzia (CIAI) - Alima - Groupe d Action Francophone pour l Environnement (GAFE) - Secours Catholique - Acting for Life - Pharmaciens Humanitaires (PAH) - Geneva International Centre for Humanitarian Demining (GICHD) Pour chacune des ONG interviewées, une personne la représentant répondait au questionnaire d entretien, sauf pour l ONG Palestinienne PMRS pour qui l entretien a été mené avec 3 personnes. Ces personnes occupaient des postes divers ce qui permet d avoir des approches différentes face aux besoins en termes de gestion de l information des projets (Référents Qualité, Coordinateur Administratif, Directeur Executif, Desk, Operation Manager, Project Manager, Information Service Coordinator), et ont également une ancienneté dans la structure très diverse, allant de moins d un an à 10 ans.

Après une 1 ère partie d introduction permettant de présenter l ONG et la personne interviewée, ainsi que la situation actuelle de l ONG, le questionnaire se composait de 2 autres parties : - Une 2 ème partie de questions portant sur l analyse des besoins de l ONG, - Une 3 ème partie de questions permettant d extrapoler les besoins en imaginant que l ONG adopte l outil Sigmah. Les résultats de ces entretiens sont présentés par type d ONG : - Les ONG dont le budget est inférieur à 5 Millions d euros et dont l effectif (nombre d employés) est plutôt petit (inférieur ou égal à 70 personnes) : nous les nommerons «Petites ONG» (au nombre de 4) - Les ONG dont le budget est compris entre 5 Millions d euros et 30 Millions d euros et dont l effectif (nombre d employés) est moyen (une ou des centaines de personnes) : nous les nommerons «ONG Moyennes» (au nombre de 7) - Les ONG dont le budget est supérieur ou égal à 150 Millions d euros et dont l effectif (nombre d employés) est plutôt grand (supérieur ou égal à 1000 personnes) : nous les nommerons «Grandes ONG» (au nombre de 2) Il est à noter que ce groupe d ONG n est composé d aucune ONG dont le budget soit de 30 à 150 millions d euros, or ce sont justement des ONG dont le budget est compris dans cette fourchette qui sont déjà utilisatrices de Sigmah ou font partie de la Coopérative de Pilotage. Ainsi, nous avons ici un échantillon représentant d autres types d ONG, soit plus petites soit plus grosses que celles que nous connaissons déjà. L analyse des besoins ne fait que compléter notre compréhension des besoins d un groupe d utilisateurs déjà existants. Résultats et Analyse Résultat n 1 : Le niveau de structuration et d informatisation n est pas totalement corrélé à la taille de l organisation. Peu importe sa taille, le niveau de structuration d une ONG pourra être très élevé ou peu développé. Néanmoins il est bon de noter que ce sont surtout les ONG de taille et budget moyens qui ont une approche qualité en place, ou une réflexion engagée dans ce sens. Pour ce qui est du niveau d informatisation, les ONG ont surtout en place des outils de gestion administratifs (de type logiciels de comptabilité), tandis qu il y a un manque démontré d outil informatique de gestion de projet, et ce, quelque soit le type d ONG. Toutes les ONG interviewées sauf une ont besoin de structurer leurs processus, mais à différents niveaux. Les Petites ONG ont surtout besoin d une structuration légère tandis que les autres font ressortir le besoin d une structuration plus forte. En ce qui concerne la sauvegarde de l information, seules les Petites et Moyennes ONG n ont pas forcément toutes un système de sauvegarde, tandis que les Grandes en ont toutes au moins un. Pour celles qui ont un système de sauvegarde, ce sont surtout les ONG Moyennes qui ne perdent pas d information.

Résultat n 2 : l exploitation des informations liées aux projets s avère problématique, notamment pour les Petites et Moyennes ONG Toutes les ONG documentent leurs projets mais avec un niveau de détail et de sophistication relatif à leur taille. Ainsi, pour certaines Petites et Moyennes ONG le niveau de documentation est faible tandis que toutes les Grandes ONG interviewées ici disent avoir une documentation très développée. De manière générale, bien que certaines ONG arrivent à exploiter les informations sur les projets qu elles mènent, le besoin de les réorganiser afin de pouvoir les exploiter de manière plus fluide et de gagner en temps et en clarté paraît évident, quelque soit la taille ou le budget de l ONG. Cependant, on voit une tendance à une plus grande facilité d exploitation des données pour les Grandes ONG. Seules les Grandes ONG sont en mesure d exploiter leur documentation de projet de manière rapide (quelques jours ou immédiatement), tandis que pour les Petites et Moyennes ONG, cela peut prendre des mois. Dans le cas particulier d une Petite ONG, l exploitation de leur documentation de projets s avère même impossible. Résultat n 3 : le pilotage des Petites et Moyennes ONG est le plus difficile Pour les Grandes ONG, les tableaux de bord sont à jour et semblent fonctionnels. En revanche, pour la majorité des Petites et Moyennes ONG, ces tableaux de bord ne sont pas assez documentés ou mis à jour. Cela rend alors difficile une vision d ensemble des projets mis en œuvre. Dans le cas particulier d une Petite ONG il n y a pas du tout de tableau de bord qui permette à la hiérarchie une vision claire de l ensemble des projets gérés. Ceci se confirme d ailleurs lorsque l on regarde les difficultés que les Petites et Moyennes ONG ont à exploiter leurs documents : la plupart mettent plusieurs jours, voire des mois, avant de pouvoir synthétiser et analyser l information sur un même projet. Résultat 4 : Toutes les Petites et Moyennes ONG ont des difficultés pour recouper l information. Les ONG qui n ont aucun format de rapport uniformisé (pour le rapport de diagnostic, le «situation report», etc.) sont des Petites et Moyennes ONG. De plus, on remarque que pour beaucoup de Petites et Moyennes ONG, il y a des difficultés pour recouper certaines informations car leurs formats de rapport sont parfois ou souvent transformés par les équipes. Les Grandes ONG n ont quant à elles pas de difficultés à recouper leurs informations car les formats de rapports sont parfaitement respectés par les équipes.

Résultat 5 : un certain nombre de contraintes et d attentes à prendre en compte pour le projet Pouvoir agréger des indicateurs Les demandes des ONG concernant l exploitation de la base sont très variées, mais il apparaît que quelque soit le type d ONG, elles souhaitent pouvoir faire des agrégations de données. Il apparaît aussi évident que les Grandes ONG ont de plus grandes exigences que certaines Petites et Moyennes qui se contentent de suivre les indicateurs sur un tableur simple ou sont prêtes à recopier les valeurs dans leurs rapports en dehors du logiciel. Il est bon de noter aussi que la majorité des Petites ONG sont satisfaites de suivre leurs indicateurs simplement dans un tableur séparé. Ici on constate donc que l attente pour l agrégation de données est bien en rapport avec la taille de l ONG : plus elle sera grande, plus elle souhaitera pouvoir faire des agrégations. Problème de connexion Toutes les organisations ont une connectivité à internet sur le terrain, mais il est à noter que pour certaines ONG, cette connectivité est rare (de l ordre de quelque fois par mois seulement). Ici on constate donc l importance du mode déconnecté qui permettrait d utiliser le logiciel même sans connexion internet fréquente. Nécessaire simplicité de l outil Pour ce qui est du niveau de compétence des équipes, bien qu un bon nombre d ONG aient des facilités à utiliser les outils informatiques, il est bon de noter que pour la majorité et quelque soit le type d ONG, les utilisateurs manient des outils plutôt simples. Ici on constate qu il est essentiel que l outil reste simple pour pouvoir être utilisé au maximum par les équipes de terrain. Conclusion Après plusieurs années de collaboration avec un type d organisations qui ont consolidé notre connaissance des besoins, nous avons exploré et affiné notre analyse en allant explorer d autres types d organisations avec d autres besoins. Même si l échantillon de cette étude ne permet pas de généraliser les conclusions (13 ONG seulement), nous pouvons déjà faire quelques constats intéressants et faire ressortir de cette enquête les besoins les plus probants pour les ONG en terme de gestion de l information des projets. Pour commencer, de manière générale, les ONG semblent se reconnaître dans l arbre à problème proposé (voir annexe) qui démontre que pour arriver à une meilleure qualité de gestion des projets il est nécessaire de mettre en place un outil de gestion de l information des projets tel que Sigmah se propose d être. Ensuite, lorsque l on compare les besoins des différents types d ONG, un premier constat serait que les Petites ONG arrivent plutôt bien à gérer l information de leurs projets, justement parce qu elles sont petites avec des projets moins nombreux ou moins gros et n éprouvent donc pas forcément le besoin de mettre en place un outil de gestion plus élaboré que ceux qu elles ont déjà (type tableur Excel).

Les Grandes ONG éprouvent elles aussi peu de difficultés dans la gestion de l information de leurs projets, mais pour d autres raisons que les Petites ONG. En effet, elles ont plus de moyens pour gérer une grande quantité d information et sont donc plus à l aise lorsqu il s agit de piloter les projets et d exploiter les documents. En fait, les utilisateurs les plus probables de l outil sont les moyennes ONG parce qu elles gèrent une quantité d information assez élevé sans pour autant avoir les moyens de le faire de manière simple et rapide. Enfin, il est bon de souligner que la majorité des ONG interviewées pensent que le caractère libre du logiciel est important, ce qui renforce la légitimité de Sigmah en tant que logiciel libre dédié au secteur de l aide.