Production statistique: passage d une démarche axée sur les domaines à une démarche axée sur les processus

Transcription

1 Nations Unies Conseil éonomique et soial Distr. générale 31 mars 2015 Français Original: anglais ECE/CES/2015/26 Commission éonomique pour l Europe Conférene des statistiiens européens Soixante-troisième réunion plénière Genève, juin 2015 Point 4 de l ordre du jour provisoire Modernisation de la prodution et des servies statistiques et gestion à des fins d effiaité Prodution statistique: passage d une démarhe axée sur les domaines à une démarhe axée sur les proessus Note de l Offie statistique de la République de Slovénie Résumé L Offie statistique de la République de Slovénie a ommené à moderniser la prodution statistique il y a quelques années en lançant un grand projet d infrastruture. Ce projet se fondait sur le «Modèle générique du proessus de prodution statistique» et sur quelques onepts fondamentaux qui devaient permettre d élaborer des solutions génériques mais suffisamment souples pour répondre aux besoins de la majorité des enquêtes statistiques. Plutôt que d élaborer une solution globale pour l ensemble du proessus statistique, l Offie a hoisi d adopter une approhe par étapes. Des solutions génériques pour ertaines parties du proessus, par exemple l édition des données, l agrégation des données ou l estimation normalisée, seront progressivement mises au point et introduites dans la prodution statistique. La présente note dérit les grands prinipes sur lesquels repose le projet, rend ompte des résultats obtenus jusqu ii et donne un aperçu des plans de développement ultérieur. La présente note est soumise pour examen à la 1 re séane du séminaire de la Conférene des statistiiens européens organisé sur le thème «Modernisation de la prodution et des servies statistiques et gestion à des fins d effiaité». GE (F)

2 I. Introdution 1. La réalisation d enquêtes statistiques est une tâhe diffiile qui demande beauoup de temps et qui est par onséquent assez oûteuse. C est tout partiulièrement le as pour les enquêtes de statistiques offiielles, où la fiabilité des résultats est d une importane partiulière. Il est vrai que la plupart des enquêtes statistiques offiielles portent sur des phénomènes très omplexes qui ne sont pas failes à observer, e qui rend la tâhe des statistiiens enore plus diffiile. D autre part, en raison de la pression onstante exerée en faveur de oupes budgétaires, les statistiiens offiiels doivent faire fae de plus en plus souvent au défi onsistant à produire des statistiques de haute qualité ave des ressoures onsidérablement réduites. 2. Le développement rapide des tehnologies de l information (TI) es dernières années offre la possibilité de reonfigurer le proessus d enquête d une façon tout à fait nouvelle et plus effiae. On onstate très lairement que la plupart des bureaux nationaux de statistique ont réemment déployé de gros efforts pour reonfigurer leurs ativités au niveau institutionnel. Des expressions telles que «réorganisation, modernisation, nouvelle arhiteture», et., reviennent très fréquemment dans les douments stratégiques des bureaux nationaux de statistique. L objetif final qui est généralement présenté dans es douments est d utiliser la large gamme de nouveaux outils et de nouvelles appliations informatiques pour rendre l ensemble du yle de prodution plus léger et moins onéreux. 3. L Offie statistique de la République de Slovénie (i-après dénommé «OSRS») ne fait pas exeption à ette règle. Les efforts visant à mettre en plae un nouveau système plus moderne de traitement des données remontent déjà à plusieurs années. Il y a environ dix ans, l OSRS a ommené à planifier la modernisation de ses proessus en vue de mettre en plae des systèmes pleinement intégrés de prodution statistique. La mise en œuvre d un système de e type n a pas fontionné omme prévu, de sorte que la démarhe a peu à peu évolué. L OSRS s est tourné vers la mise au point de plusieurs solutions génériques autonomes, qui seraient ensuite appliquées à un proessus statistique donné pour haque enquête. 4. L OSRS réalise atuellement un grand projet d infrastruture visant à mettre en pratique les prinipes de modernisation dans le adre du proessus habituel de prodution statistique. Des solutions génériques pour ertaines parties du proessus, par exemple l édition des données, l agrégation des données ou l estimation normalisée, seront progressivement mises au point et introduites dans les enquêtes statistiques. La présente note dérit les grands prinipes sur lesquels repose le projet, rend ompte des résultats obtenus jusqu ii, et donne un aperçu des plans de développement ultérieur. II. Du système pleinement intégré à la solution modulaire 5. En 2007, l OSRS a lané un vaste projet visant à réer un système omplexe de prodution statistique pleinement intégré appliable à l ensemble du yle de prodution pour la grande majorité des enquêtes statistiques. Ce système devait omprendre, entre autres hoses, un système générique piloté par les métadonnées pour l ensemble du yle de traitement des données. S agissant de e système générique, à la fin du projet, l OSRS est arrivé à la onlusion que les résultats ne répondaient que partiellement aux attentes. 6. Le projet n a pas atteint son objetif qui était de mettre en plae un système pleinement intégré reliant tous les outils partiuliers qui avaient été mis au point au ours du projet. La question qui s est don posée après l analyse des résultats du projet était la suivante: e type de système pleinement intégré est-il vraiment la meilleure orientation 2 GE

3 de développement? Autrement dit, e type de système intégré permet-il véritablement d assurer la modernisation vers un système de prodution statistique souple et d un bon rapport oûts-effiaité? Toutes les disussions et les réflexions ont finalement abouti à renoner à l idée d un système pleinement intégré au profit de solutions légèrement différentes onservant ertaines aratéristiques importantes de «l anien système» (également appelé système piloté par les métadonnées). Il s agissait de reourir à un ertain degré de fragmentation de façon à favoriser une plus grande souplesse tout en onservant ertains éléments généraux du système 7. Le prinipal hangement d approhe a été la déision de l OSRS de diviser le proessus statistique en un ensemble de sous-proessus de moindre ampleur et de mettre au point des solutions modulaires pour haun de es sous-proessus. Ces solutions modulaires devaient être onçues de façon à pouvoir relier de manière aisée et souple les intrants et les résultats des différentes omposantes de l ensemble du proessus statistique. Ces omposantes (aussi appelées modules) devaient fournir des solutions logiielles génériques pour ertaines parties du proessus de prodution statistique et devaient être onçues de façon à pouvoir fontionner de manière autonome. Les prinipales aratéristiques de es modules peuvent être résumées de la manière suivante: a) Les modules ont été onçus sur la base de prinipes méthodologiques harmonisés, transparents et largement aeptés qui ont été définis avant la mise au point effetive du module onerné; b) Les modules doivent être suffisamment ouverts pour pouvoir être intégrés et mis en fontion dans différentes bases de données et dans différents environnements (par exemple, Orale, SAS (Statistial Analysis Software)) à ondition que es bases de données soient onformes à ertaines règles fondamentales relatives à l organisation des données; ) Les modules ont été onçus omme des systèmes entièrement pilotés par les métadonnées, e qui signifie que les informations déterminant les paramètres d exéution d une enquête partiulière et d une période de référene spéifique doivent pouvoir être ommuniquées en dehors du programme informatique de base utilisé par l ordinateur. Les informations se rapportant à l exéution d une enquête partiulière ne doivent pas être insérées dans le programme informatique général mais doivent être fournies par le personnel spéialisé au moyen des tables spéiales de métadonnées; d) Les métadonnées de proessus peuvent aussi être fournies dans différentes bases de données pour haque enquête dans différents environnements, mais haune de es bases de données (de métadonnées) doit se onformer à des règles strites relatives à sa struture (tables et variables). 8. Les solutions modulaires génériques ont été élaborées en deux étapes. La première version du nouveau système généralisé a été onçue entre 2007 et Lors de ette phase initiale, l objetif prinipal était d élaborer des programmes génériques fondés sur le logiiel SAS, à même d effetuer une partie du proessus pour différentes enquêtes sans modifier le logiiel SAS lui-même, mais simplement en adaptant les métadonnées de proessus (règles de proédure) introduites dans le programme général. Le plus important ii était le hangement majeur dans la manière dont une partie spéifique du proessus statistique était réalisée. 9. Avant de mettre en plae e nouveau système, l OSRS appliquait «l approhe loisonnée lassique de la prodution», dans laquelle les outils de prodution et les solutions étaient «fontion de l enquête». La manière dont les opérations statistiques (par exemple, l édition et les imputations, l estimation des erreurs d éhantillonnage, le ontrôle de la divulgation de données statistiques et la tabulation) étaient organisées dépendait beauoup de l équipe hargée de l enquête. L approhe tributaire de l enquête était partiulièrement effiae pour la mise au point de solutions logiielles. Ces solutions GE

4 étaient élaborées le plus souvent en fontion des besoins d une enquête partiulière. Les informatiiens utilisent les «instrutions ouvertes» des statistiiens pour mettre au point une solution logiielle, puis l adaptaient (si néessaire) en fontion des besoins partiuliers de mise en appliation dans le adre de l enquête. Un tel système exigeait beauoup d efforts en matière de TI lors de la phase de développement, et rendait très ardue la maintenane des logiiels. 10. Le grand progrès apporté par es nouvelles solutions était que la solution logiielle pour une partie déterminée du proessus était mise au point une seule fois, puis adaptée, en fontion des besoins partiuliers de mise en appliation, par simple modifiation des métadonnées de proessus. Ces métadonnées sont fournies au système par les statistiiens hargés de l enquête, qui sont désormais les gestionnaires de l ensemble du système. Les informatiiens et les spéialistes des méthodes générales ont pour seule fontion de fournir l assistane néessaire en as de problème. 11. La première solution générale était très souple et ouverte. Les programmes généraux pouvaient être intégrés et mis en fontion dans différents types de base de données, de mirodonnées ou de métadonnées de proessus, à ondition que es dernières soient organisées onformément aux règles prédéfinies. Un tel système, très générique et ouvert, est sans auun doute très souple et onstitue un bon outil pour onstruire un proessus statistique. Toutefois, e genre de système ouvert présente aussi un ertain nombre de launes évidentes, qui sont liées prinipalement aux proédures de gestion des métadonnées de proessus. Comme indiqué préédemment, les bases de données ontenant les métadonnées de proessus ont une struture définie de manière strite, mais pour haque enquête elles peuvent être inorporées dans différentes bases de données, et même dans des environnements différents (par exemple, Orale, MS Aess, SAS). En fait, pour la plupart des enquêtes, les métadonnées de proessus étaient onservées dans des bases MS Aess. Cela s explique essentiellement par le fait que les spéialistes dans e domaine, qui sont prinipalement hargés de gérer les métadonnées, préfèrent et environnement en raison de sa simpliité et de sa failité d utilisation. 12. Le problème que pose e type de système dispersé de métadonnées de proessus est qu il est impossible de réer une appliation générale effiae pour gérer et ontrôler les métadonnées insérées. Comme il a été souligné dans les analyses effetuées après la première phase d utilisation du système frationné, le prinipal problème était le nombre onsidérable d erreurs dans les métadonnées de proessus. Étant donné que les hamps dans lesquels sont insérées les règles sont pour le moment entièrement ouverts, la plupart de es erreurs étaient des erreurs de syntaxe dans les règles (par exemple, des erreurs de parenthèse) ou de ohérene entre les règles et les variables. 13. Pour permettre la mise au point d un meilleur système de gestion et de onsultation des métadonnées de proessus, l OSRS a déidé d intégrer à nouveau davantage l ensemble du système. L objetif de ette intégration renforée n est ertes pas de reréer le système pleinement intégré qui avait été initialement onçu, mais seulement de rétablir un niveau d intégration permettant de réer l outil de gestion général tout en maintenant le haut degré de souplesse de e système. Il a été déidé de prendre les mesures i-après pour permettre à nouveau une plus grande intégration: a) Créer une base de données unique ontenant les métadonnées de proessus. Cette base de données serait réée dans l environnement Orale et gérée par l appliation.net, e qui permettrait une gestion aisée des métadonnées de proessus; b) Relier le système ave les dépôts de métadonnées, où les données relatives aux enquêtes et des exemples d enquêtes sont onservés; 4 GE

5 ) Permettre à l appliation de gestion d aéder aux données sur les variables dans les tables insérées. Ces données peuvent être insérées dans l appliation à partir de deux soures différentes: à partir du registre des variables, si les variables de l enquête y ont été enregistrées, ou à partir d autres emplaements où les strutures des tables de données sont onservées. 14. On trouvera i-après un shéma simplifié du nouveau système intégré prévu: Figure 1 Shéma simplifié du nouveau système intégré Appliation Appliation for management de gestion Différentes Different mirodata bases de mirodonnées databases Base Database de données of proessing ontenant les métadonnées metadata de proessus Metadata Dépôt de repository métadonnées Programme Ad-ho program pontuel General Logiiel SAS program général Données Data on sur tables tables and et variables Programme Ad-ho program pontuel 15. La mise en plae de e nouveau système est l objetif prinipal du grand projet d infrastruture mentionné au début de la présente note. L OSRS a déjà mené à bien les opérations relatives à la validation des données, au système automatisé de orretion et d imputation des données, et nous introduisons progressivement ette partie de l appliation dans la prodution habituelle. La mise au point des modules pour l agrégation des données, le ontrôle de la divulgation des données ou l estimation des erreurs types et la tabulation néessitera elle aussi beauoup de temps enore. L OSRS prévoit de ommener à introduire es modules dans la prodution habituelle à la fin de ette année. III. Diffiultés liées à la mise en plae d un système entièrement nouveau 16. Au début de l introdution de la nouvelle appliation (ave la toute nouvelle méthode) dans le proessus habituel de prodution statistique, l OSRS reueillait régulièrement les informations en retour des statistiiens qui devaient faire fae au nouveau mode de traitement des données. Les prinipaux avantages et inonvénients de la nouvelle méthode, tels que perçus par les statistiiens, peuvent se résumer omme suit. Prinipaux avantages: Les membres du personnel spéialisé sont beauoup plus indépendants du servie informatique, qui était auparavant responsable de l exéution tehnique des opérations; GE

6 Les règles relatives au traitement des données peuvent être modifiées très rapidement par le système entralisé de métadonnées de proessus, de sorte que l ensemble du yle de traitement des données devient beauoup plus souple; Étant donné que les utilisateurs peuvent exéuter les proédures à plusieurs reprises en peu de temps, il est désormais plus faile de vérifier la faisabilité des différentes méthodes de traitement des données. Prinipaux inonvénients: Le risque de ommettre des erreurs de syntaxe lors de l insertion des métadonnées est élevé. En as d erreur, l appliation ne peut pas être exéutée ou est exéutée ave des paramètres inappropriés; Les statistiiens spéialisés doivent aquérir de nouvelles ompétenes, e qui est parfois un problème à ause de la harge de travail très lourde de la prodution statistique; Si une erreur survient pendant l exéution de la proédure, les membres du personnel tehnique doivent être ontatés et, s ils ne sont pas disponibles, l exéution du proessus peut être interrompue pendant un ertain temps. 17. La mise au point d un système entièrement nouveau de prodution statistique est ertainement un grand pas en avant pour l OSRS. Nous sommes fermement onvainus que les résultats de e projet nous aideront à mettre en plae un nouveau système modernisé de gestion du traitement des données statistiques dans les différents systèmes statistiques. Le passage d un système loisonné à des solutions méthodologiques et informatiques entralisées est l objetif final. L élément entral du système rénové est l appliation pilotée par les métadonnées, qui, d une part, est souple dans la mesure où elle peut être intégrée dans différents environnements de mirodonnées et, d autre part, met en œuvre une gestion entralisée des métadonnées de proessus. 18. L introdution de e type d appliation générique pilotée par les métadonnées pour le traitement des données s aompagne inévitablement de ertains hangements au niveau institutionnel général, en e qui onerne la oneption et la réalisation des enquêtes statistiques. En se fondant sur l expériene aquise jusqu à présent, on peut résumer les prinipaux hangements omme suit: a) La répartition du travail entre les spéialistes, les responsables des méthodes générales et les informatiiens est fondamentalement différente. Dans l anien système, haque statistiien avait son propre «programmeur» et ses propres «responsables des méthodes générales», qui s appuyaient sur les instrutions préises du spéialiste dans un domaine pour onevoir et mettre en œuvre les proessus spéifiques orrespondant à une enquête partiulière. À présent, les responsables des méthodes générales et les informatiiens ont pour seule fontion de fournir l assistane néessaire s il survient une erreur dans l appliation ou si le proessus ne fournit pas les résultats esomptés. Cela signifie que les spéialistes dans un domaine sont maintenant beauoup plus indépendants du servie informatique et du servie des méthodes générales; b) L évolution du rôle des statistiiens spéialisés dans le proessus statistique a également modifié les attentes relatives à leurs ompétenes et à leurs apaités. On attendait d eux une onnaissane approfondie du domaine onerné et l aptitude à fournir les instrutions érites (sous forme ouverte) pour l exéution de ertaines parties du proessus (par exemple, l imputation ou l agrégation). Aujourd hui, ils doivent être qualifiés et formés de façon à pouvoir érire eux-mêmes es règles en langage informatique mathématique; 6 GE

7 Bibliographie ) L ensemble de l organisation du travail du servie informatique et du servie des méthodes générales devra être modifié, passant d une démarhe axée sur les domaines à une démarhe axée sur les proessus. Cette réorganisation implique une oneption d ensemble très différente de l organisation de l institution et de la répartition des tâhes et onstitue par onséquent un véritable défi pour l organisme responsable des statistiques. L OSRS en est au premier stade de l ation visant à relever e défi; d) La réorientation dérite i-dessus, prévoyant de passer d une démarhe axée sur les domaines (spéifiques) à une démarhe axée sur les proessus (généraux) devra être mise en œuvre aussi au niveau des experts en informatique et des spéialistes des méthodes. La mise au point et la maintenane de e type d appliations génériques néessitent le travail d experts à même de fontionner sur un plan beauoup plus général et de onsidérer l exéution d une enquête partiulière omme une tâhe parmi d autres dans l ensemble du proessus statistique. Dolen, D., Krek, M., Seljak, R. (2011), «Editing Proess in the Case of Slovenian Register- based Census», doument présenté lors de la réunion de travail de la CEE sur l édition des données statistiques, tenue à Ljubljana (Slovénie) du 9 au 11 mai 2011; Seljak, R. (2009), «Integrated statistial systems and their flexibility How to find the balane?», présenté à la onférene sur le thème des nouvelles tehniques et tehnologies au servie des statistiques (New Tehniques and Tehnologies for Statistis (NTTS)), tenue à Bruxelles (Belgique) du 5 au 7 mars 2013; Seljak, R., Blazi, P. (2011), «Sampling error estimation SORS pratie», présenté au deuxième atelier européen sur l établissement de statistiques, tenu à Neuhâtel (Suisse) du 12 au 14 septembre 2011; Seljak, R. (2014), «Metadata driven appliation for data proessing from loal toward global solution», doument présenté lors de la réunion de travail de la CEE sur l édition des données statistiques, tenue à Paris (Frane) du 28 au 30 avril GE