Architecture du SISE

Transcription

1 Développement d un Système d Informations Statistiques sur les Entreprises (SISE) en Tunisie Documentation technique finale Architecture du SISE (provisoire) Contrat de Jumelage n TU/07/AA/OT/02

2 SOMMAIRE CONTEXTE ET OBJECTIFS DU DEVELOPPEMENT DU SISE LES SYSTEMES D INFORMATION STATISTIQUE Aspects théoriques de base sur les systèmes d information statistique Le système des métadonnées comme élément central du SISI Les composantes du système Les composantes statistiques Les composantes informatiques LE SYSTEME D INFORMATION DES STATISTIQUES SUR LES ENTREPRISES DE L INS TUNISIE La logique de construction du système Le nouveau système d information du Répertoire Statistique (RNE) L extension à tout le SISE de l approche conceptuelle du RNE Précisions sur le sous-système des enquêtes L évolution du sous-système des enquêtes à moyen/long terme Les composantes réalisées du SISE Les nouvelles classifications des activités et des produits Le Répertoire National des Entreprises Les sources administratives Les enquêtes statistiques Les composantes informatiques Quelques éléments essentiels qui doivent encore être réalisés à moyen terme Les interventions prioritaires sur les enquêtes Le sous-système des indicateurs de qualité La coordination des échantillons RECOMMANDATIONS Par rapport à l ensemble du SISE Par rapport à l utilisation des sources administratives Par rapport au Répertoire National des Entreprises (RNE) Par rapport aux enquêtes sur les entreprises Par rapport à l aspect l informatique LISTE DES TABLES...44 LISTE DES SCHEMAS...45 ACRONYMES

3 Contexte et objectifs du Développement du SISE L'information statistique sur le tissu productif constitue une base indispensable pour la réalisation et le suivi des actions de développement dans les différents domaines économique, social et environnemental. En ce sens, l'élaboration d'un plan national de la statistique accompagne le plan quinquennal de développement et les perspectives globales de progrès du pays. Le renforcement de l'information statistique dans le domaine des entreprises représente donc un support essentiel d aide à la décision aussi bien pour les responsables politiques que pour les acteurs économiques public et privé. L objectif de développer un Système d Informations Statistiques sur les Entreprises (SISE) au sein de l INS s inscrit dans le cadre du volet coopération économique de l Accord d Association Tunisie - UE repris par le deuxième axe d intervention du P3A. En particulier, le présent projet de jumelage représente une forme concrète de mise en place d'une coopération visant le rapprochement des méthodologies utilisées et l'exploitation des données statistiques relatives à tous les domaines prévus par l'accord relatif à l adoption des méthodes statistiques pleinement compatibles avec les normes européennes applicables aux domaines concernés. Ce projet de jumelage, en faisant intervenir des organismes de l UE ayant une tradition en matière de statistiques d entreprises, offre l opportunité de consolider les travaux réalisés et de finaliser l édification d un système intégré et cohérent des statistiques d entreprises. Il constitue un cadre adéquat pour le renforcement des capacités de l INS et principalement la Direction Centrale des Statistiques d Entreprises à travers l'encadrement et l appui aux activités d'amélioration et d'enrichissement des données du Répertoire National d Entreprises, l'appui au développement des enquêtes auprès des entreprises, l utilisation des sources administratives dans le domaine des statistiques d entreprises, des travaux d'harmonisation des nomenclatures et des instruments techniques de coordination et des actions de diffusion et de mise à la disposition des utilisateurs des données sur les entreprises. En démarrant le projet de jumelage, on a effectué des analyses des enquêtes réalisées par l INS et par d autres administrations centrales productrices d informations statistiques dans le cadre du Programme National Statistique en vigueur (PNS ) approuvé par le Conseil National de la Statistique (CNS) et des vérifications de la situation de la mise à jour et de la qualité des informations contenues dans le Répertoire des Entreprises (RNE) géré par l INS. A partir de l analyse des sources existantes et des procédures utilisées par l INS pour produire l information statistique dans le domaine économique (partie A Diagnostic), on a par la suite procédé à (partie B Architecture du SISE) : - Concevoir l architecture du SISE telle qu il faudrait qu elle soit (long terme) ; - Présenter les problèmes prioritaires pour la construction du SISE rencontrés au cours du projet (court terme) ; - Fournir les recommandations sur les priorités au cours des prochaines années (moyen terme).

4 1. Les systèmes d information statistique 1.1 Aspects théoriques de base sur les systèmes d information statistique L organisation et l activité des Instituts Nationaux de Statistique (INS) a profondément changé à partir des années 90. Les éléments essentiels de ce changement ont été les suivants : i) la croissance et la diversification des besoins d informations des utilisateurs ; ii) la nécessité d avoir en même temps des informations statistiques à un niveau global (intégrables ou comparables au niveau international) et territorial (proches des besoins des communautés économiques locales) ; iii) la nécessité de réduire la charge statistique envers les répondants ; iv) la réduction constante des ressources dédiées à la statistique publique ; v) l innovation continue dans le domaine des technologies informatiques. La réponse donnée aussi bien au niveau des organismes internationaux (ONU, Eurostat, OCDE) que nationaux (INS) a été de concevoir des Systèmes d Information Statistique Intégrés (SISI). En général, un système peut être défini comme un ensemble d éléments intégrés qui, en interagissant entre eux sont réciproquement dépendants. Le système d information tel qu il est conçu dans l environnement de l entreprise est identifié comme étant la composante d une organisation qui gère (dans le sens qu elle acquiert, élabore, conserve, ) les informations d intérêt utilisées pour atteindre les objectifs de cette organisation. En général, la littérature souligne la manière dont un système d information n est pas nécessairement automatisé, et donc lorsqu on veut identifier la composante technologique ou informatique du système, on se réfère au «système informatique». Comme on le verra par la suite, cette distinction est purement littéraire surtout en présence de systèmes avec d importantes quantités de données. Du point de vue statistique, bien qu il n existe pas de solutions organisationnelles, méthodologiques et technologiques uniques, on peut affirmer qu un SISI est «un système d information orienté vers la collecte, la mémorisation, la transformation et la distribution de l information statistique (UNECE, 2000). Il est donc évident qu il y a une importante différence entre les systèmes d information statistique et ceux des organisations. Ce qui différencie les SISI des Systèmes d information des organisations est leur fonction : les premiers sont conçus par rapport à un système organisationnel plus général qui constitue leur environnement de référence, les seconds sont définis non pas par rapport à un environnement, mais plutôt à leur fonction de support à une activité particulière : l analyse statistique des phénomènes 1. Parfois le terme système dans le domaine statistique est également associé à une unique collecte puis traitement et diffusion de données, par exemple une enquête statistique. En réalité, le concept de système statistique n est pas exclusivement lié aux nécessités d organisation de microdonnées (qu elles soient nombreuses ou pas) et à leur systématisation avec le recours à des structures de métadonnées qui en définissent la méthodologie (classifications ou nomenclatures) et la technologie (origines et localisation des données). Par rapport aux problématiques précédemment mises en évidence et que la statistique publique doit affronter, il ne suffit pas d identifier une organisation de l information plus structurée et documentée. En effet, la collecte des données statistiques d un INS suit d habitude la logique du un besoin d information une enquête. En présence d une demande d information toujours plus diversifiée et à une impatience des répondants envers la demande d informations, le contrôle et la coordination des enquêtes (en termes de microdonnées et de macrodonnées) sont particulièrement complexes et difficiles à réaliser s il n y a pas de culture d intégration. A cet effet, la logique de la 1 G. D Angiolini, G. Garofalo (1995) - Un sistema integrato di fonti di informazione sulle imprese: il SICIS. 4

5 production statistique doit devenir un besoin d information plusieurs sources 2, qui réussit à intégrer des informations, même partielles, provenant des enquêtes statistiques même celles qui ne sont pas directement liées à ce besoin d information spécifique et des sources administratives même si les données n ont pas en elles-mêmes une valeur statistique. Ce changement de logique nécessite un changement culturel dans les INS au niveau organisationnel, méthodologique, technologique et humain. Du point de vue organisationnel: ni l organisation par typologie de processus (enquêtes conjoncturelles ou structurelles sur les entreprises, ), qui a pour objectif de maximiser l efficience des processus, ni l organisation par homogénéité thématique (emploi, comptes économiques, ), qui a pour objectif de fournir des informations cohérentes, ne sont suffisantes. Il faut penser à une organisation du type matriciel qui, en plus de l efficience des processus, permette d identifier les environnements auxquels il faut étudier les contenus des l information statistique. Du point de vue méthodologique: l utilisation de plusieurs sources rend nécessaire la réalisation de nouvelles méthodologies statistiques. On peut penser à la nécessité de réaliser des systèmes de traducteurs qui, en partant des données disponibles (par exemple des données administratives ou une ou plusieurs variables statistiques liées à la variable d intérêt), produisent l information statistique nécessaire, ou à la nécessité d élaborer des estimations d agrégats statistiques à partir d échantillons non probabilistes d unités de la population de référence (par ex. sous-ensemble des unités pour lesquelles des données administratives sont disponibles). On peut enfin penser au problème lié à l évaluation de la qualité des données non strictement collectées à des fins statistiques. Du point de vue technologique: l architecture web et la diffusion logicielle pour utilisateurs permettent au statisticien d avoir des instruments puissants capables de traiter de grandes quantités de données sans le support de l informatique professionnelle, et présentent en même temps des problèmes majeurs liés à la sécurité et à la cohérence des informations collectées et diffusées. Il faut concevoir une structure technologique permettant de gérer de manière cohérente des processus à la fois décentrés et complexes et qui, sans limiter la liberté du statisticien d expérimenter et/ou de manipuler directement les données, le contraint à des systèmes qui garantissent la cohérence, l intégrité et la sécurité de ces données qui ne font plus partie du patrimoine du chercheur (ou de chaque statistique) mais du système d information plus général utilisé par plusieurs chercheurs ou plusieurs statistiques. Du point de vue culturel: le développement de systèmes d information intégrés nécessite le passage d une organisation fragmentée, dans laquelle l autonomie de chaque statisticien ou de chaque unité organisationnelle est sauvegardée, à une organisation intégrée, dans laquelle chacun, ou chaque statistique, dépend des autres ou des autres statistiques 3. Le saut culturel à effectuer par les statisticiens publics est de voir la réduction de l autonomie comme un plus grand développement de l interdisciplinarité, comme un meilleur partage du savoir et des informations disponibles. En résumé, une plus grande croissance du système et une meilleure efficacité et efficience de l INS. 1.2 Le système des métadonnées comme élément central du SISI Les processus de production et les systèmes de diffusion des statistiques publiques sont donc dans une phase de profonde révision. L enquête statistique cesse d être le principal instrument de collecte des informations, alors que d autres sources d information, avec des caractéristiques différentes et qui ne sont pas élaborées à des fins statistiques, deviennent toujours plus des inputs fondamentaux pour la production de l information. La donnée statistique devient toujours plus un produit déterminé par l intégration de plusieurs sources et les enquêtes statistiques tendent à prendre dans le 2 M. Calzaroni, E. Giovannini, A. Sorce (2000) Il sistema informativo sulle imprese dell istat: problematiche e potenzialità 3 A Sorce (2001) The impact of data warehousing on the management of statistical offices 5

6 temps toujours plus la fonction complétive de l information ne pouvant pas être tirée d autres sources et d évaluation de la qualité de l information statistique produite. La collecte de l information statistique devient donc un système mixte qu on peut nommer hybrid data collection 4. La caractéristique de ce système de collecte d informations statistique est l hétérogénéité et la variabilité des microdonnées d input : données fiscales, enquêtes statistiques, données comptables,.d autre part, le résultat final ne change pas par rapport à la collecte classique d informations statistiques : une matrice d informations qui a les unités en ligne et les variables en colonne. L approche intégrée ou systémique dans la statistique publique ne change pas le résultat final qui est celui d avoir une information statistique le plus complète possible avec la moindre erreur. Ce qui change c est l obligation d avoir un système de méta-informations non seulement lié à la description des données et des processus mais aussi et surtout au gouvernement du système plus complexe. Il faut noter que dans un SISI le terme métadonnée est fondamentalement différent du terme documentation : le premier peut être lu et utilisé dans le domaine des applications informatiques du système, dans le sens où le système de métadonnées fait partie intégrante du système informatique. De cette manière, la nécessité de définir les métadonnées annule les distinctions terminologiques précédentes entre système d information et système informatique. Les métadonnées ont souvent pour fonction d identifier la variable, d en donner la définition, d en définir le type (nombre, texte, ) et son unité de mesure, de définir les modalités associées, d identifier d autres informations (par ex. la source ou l enquête). Celles-ci sont appelées métadonnées générales associées à chaque variable du système. Par contre, les métadonnées spécifiques sont liées à l unité ou même au couple unité-variable. Ces métadonnées indiquent : la source de la donnée, si elle a été imputée (corrigée), les méthodes d imputation, la correction, l année de référence. En présence de sources externes non statistiques telles que les bases de données administratives, les métadonnées prennent une valeur particulière. Ceci s explique par le fait que lorsque des sources administratives sont utilisées, le statisticien se trouve souvent face à des informations qui ne sont pas directement exploitables. En plus des informations précédentes, on trouve aussi parmi les métadonnées relatives aux sources administratives les tables de traduction des modalités administratives en modalités statistiques et les formules avec lesquelles la variable administrative est traduite en variable statistique. De plus, il est d une importance capitale d associer un indicateur de qualité de la variable en général ou au couple unité-variable. On peut donc affirmer que les métadonnées sont destinées à élargir la capacité de compréhension, d interprétation et d utilisation des données à travers la connaissance du contenu informatif en termes de définitions adoptées, de systèmes de classification utilisés, de caractéristiques des processus de production qui les ont générés. La réalisation de Systèmes d information statistiques intégrés a pour première étape la constitution d un système unique de métadonnées consistant et non redondant dans lequel expliquer et résoudre le plus possible les incohérences en termes de synonymies et homonymies entre les différents systèmes. Dans la conception des processus d automatisation d un système d information, il pourrait être utile de définir un type différent de métadonnées, destiné essentiellement à expliquer la syntaxe des données élaborées et la sémantique des processus de traitement. La définition de ce type d information qu on pourra appeler métadonnées du type gestionnaire possède non seulement un objectif documentaire mais surtout opérationnel. L introduction de cette nouvelle typologie de métadonnées réside dans la nécessité de gérer des inputs qui ne sont pas stables dans le système. Les modifications qui peuvent se présenter au cours des années concernent les enquêtes statistiques (modifications des questions, des classifications, des définitions), et les sources administratives 4 P. Revière (2000) Hybrid data collection: toward a general tool for collecting information from heterogeneous sources. 6

7 externes (modifications de la législation, des pratiques administratives, des applications) ou l introduction de nouvelles enquêtes ou sources dans le système. Il y a également une différence dans la complexité de la gestion de ces modifications (celles dérivées des sources statistiques peuvent être gérées plus facilement, car elles sont produites dans le cadre de l organisation l INS propriétaire du système et des enquêtes), il existe toutefois un problème pour leur identification correcte et non coûteuse ainsi que pour leur insertion dans le système. L idée de fond est de définir un ensemble d informations qui fournissent, lorsqu elles sont interrogées par les processus de traitement et face à différentes caractéristiques physiques des données à traiter, les différentes règles de comportement avec pour avantages de minimiser l activité de support logiciel en présence de variations dans la structure physique des données traitées et de faciliter la réutilisation des mêmes fonctionnalités logicielles à différents moments d un même processus de production ou dans des processus de production différents. Un système de métadonnées du type gestionnaire se base sur la définition d une représentation formelle pour le système global de production et dont la structure peut être la suivante : MODULE Objet Description Fonction élémentaire réalisée par un unique programme. ETAPE Séquence indivisible de modules qui réalise une fonction complexe déterminée. PROCEDURE SOUS-SYSTEME ENSEMBLE DE TRAITEMENTS REGLES DE COMPORTEMENT Ensemble d étapes qui doivent être exécutées en séquence pour produire un résultat déterminé fixé à l avance. Ensemble de procédures qui concernent un même thème et qui ne sont pas séparables puisqu elles utilisent des données communes. Ensemble d informations concernant l organisation physique des données, le format des champs, les listes de variables, etc. Ensemble d informations concernant le type, la valeur, l emplacement physique des paramètres d input et d output de chaque module. 7

8 Schéma 1 : Système de métadonnées du type gestionnaire Sous-système Procédure Etape Ensembles de traitement Module Règles de comportement Données de production Chaque objet possède la relation est composé de... avec l objet hiérarchiquement successif et la relation est précédé par avec lui-même. L objet Module possède la relation doit agir sur. avec l entité Ensembles de Traitement qui contient la définition de la structure physique des Données de Production et avec des Règles de comportement qui définissent, en fonction des différentes caractéristiques physiques des inputs, où trouver les informations nécessaires pour son fonctionnement. L entité Module est également en relation avec les Données de Production à travers la relation du type (1, n) doit traiter... La définition d un ensemble de données descriptif du système de traitement peut être utilisé comme instrument de documentation du système en lui-même ou comme base d information pour son implémentation dans les systèmes de production, de procédures de contrôle et de gestion de la séquence des phases de traitement, de manière à rendre l utilisateur statistique complètement autonome dans la gestion du processus de production. 1.3 Les composantes du système Bien qu une schématisation générale des typologies de composantes d un SISI puisse être complètement arbitraire, étant donné que chaque système spécifique peut définir ses propres composantes, il semble opportun de mettre en évidence certains éléments essentiels pour la réalisation et la gestion du SISI, et en particulier d un système d information statistique sur les entreprises (SISE) Les composantes statistiques a) Classifications et définitions. Les concepts d unicité du système et cohérence de ses outputs, se basent essentiellement sur un système organique et unique de définitions et classifications. Donner des définitions différentes d entreprise produit une incohérence 8

9 dans les résultats des différentes enquêtes, tout comme l utilisation de classifications différentes qui conduit à la non comparabilité des données produites. Le système doit donc contenir un sous-système complet et unique : - De définitions des unités statistiques et des relations qui lient les différentes unités entre elles est très important. - De classification unique et si possible intégré on peut penser à des systèmes d intégration entre les classifications des activités et des produits et entre les différents systèmes des produits (commerce extérieur, statistiques sur la production). - De définition pour les principales variables qui peuvent être gérées par plusieurs enquêtes. On peut penser à toutes les définitions des employés (salariés/indépendants, à temps plein/à temps partiel, postes occupés par chacun, moyenne annuelle, etc.) b) Le Répertoire des unités. L élément central sur lequel repose un SISI est un Fichier exhaustif et mis à jour d unités statistiques d enquête (et pas nécessairement d observation) qui a la fonction de centre connecteur physique, pour chaque unité élémentaire à laquelle sont liées les différentes typologies d informations collectées, et de centre connecteur logique, puisqu il contient les méta-informations minimales nécessaires (définitions, classifications) pour la cohérence de tout le Système. Le répertoire est un instrument pour la constitution des listes de départ pour les enquêtes (target frame) et pour le tirage des échantillons (sampling frame). Il doit donc : Fournir une liste à partir de laquelle il est possible de tirer les listes d adresses pour le démarrage des questionnaires des enquêtes ; Fournir une population d unités de référence pour préparer des plans d échantillonnage efficaces et suivre les trajectoires individuelles des unités Fournir la base pour l extrapolation des résultats des enquêtes par échantillonnage sur l ensemble de la population Permettre d éviter des doublons et omissions durant la collecte des informations Garantir la convergence entre les résultats des différentes enquêtes. Dans le cas d un SISE, on aura donc un Répertoire National des Entreprises (RNE) c) Les sous-systèmes d enquête. Chaque enquête du système peut être considérée comme un sous-système du système d information global, avec ses propres spécificités et besoins. Un sous-système d enquête peut être déterminé par une série de données et processus propres à l enquête en question (questionnaire/saisie/contrôle/diffusion) ou peut lui-même être complexe car il utilise des données d autres sous-systèmes (sources administratives/autres enquêtes), en prévoyant dans ce cas des phases de prétraitement/intégration des différentes sources d input d) Les sous-systèmes de sources externes. Chaque source peut être pensée comme un unique sous-système avec ses propres structures de données et ses propres processus de traitement. En général, il est conseillé de prévoir une série de fonctions qui, en plus de l acquisition des données administratives, prévoient leur reclassification et traitement pour garantir un input homogène à tous les sous-systèmes d enquêtes qui les utilisent. Ces processus, certainement impossibles à développer pour toutes les variables d une source externe, doivent être garantis au moins pour les variables les plus importantes, afin d éviter des traitements statistiques différenciés qui causeraient une incohérence dans les résultats des différents sous-systèmes d enquête. e) Indicateurs de qualité. Dans le cadre du système d information, un sous-système important est celui des indicateurs de qualité. L importance de ce sous-système ne réside pas seulement dans la nécessité ou mieux, l obligation institutionnelle pour un INS de fournir de manière transparente des informations sur la qualité des données diffusées à 9

10 l utilisateur, mais plutôt pour la bonne gestion du système. Le système d information naît pour garantir une interaction entre les différents sous-systèmes de production (par ex. enquêtes conjoncturelles et structurelles, enquêtes sur le coût de la main-d œuvre et sur les comptes économiques) et donc sur la possibilité d utiliser des données d un sous-système pour un autre sous-système. Un système d indicateurs de qualité, attribués par exemple aux variables les plus importantes relevées par chaque enquête, est un instrument d une importance particulière pour évaluer la possibilité d utilisation d une variable déterminée produite par une enquête mais utilisée (par exemple dans les procédures de contrôle et correction) par une autre enquête. Ce système d indicateurs est encore plus important s il se réfère à des données tirées de sources administratives pour une utilisation correcte par les différents sous-systèmes d enquête. f) Fonctions de coordination. Dans le cadre des différentes fonctionnalités qui doivent être prévues par le système, les fonctionnalités relatives à la coordination entre les différents sous-systèmes revêtent une importance particulière. On peut par exemple se référer à la coordination des échantillons et à la coordination de la charge de réponse. La fonction de coordination des échantillons. Les méthodes de sélection coordonnée ont pour objectif de réduire le nombre d unités de la population de référence insérées dans au moins un des échantillons d une enquête à planifier, et donc de réduire le plus possible le nombre de contacts dans la population de référence, tout en gardant des estimations de l erreur d échantillonnage à un niveau acceptable. Ce sont des méthodes assez complexes et à l Istat il y a une phase expérimentation de l utilisation de la méthode MICROSTRAT, basée sur un algorithme de sélection coordonnée dans des microstrates spécifiques, définies sur la base de l intersection entre les stratifications standard adoptées dans le contexte de chaque enquête où l on veut appliquer la coordination des échantillons. Bien que ce soient des méthodes complexes (et il y a une phase d expérimentation de l utilisation de la méthode MICROSTRAT à l Istat) à concevoir et à réaliser elles doivent prendre en considération des exigences méthodologiques différentes selon les différentes typologies d enquête : conjoncturelles, structurelles, longitudinales leur fonction est très importante pour réduire la charge de réponse et par conséquent le nombre de non réponses totales causé par cette charge. La fonction de coordination sur la charge de réponse. La réalisation de cette fonction est bien sûr plus simple (et elle représente également un support pour la fonction précédente) : il s agit de définir un sous-système qui associe à chaque code les enquêtes où ce code est concerné et les résultats de l enquête (répondant/non répondant) ainsi qu une codification des motifs de la non réponse (unité en cessation, inconnue, adresse erronée, etc.). Il est évident que ce système permet de faire des analyses sur les charges de réponse des unités et sur la cohérence, évolution et raison de la non réponse, qui sont des informations de grande importance pour les décisions et les actions à entreprendre. De plus, il faut souligner l importance (pour toute la gestion du système) de l information sur le comportement différencié des répondants dans les comparaisons des différentes enquêtes ou celles des différentes typologies de collecte de données (questionnaire postal/enquête face à face/cati, etc.). Ces informations sont capitales pour une analyse correcte des coûts/bénéfices pour le choix du canal de collecte des informations g) Data warehouse. Le Data Warehouse permet d effectuer des analyses multidimensionnelles, en utilisant des informations mises à jour et agrégées à différents niveaux qui peuvent être visualisées et rapidement analysées par les utilisateurs à travers le navigateur web. Cet entrepôt de données doit être alimenté de manière automatique sans modifier la structure et les modalités de fonctionnement des systèmes d information sources des données et doit 10

11 aussi être finalisé. En plus de faciliter l accès aux informations, le DW de systèmes intégrés permet d effectuer des analyses transversales basées sur le croisement des informations à travers l identification des dimensions communes aux différents systèmes d information. De plus, s il est conçu et utilisé correctement, il permet de reconnaître des phénomènes et des tendances difficilement traçables à travers une analyse d une multitude de données désagrégées Les composantes informatiques a) Dotations technologiques. Les composantes informatiques de base matérielles et logicielles doivent être calées en fonction de la quantité de données à gérer, de la complexité informatique globale et des niveaux de prestation considérées suffisantes pour la gestion du système. b) Métadonnées. Telles que décrites précédemment (par. 7.2), les métadonnées sont la structure de base du SISI, car elles jouent trois rôles différents : expliquer les données en facilitant l utilisation, documenter les processus, permettre la réalisation de logiciels généralisés. On présente ci-après un système de classification des métadonnées : Métadonnées de sémantique des données Métadonnées de données statistiques - Métadonnées sur l enquête - Métadonnées générales (de la variable) - Métadonnées spécifiques (du couple unité-variable) Métadonnées de sources non statistiques - Métadonnées sur la source - Métadonnées générales (de la variable) - Métadonnées spécifiques (du couple unité-variable) Métadonnées de syntaxe des données Métadonnées sur les caractéristiques physiques des données Métadonnées descriptives des processus c) Processus. Désigne toute activité d interrogation et manipulation des données. Dans le cadre du SISI, les processus peuvent être distingués en processus spécifiques utilisés pour un soussystème d enquête déterminé et processus transversaux qui peuvent être utilisés par plusieurs sous-systèmes (tirage des échantillons, d appariement, de contrôle et correction). d) Interfaces. Ce sont des processus particuliers (pouvant être également distingués entre spécifiques et transversaux) qui facilitent la connaissance, l accès et la manipulation des données et des métadonnées du système aux utilisateurs statistiques. Étant donné que les interfaces peuvent également permettre la manipulation des données, leur développement doit être accompagné d instruments de contrôle et de récupération de l information d origine. e) Data Warehouse. D un point de vue informatique, le DW est constitué comme suit : Un système de métadonnées contenant la définition des objets et de la structure des classifications statistiques qui ont été désignées comme base pour les interrogations offertes aux utilisateurs à travers le DW. Un ensemble de procédures d ETL (Extract, Transform, Load) pour extraire, transformer et consolider des données à partir de sources hétérogènes dans une ou plusieurs destinations, elles-aussi éventuellement sur des plates-formes diverses. Une composante de données cibles organisées pour être directement accessibles à travers des composantes OLAP (On-Line Analytical Processing) et donc en utilisant 11

12 en ensemble de techniques logicielles destinées à l analyse interactive et rapide de grandes quantités de données. Une série d interfaces de sortie qui permettent l interrogation et la navigation dans le système. f) Gestion de la sécurité. Les politiques ayant pour objectif la sauvegarde de l intégrité logique et physique des données et des processus doivent être conçues attentivement afin de garantir, dans des environnements de forte intégration, que les ruptures qui surviennent dans une composante particulière ne se répercutent pas sur tout le système. De plus, la multiplicité des sujets pour lesquels l accès est admis implique une attention particulière au problème de la sauvegarde de la confidentialité, à travers une gestion attentive des autorisations d accès aux différents niveaux et sous-systèmes du SISE. g) Documentation. Le groupe de travail doit être composé de statisticiens et d informaticiens. Il est important d avoir une méthodologie pour la documentation qui soit partagée par tous les acteurs. Les documents doivent être centralisés, avoir un numéro de version et être accessibles à tous les participants au projet. h) Test. Une attention particulière doit etre portée sur les tests. L importance du projet nécessite d une grande rigueur dans leur gestion. Le groupe de travail doit disposer d une méthodologie et des outils adéquats pour gérer de manière optimale les phases de qualification et rédiger des rapports de test. objectifs. Le partage de la documentation permet ensuite de pouvoir vérifier la conformité avec les exigences fonctionnelles. 2. Le système d information des statistiques sur les entreprises de l INS Tunisie Les activités entamées au cours du jumelage ont permis de poser les bases pour la construction d un Système d information sur les entreprises (SISE) tout à fait cohérent avec les théories rappelées dans les paragraphes précédents. Les activités à réaliser sont toutefois encore nombreuses et complexes. A court terme, et donc dans le cadre du projet de jumelage, on a : Défini le nouveau système de classifications et nomenclatures Restructuré le répertoire statistique des entreprises (RNE) Restructuré l enquête ENAE, Défini les contenus d un système d information sur le commerce intérieur et étudié une nouvelle enquête spécifique sur ce secteur. Il faut développer, dans le moyen terme, - prochaines 2 ou 3 années - un ensemble d activités qui concernent la révision de l enquête sur les micro-entreprises et la rationalisation des autres enquêtes (en particulier les enquêtes conjoncturelles et d opinion), et d augmenter la quantité et la qualité des sources administratives (par exemple celles de la Direction Générale des Impôts) utiles pour accroitre le patrimoine informatif du SISE. De plus, le développement de parties générales du système doit être garanti : depuis le développement de procédures généralisées (utiles pour plusieurs parties du système) à la réalisation d interfaces appropriées, depuis la définition d indicateurs de qualité à la réalisation du système de coordination des échantillons et enfin à la réalisation du warehousing de diffusion des informations. Dans ce second chapitre, on mettra en évidence, dans le 1, la logique de réalisation du SISE (en partant de la logique de construction du RNE et en se référant plus particulièrement au soussystème des enquêtes) ; dans le 2, les composantes statistiques et informatiques réalisées dans le cadre du projet de jumelage ; enfin, dans le 3, certains éléments à réaliser à moyen terme et qui sont essentiels pour la construction du système. 12

13 2.1 La logique de construction du système Le processus d ingénierie du RNE possède toutes les caractéristiques de généralité et de flexibilité qui peuvent le rendre en centre logique du système. De plus, sa conception logique et conceptuelle peut être facilement étendue à tout le système Le nouveau système d information du Répertoire Statistique (RNE) Ci-après les éléments mis en évidence par le nouveau système du Répertoire, ceux-ci seront seulement présentés de manière générale, renvoyant à un document spécifique pour une analyse plus détaillée. Le schéma, reporté ci-dessous, a été réalisé par le groupe informatique de l INS en collaboration avec les experts Italiens. L objectif du projet a été de redéfinir complètement la structure et les contenus du RNE à travers la réalisation d une base de données centralisée et en même temps ouverte à l intégration de nouvelles sources et processus. La caractéristique de centralisation rend le RNE prêt à gérer la fonction de centre logique et physique de tout le SISE, en garantissant la cohérence interne de ce système. Sa construction ouverte garantit la flexibilité en présence de modifications dans le temps des inputs du Répertoire (nouvelles sources, modifications dans les sources), dans ses contenus (nouvelles unités et nouvelles variables), dans les fonctions et les processus. En synthèse, les nouveautés du système RNE sont : En termes de contenus du système - La gestion de méta-informations sur les données - La gestion de méta-informations sur les processus - La gestion de l historique des variations des informations En termes conceptuels - La centralisation des données - L utilisation systématique des métadonnées En termes technologiques - Oracle Administration - Cadre PHP pour l application on-line d interaction avec les données De plus, le système a été décomposé en plusieurs modules : Un Sous-système «Acquisitions brutes des donnée» Un Sous-système par source administrative Un Sous-système «Répertoire» Un Sous-système gestion des variations des données Un Sous-système de gestion des enquêtes Un Sous-système de gestion des appariements Cette conception ouverte et modulaire du système se base sur la définition et caractérisation de processus transversaux (non liés à chaque élément spécifique du système) et au développement de systèmes de métadonnées à travers lesquels se réalise la généralisation des processus. Cette approche suivie pour la réalisation du RNE peut garantir, de manière relativement simple et à partir du répertoire, la réalisation par modules successifs du SISE plus général. 13

14 Schéma 2 : Structure du RNE Répertoire National des Entreprises Répertoire Traitement des données Source CNSS Source DGI Source Tableur des variations Métadonnées Création BD des Sources Archivage historique des sources Enquêtes L extension à tout le SISE de l approche conceptuelle du RNE La structure conceptuelle du SISE est schématisée, de manière générale, dans la figure ci-dessous où les quatre méta sous-systèmes prévus sont mis en évidence : Le sous-système des inputs Le sous-système du répertoire Le sous-système de traitement statistique des données Le sous-système de diffusion Le sous-système des inputs représente l ensemble des données et des processus de gestion des inputs qu il s agisse de sources administratives ou d enquêtes statistiques. Plus particulièrement, cette structure met en évidence la manière dont chaque système des enquêtes est alimenté par un système complexe qui comprend, en plus des informations collectées sur les entreprises, également celles provenant de sources administratives et d autres systèmes d enquêtes. Ceci s explique par le fait que chaque système d enquête est pensé en tant qu ensemble d informations décrivant un phénomène déterminé, et ces informations peuvent être intégrées par plusieurs sources d information. On peut penser par exemple que l enquête ENAE peut être le résultat de l intégration des informations collectées (à l aide d un questionnaire statistique) auprès des entreprises, avec les informations déduites par exemple à partir des sources fiscales ou d autres enquêtes (EE) utiles pour l intégration des non réponses totales ou partielles. Dans le sous-système du répertoire, deux macro-fonctions sont représentées. La première est la fonction d alimentation du répertoire qui provient du sous-système précédent et qui prévoit l intégration de plusieurs sources (administratives et statistiques) pour la mise à jour, la deuxième est la fonction de gestion de la coordination des enquêtes, où deux éléments considérés fondamentaux sont mis en évidence : le système de coordination des échantillons et le système de gestion de la charge de réponse sur les entreprises. Le sous-système du traitement statistique des données représente toutes les activités liées au traitement statistique des données (contrôle, correction, imputation, estimation, tabulation) pour leur 14

15 diffusion. Une grande partie des fonctions de traitement sont transversales à tous les systèmes d enquêtes, par exemple les procédures de contrôle et correction ou celles d extrapolation à l univers, et doivent donc être en même temps généralisables (même procédure pour différentes enquêtes) et flexibles dans leur application spécifique à chaque enquête. Il est donc nécessaire de concevoir les procédures indépendamment des données d input tout en garantissant les spécificités des formules qui doivent être appliquées. Pour ce système, une fonction d intégration des microdonnées est introduite, celle-ci est pensée pour la diffusion d informations au niveau de corporate datawarehouse informations cohérentes et intégrées capables de donner une vision générale (de premier niveau) du système des entreprises de la Tunisie. Des informations plus détaillées et des spécifications pour chaque phénomène d étude pourront être diffusées à travers les datawarehouse de second niveau plus directement liés à chaque sous-système d enquête. L unicité et la cohérence du système est garantie, comme déjà discuté dans les paragraphes précédents, par deux sous-systèmes de gestion des métadonnées : le sémantique qui se réfère à la documentation des données et le syntaxique qui se réfère à la gestion des données et des processus. 15

16 Schéma 3: Structure du SISE Entreprises Système d alimentation des enquêtes Sous-système des sources administratives Sous-système des inputs Sous-système des enquêtes Métadonnées de syntaxe Système d alimentation Du RNE Traitement des données SOUS-SYSTÈME DU RÉPERTOIRE Intégration Répertoire Système de coordination des enquêtes Coord. des échantillons Charge statistique Métadonnées de sémantique Traitement des données Traitement des données Sous-système de traitement Statistique des données Intégration Corporate Datawarehouse Datawarehouse de second niveau Sous-système de diffusion 16

17 2.1.3 Précisions sur le sous-système des enquêtes Le sous-système des enquêtes sur les entreprises SISE peut être encore plus détaillé à travers le schéma ci-dessous. Dans ce schéma, on identifie séparément le système des indicateurs conjoncturels, le système des enquêtes structurelles sur les comptes des entreprises et enfin le système des enquêtes sectorielles (incluant dans celles-ci les enquêtes relatives à des aspects particuliers telle que l enquête EES). Les relations systémiques qui existent entre les indicateurs conjoncturels et les différentes enquêtes structurelles sont évidentes (les indicateurs pour intégrer/vérifier les enquêtes qui sont «l univers de référence» pour les variables de ces indicateurs). Dans les enquêtes sur les comptes des entreprises, on se réfère à l enquête ENAE actuelle, qui a été restructurée, et à l enquête MICRO qui devra nécessairement être annuelle dans le futur et qui doit prévoir une restructuration dans la lignée de la nouvelle ENAE. Schéma 4 : Le sous-système des enquêtes DGI Sources administratives CNSS Autres sources Ind. Annuels sur les comptes ENAE DIFFUSION Modules Pluriannuels Ind. Sectoriels Micro-entreprises EES TIC INDICATEURS CONJONCTURELS, SUR LES PRIX ET SUR LE MARCHE DE L EMPLOI Ind. Commerce intérieur 17

18 Le développement de nouvelles enquêtes sectorielles est une des exigences prioritaires de l INS. Ciaprès, on se réfèrera à la conception de la nouvelle enquête sur le Commerce Intérieur et sur la possibilité de développer à moyen terme des modules pluriannuels portant sur des aspects spécifiques pour l enquête ENAE (et à long terme pour l enquête MICRO) L utilisation de sources administratives est aussi un élément d une importance cruciale. L utilisation de données telles que les Etats financiers des entreprises est d une importance fondamentale pour réduire les coûts (et en partie la qualité) de l INS et avoir des ressources pour développer d autres parties du système. Au niveau de l INS, l unique source CNSS est largement exploitée (bien qu avec des problèmes importants de qualité 5 ). Malgré les problèmes dus à la qualité et à la couverture actuelles des sources administratives et ceux qui sont liés à des aspects légaux (possibilité d utiliser des sources fiscales) on considère qu il est fondamental de travailler dans une perspective de moyen/long terme qui prévoit une forte intégration (et même substitution pour certaines statistiques) des données administratives au moins pour la production d indicateurs structurels sur les entreprises L évolution du sous-système des enquêtes à moyen/long terme. Pour pouvoir mieux évaluer la situation actuelle et surtout les possibilités d évolution dont l INS devrait s inspirer dans les prochaines années, on peut se référer à la table1 ci-dessous, qui croise la typologie d indicateurs et les secteurs économiques de référence dans le cadre d un hypothétique et autant que possible schématique système d information sur les entreprises. Le schéma reporté dans la table 1 n inclut pas les enquêtes statistiques qui, bien qu elles portent sur des activités exercées par les entreprises, contribuent à alimenter des sous-systèmes d informations sectorielles sur des variables quantitatives spécifiques. On se réfère particulièrement aux secteurs des transports (transports aériens, transports maritimes, transports terrestres, transports par conduits) et du tourisme (nombre de clients arrivés dans les structures d accueil et nombre de nuitées, dépense touristique, etc.). Dans la table 1, on reporte en italique les indicateurs relatifs au même secteur de production pour lesquels un processus d intégration conceptuelle et méthodologique semble être utile pour la sélection des produits et/ou des entreprises à interroger. Plus particulièrement, on a mis en évidence en fond gris les enquêtes à consolider en priorité (à court ou moyen terme). La consolidation peut consister en la révision d enquêtes déjà existantes ou dans la planification de nouvelles enquêtes. 5 Voir le document L utilisation des données administratives a des fines statistiques 18

19 Table 1 : Indicateurs conjoncturels et structurels (colonnes), secteurs économiques de référence (lignes) et sources statistiques dans le contexte du SISI Indicateurs et domaines de référence Revenus mensuels Production mensuelle Emploi et autres variables liées mensuelles Prix à la production mensuels Revenus annuels Autres variables structurelles annuelles (dont l emploi) Production annuelle Données structurelles sur le commerce intérieur Innovation technologique Recherche et développement Opinions des entreprises Industrie Indice sur le chiffre d affaires (et commandes) (1) Indice de la production (1) Indice emploi (heures travaillées, salaires) (1) Indice des prix à la production (2) Enae (1) Microentreprises (1) Enae (1) Microentreprises (1) Prodcom (2) Enquête spécifique (3) Enquête spécifique (3) Enquête qualitative (2) Bâtiment Indice de la production (2) Indice emploi (heures travaillées, salaires) (2) Enae (1) Microentreprises (1) Enae (1) Microentreprises (1) Commerce intérieur Indice sur le chiffre d affaires (2) Indice emploi (heures travaillées, salaires) (2) Enae (1) Microentreprises (1) Enae (1) Microentreprises (1) Enquête spécifique (6 salariés et plus) (1) Autres services Indice sur le chiffre d affaires (3) Indice emploi (heures travaillées, salaires) (3) Indice des prix à la production (3) Enae (1) Microentreprises (1) Enae (1) Microentreprises (1) En italique : indicateurs à intégrer (plusieurs enquêtes se réfèrent aux mêmes indicateurs) En gras : enquêtes à intégrer (les enquêtes sont complémentaires en termes de couverture de l univers de référence). Le chiffre entre parenthèses indique le niveau de priorité attribué à l indicateur. En fond gris : les enquêtes auxquelles il faut donner la priorité dans le court-moyen terme.

20 Indicateurs conjoncturels Dans le détail, on peut noter premièrement que malgré que les économies les plus développées soient caractérisées depuis au mois 15 années par le phénomène de la tertiarisation et donc par le déclin progressif du poids de l industrie par rapport à la valeur ajoutée nationale il faut établir un ensemble d indicateurs relatifs à l industrie permettant d étudier les aspects suivants : 1) La dynamique conjoncturelle (mensuelle) de la production industrielle ; 2) La dynamique conjoncturelle des prix des produits industriels ; 3) La mesure annuelle des quantités de produits industriels manufacturés, par typologie. La troisième source est un input pour les deux premières pour le catalogage des produits industriels et pour leurs poids (à utiliser pour la pondération des indices élémentaires). Au niveau conjoncturel, même l enquête mensuelle sur le chiffre d affaires (et les nouvelles commandes) dans l industrie présente des motifs évidents de superposition logique et informative avec l indice de la production industrielle, même si la dynamique des revenus peut suivre des évolutions qui ne sont pas similaires (mais tout de même corrélées) par rapport à celle de la production industrielle. En second lieu, les autres secteurs de production devraient faire l objet d un monitoring conjoncturel : pour cette raison, il faut prévoir des indices (mensuels ou trimestriels tout au plus) qui mesurent comme le fait l indice du chiffre d affaires industriel l évolution des revenus du commerce intérieur et d au moins quelques autres services (transports, tourisme, services destinés aux entreprises). Pour le secteur du bâtiment, on peut supposer un indice (mensuel ou trimestriel) qui estime la production de ce secteur. Concernant les indicateurs sur le marché de l emploi, même dans les instituts statistiques les plus avancés (Europe du Nord, Etats-Unis) ceux-ci proviennent normalement de l intégration entre plusieurs sources statistiques. Les indicateurs reportés dans la table 1 représentent uniquement quelques-uns de ces indicateurs. Il reste important de disposer d un système d information qui, comme clé de la conjoncture, permette le monitoring de l évolution de l emploi et des salaires, au moins pour les entreprises de grande taille et, aspect d une importance fondamentale, pour tous les secteurs de production et non pas seulement pour l industrie. Il faut rappeler qu il existe actuellement une enquête de grande importance pour la typologie d informations qu elle collecte : c est celle sur l emploi et les salaires, qui relève également le nombre d heures travaillées et qui se réfère aux entreprises de 6 salariés et plus. On sait que dans la situation actuelle, les données provenant de cette enquête ne sont pas du tout considérées satisfaisantes. Toutefois, dans l objectif de pouvoir intervenir avec des actions d amélioration même dans ce contexte, on retient que toutes les informations sur le marché de l emploi parallèle ou additionnelles par rapport à celles qui sont collectées par l ENAE et par l enquête sur les micro-entreprises doivent être prises en considération, avec la contrainte évidente qu avant leur utilisation dans un système d information, il faudrait évaluer attentivement leur niveau de qualité. Indicateurs structurels Les indicateurs de type structurel se référant aux états financiers, à l emploi, aux investissements, aux profits et à d autres informations sur la manière dont les entreprises gèrent leur activité sont déductibles de l enquête ENAE (entreprises de 6 salariés et plus) et éventuellement de l enquête sur les micro-entreprises (entreprises de moins de 6 salariés), qui équivalent à la version tunisienne des enquêtes sur les comptes des entreprises et sur les petites et moyennes entreprises existantes en Europe. On détaillera ces enquêtes dans ce qui suit. C est seulement après avoir fixé la production des indicateurs cités ci-dessus qu il sera possible d approfondir des thèmes d une importance stratégique tels que les activités de recherche et développement exercées par les entreprises et, surtout, l introduction de l innovation technologique. Pour ces thèmes, il existe en Europe depuis quelques années des enquêtes spécifiques. Toutefois, on