Une dynamique normative au service

Transcription

1 MÉTHODES ET OUTILS Une dynamique normative au service du cœur de métier «La normalisation a pour objet de fournir des documents de référence comportant des solutions à des problèmes techniques et commerciaux concernant les produits, biens et services qui se posent de façon répétée dans des relations entre partenaires économiques, scientifiques et sociaux*». Pourquoi un objectif apparemment aussi clair semble-t-il aussi complexe à mettre en œuvre? En quoi la pertinence des normes ou standards dépend-elle étroitement de la participation des utilisateurs? L exemple du CNES. * Extrait du décret n du Le CNES poursuit un travail de longue haleine en faveur de la normalisation pour les projets spatiaux. Ce travail fait partie intégrante de sa politique de management par la qualité, confortée par l obtention en septembre 2005 d un certificat ISO 9001:2000 unique. Pour certaines activités, le système de management du CNES fait appel à des référentiels documentaires (achats, ventes, ressources humaines, management de projet). La gestion de ces référentiels s'appuie sur des principes fondateurs : simplifier, mutualiser, harmoniser. Le référentiel de management de projet, appelé "Référentiel Normatif du CNES" ou "RNC", applique ces principes. Simplifier : pour avancer plus vite et ainsi réduire la durée des projets. Mutualiser : pour ne pas réinventer des documents déjà largement éprouvés par ailleurs. Harmoniser : afin que tous les acteurs européens, voire internationaux, impliqués dans le domaine spatial, parlent un même langage et se comprennent mieux. Si le CNES dispose aujourd hui d un référentiel de management de projet, ce résultat prend ses sources très en amont, comme le rappelle Jean-Claude Bénech, coordinateur des activités de normalisation au CNES : «Chez nous, la structuration et la standardisation des exigences applicables aux projets remontent à une trentaine d années. C était l époque pionnière où, pour conduire les programmes spatiaux, nous avions perçu la nécessité de mettre en place un certain nombre de documents de management de projets. Lors du lancement du programme Ariane par exemple, le CNES avait formalisé des exigences nouvelles ayant trait aussi bien au management (organisation, modes de fonctionnement) qu aux règles de qualité (traitement des anomalies, sélection et réception du matériel) ou encore aux spécifications générales de conception (coefficients de dimensionnement et de tests, etc.). Cet ensemble d'exigences s'est enrichi au cours du temps grâce à l'apport d'autres grands projets spatiaux tels que celui du satellite Spot». Les industriels interviennent dans le débat : «Il faut standardiser!» Un peu plus tard (à la fin des années 80), une nouvelle impulsion sera donnée à la normalisation lorsque les industriels sensibiliseront les grands donneurs d'ordre européens -essentiellement les agences spatiales- sur la nécessité d améliorer et de rationaliser les pratiques de management. En effet, avec la disparité des exigences en vigueur d une agence spatiale à l autre, répondre aux appels d offre devenait pour eux un véritable casse-tête conduisant à des dérapages calendaires et financiers pénalisant l ensemble de la chaîne. L harmonisation des spécifications, sur lesquelles se fondent les appels d'offres et les contrats de développement, apparaissait bénéfique pour tout le monde -agences spatiales et industriels- et devenait nécessaire et urgente. Cette demande a conduit à la création d une instance réunissant les agences et les industriels européens du secteur spatial, l ECSS (European Cooperation for Space Standardization). Celle-ci a pour mission d'établir un ensemble cohérent de standards destinés à servir de spécifications générales communes à l'ensemble des projets spatiaux. 22 > q u a l i t é e s p a c e n 4 3 Mars/March 2006

2 METHODS AND TOOLS Increasing standardisation of our core activity The purpose of standardisation is to provide reference documents containing solutions to technical and commercial problems concerning products, goods and services which arise repeatedly in the course of relationships between trading, scientific and social partners*. Why is such an apparently obvious objective so difficult to achieve? In what way does the relevance of the norms or standards depend on the close participation of the users? Here's how it works at CNES. * Translation of an extract from French government decree No dated CNES is engaged in a long-term effort for standardisation in Space projects. This task is an integral part of the CNES "management through quality" policy, which bore fruit when it was awarded single ISO 9001:2000 certification in September For some activities, the CNES Management System refers to a set of standards (for Procurement, Sales, Human Resources or Project Management). These standards are based on the basic principles of simplifying, sharing and harmonising. The set of management specifications, called the "CNES Standards" (RNC for Référentiel Normatif du CNES), applies these principles: Simplify, in order to progress faster and reduce the life cycle. Share, to avoid reinventing documents that have already been widely tested. Harmonise, to ensure that all players in the field, whether European or international, speak the same language and understand each other fully. Today CNES has a complete set of standards for project management. This is the result of work which began a long way back, as Jean-Claude Bénech, CNES standardisation co-ordinator, reminds us: Here at CNES we have been identifying and standardising requirements for project management for around 30 years. Those were the early days, when we realised that to manage space programmes a certain number of project management documents had to be published. At the time when the Ariane programme was undertaken, for instance, CNES formalised various new requirements for management (organisation and procedures), quality rules (dealing with anomalies, selection and acceptance of equipment) and general design specifications (sizing and testing coefficients, etc). This set of requirements was reinforced as time went by thanks to the contributions of other major Space projects such as the SPOT satellite programme. Industry makes demands: "We need standard practice" Standardisation was spurred on a little later (at the end of the '80s) when the major manufacturers convinced the European first level customers (meaning essentially the Space agencies) of the need to improve and rationalise management practices. They were finding that the different Space agencies were applying different requirements which was making it very difficult for them to reply to calls for tender without scheduling and financial overruns creeping, in that were prejudicial to the entire chain. Since calls for tender and the resulting development contracts depend on specifications, it was clear that they had to be harmonised for all participants (Space agencies and manufacturers) and that this was indeed not only indispensable but urgent. This pressure led to the creation of an umbrella organisation for the agencies and manufacturers of the European Space sector, the ECSS (European Co-operation for Space Standardisation). Its mission is to establish a coherent set of standards that can be used as general specifications for all Space projects. 23 >

3 MÉTHODES ET OUTILS Une dynamique normative au service du cœur de métier Pour revenir à l échelle du CNES, après une première étape où les corpus de spécifications de programmes ont été développés indépendamment -les lanceurs d un côté, les systèmes orbitaux de l autre-, la nécessité de disposer d un référentiel unique s est imposée naturellement. D où l avènement du Référentiel Normatif du CNES (RNC). «Aujourd hui, estime Georges Vallet, responsable du pôle fonction politique qualité méthodes et normalisation au CNES, même s il n est pas complètement achevé, le RNC est parvenu à un point de maturité suffisant pour constituer la majeure partie des exigences générales applicables à tout programme spatial : petit ou gros satellite, véhicule orbital, lanceur». Pour recevoir, il faut savoir donner Alors, pourquoi ce coup de projecteur sur la normalisation, si tout va bien? Parce qu il faut maintenant passer à la vitesse supérieure. Cela signifie réussir l étape essentielle de l appropriation du référentiel par les centaines d utilisateurs concernés. Ils doivent non seulement assimiler les documents et savoir se repérer dans un référentiel de normes, mais en plus avoir le réflexe de l enrichir à chaque fois que le besoin en est identifié, en améliorant la rédaction des normes ou en en proposant de nouveaux documents. Il faut néanmoins rester conscients qu entre le top départ (date à laquelle une évolution normative est suggérée) et la ligne d arrivée (date à laquelle la modification intégrera effectivement le référentiel), le processus se boucle plutôt en 24 mois qu en 48h chrono... En effet, les impacts du moindre changement sont tels que de multiples vérifications doivent impérativement être menées avant de modifier quoi que ce soit. En outre, toute modification ne peut être introduite qu'après avoir obtenu le consensus de l'ensemble des acteurs, ce qui conduit souvent à de longs débats. Au CNES par exemple, quel est le circuit d une demande d évolution normative? D une manière simplifiée, dès qu une Fiche d Expression de Besoin (FEB) remonte du terrain, le Bureau de Normalisation déclenche une enquête pour en évaluer la pertinence. Si l avis est globalement favorable, un responsable (expert) se voit confier la mission de rédiger l évolution souhaitée. Après avoir formalisé ce que l on attend de lui, cet expert prendra nécessairement le temps de consolider son texte en échangeant avec de nombreux interlocuteurs, rompus comme lui au domaine concerné, afin d'obtenir un consensus général. Il présente ensuite le fruit de son travail au Bureau de Normalisation. Des réglages sont en général nécessaires avant d aboutir à la version finale qui, une fois acceptée par le Bureau de Normalisation, devra ensuite être approuvée par le Comité Directeur de Normalisation. Pour toutes ces raisons, il n'est pas surprenant que la boucle totale de l évolution d un standard puisse s'étendre sur une période relativement longue, malgré la meilleure volonté affichée et mise en œuvre par l ensemble des acteurs. Concilier délai et dynamique Pourrait-on faire plus court? Difficile et peu probable, car il est nécessaire de maîtriser de nombreuses interfaces entre les divers processus en interaction mis en œuvre dans le management de programmes complexes ou sensibles, à l instar de celui du retour en vol d Ariane 5. Ces délais ne doivent cependant pas nuire à la dynamique que le Bureau de Normalisation cherche à impulser autour de cet «organe vivant» qu est le RNC. Notons aussi que ce Bureau met un point d honneur à tenir informé l auteur initial d une FEB jusqu à son terme. D autre part, le champ d application (géographique, métier, etc.) des normes ne cessant de s étendre, le nombre de ses interfaces augmente en conséquence : répondre au mieux à ces impératifs justifie pleinement de prendre toutes les précautions utiles avant de «graver dans le marbre» l évolution pressentie. CNES / Manuela DUPUIS, 2005 Zoom sur le Bureau de Normalisation du CNES Faciliter sans jouer les censeurs Au CNES, le Bureau de Normalisation joue un rôle essentiel au sein du dispositif de management du référentiel normatif. Comment sa responsable Brigitte Vergé appréhende-t-elle cette mission? Le Bureau de Normalisation fait-il la pluie et le beau temps sur le référentiel? Non. Ce n est pas dans cet esprit que le Bureau œuvre en faveur de la performance du référentiel. Notre position centrale nous permet d abord de jouer un rôle de coordination du travail d amélioration continue des normes en vigueur au CNES. Il faut à la fois être à l écoute des utilisateurs, intégrer leurs remarques, développer et entretenir un réseau actif d experts pour conduire les projets d amélioration. Concernant ce double-axe, ce sont notamment les 5 correspondants normalisation (cf. page 26) qui, en tant que membres non permanents du Bureau, jouent sur le terrain un rôle-clé d animation. D autres missions telles que celles de rendre compte de la progression globale des activités de normalisation auprès du Comité Directeur de Normalisation, ou encore d intégrer les documents normatifs produits par les nombreuses instances externes au CNES, restent placées sous la responsabilité des membres permanents du Bureau. C est pourtant le Bureau qui valide les suggestions d évolution émises par les experts et les utilisateurs Bien sûr. Mais cette décision est le fruit d un dialogue étroit avec les experts ou les utilisateurs à l origine d une demande d évolution, et non d un processus de décision unilatéral. Lors de nos réunions mensuelles, ces contributeurs 24 > q u a l i t é e s p a c e n 4 3 Mars/March 2006

4 METHODS AND TOOLS Increasing standardisation of our core activity In the early days at CNES a different corpus of specifications had been developed independently for each programme (launchers on the one hand, orbital systems on the other), but it soon became clear that we needed a unified set of standardisation documents. This is why CNES established its set of standards (RNC). Today, says Georges Vallet, who is in charge of quality policy for methods and standardisation at CNES, even though it isn't altogether complete, the RNC has reached a degree of maturity that means it covers almost the full spectrum of general requirements applicable to any Space programme: small or large satellites, orbital vehicles, launchers etc. To keep documentation relevant, feedback is needed So - why put the spotlight on standardisation now, if everything is going so well? Because we now need to change up a gear. The next vital step is to ensure that the CNES set of standards is adopted by the hundreds of users concerned. They not only need to assimilate the documents and find their way around the set of standards, they also need to develop the reflex of enriching them every time they identify some new need, by enriching the documents or by suggesting new documents. It should be borne in mind however that the period between the initiating of a process (the date when some change to the standards is suggested) and its completion (the date when the change is finally integrated into the CNES standards) is closer to 24 months than to 48 hours. As the slightest change can affect many other aspects of the standards, multiple verifications are required before any modifications can be finalised. Not only that, but modifications cannot be introduced until a consensus has been found, which often requires a lot of discussion. As an example, let us describe, as simply as possible, how requests for change are handled at CNES. As soon as someone in the field submits a statement of needs form (FEB or Fiche d Expression de Besoin), the Standardisation Bureau initiates an inquiry to evaluate its relevance. If the general opinion is in favour, a manager with the appropriate expertise is appointed to write the desired change. After putting the initial requirements into writing, the expert will need to bring his text into line with the opinions of several other contacts, experts in the field concerned, in order to achieve a general consensus. He then submits his work to the Standardisation Bureau. It A few adjustments usually have to be made before drafting a final version that the Bureau can submit for approval to the Internal Standardisation Steering Board. This is why it should come as no surprise that the complete circuit for standard modifications can take a relatively long time, despite the goodwill and co-operation of all the players concerned. Balancing caution and responsiveness Could this process be speeded up? It would be difficult and is not very likely, considering the need to ensure successful interfacing between the various procedures involved when complex or sensitive management programmes are implemented, such as Ariane 5's return to flight programme. It is important that this long-drawnout procedure not slacken the dynamism that the Standardisation Bureau strives to impart to the RNC as a "living organism". It should also be noted that the Bureau prides itself on keeping the initiator of any FEB informed throughout its life cycle. At the same time, the fields where standards apply are constantly expanding (new users and new skills etc.) which means that the number of interfaces increases proportionately: so before any modifications become "carved in stone" all necessary precautions should be taken to ensure that the needs of the system are satisfied. A closer look at the CNES Standardisation Bureau Enabling, not censoring The CNES Standardisation Bureau plays an essential role in managing the standards documents. Bureau Manager Brigitte Vergé explains her view of its mission. Does the Standardisation Bureau lay down the law for standards? No. That isn't how the Bureau goes about making standards more efficient. Our central position enables us to play a co-ordinating role to facilitate the constant improvement of standards employed at CNES. We must listen to what users have to say and take note of their comments, while developing and maintaining an active network of experts to lead improvement projects. This consensusbuilding mission is performed principally by the five standardisation correspondents (the non-permanent members of the Bureau, (see page 26) who act as facilitators in the field. The permanent members, for their part, are responsible for other missions such as reporting to the CNES Standardisation Steering Board on overall progress in standardisation activities or integrating the standards produced by the other organisations outside CNES. Nevertheless it is the Bureau, isn't it, that validates requests for changes submitted by the experts and users? Of course. But these decisions are the result of intense discussions with the experts or users who initiated the change request, and not of a unilateral decree. At our monthly meetings, these contributors come along to defend their requests and explain their reasons and we all analyse and assess new input for as long as necessary before reaching a consensus. We are 25 >

5 MÉTHODES ET OUTILS Une dynamique normative au service du cœur de métier Qui fait quoi au Bureau de Normalisation du CNES? Membres permanents Jean-Claude Bénech : coordinateur des activités de normalisation Brigitte Vergé : responsable opérationnelle Pascale Snini : responsable de la gestion du RNC et de l antenne normes Membres non permanents (correspondants normalisation) Chantal Pellizoni (DSI), Claude Bezou (DLA) et Stephan Lagalie (CSG) : ingénierie, qualité, management Franck Durand-Carrier (DCT) : ingénierie Daniel Lacroix (DCT) : qualité et management. Pour en savoir plus, contacter au CNES l'inspection Générale Direction de la Qualité, à l'adresse suivante : normalisation@cnes.fr CNES / Manuela DUPUIS, 2005 viennent nous exposer leur dossier, leurs motivations et nous en débattons tous ensemble le temps nécessaire, avant de prendre une décision collégiale reflétant le consensus. Nous ne sommes pas des censeurs qui, retranchés dans leur tour d ivoire, feraient ainsi la pluie et le beau temps sur l évolution des normes. Une telle attitude mettrait immédiatement en péril le système entier, car il se déconnecterait à coup sûr des réalités vécues sur le terrain par les utilisateurs et les experts. Au CNES, nous avons la chance de disposer d un réseau de près d une centaine d experts, dont l un des rôles est d accompagner sur le terrain la mise en œuvre des normes dans les projets. Le Bureau s est fixé comme ligne de conduite de les encourager à consacrer du temps à l enrichissement du référentiel, et non de les démotiver. Votre Bureau ne se réunit qu une fois par mois et le comité directeur trois fois par an : des jalons aussi espacés ne sont-ils pas de nature à émousser la dynamique de la normalisation? Non, car en réalité, entre deux jalons, nous multiplions les points de contact informels, de telle sorte que les décisions sont prises au fil de l eau, sans attendre la prochaine grande réunion. Ces points de rencontre officiels jouent plutôt un rôle de «revue de production» permettant d afficher une photographie à un instant donné de l ensemble de l avancement. Les membres permanents du bureau de normalisation du CNES. De g. à d. : Pascale Snini, Brigitte Vergé, Jean-Claude Bénech. Permanent members of the CNES standards bureau. From left to right, Pascale Snini, Brigitte Vergé and Jean-Claude Bénech. Normalisation : pourquoi est-ce un enjeu majeur pour le CNES? Le CNES adhère totalement aux objectifs essentiels de la normalisation : «réduction des coûts et maîtrise des risques». Cette démarche est en totale cohérence avec la culture d entreprise du CNES, reconnue par l obtention récente (septembre 2005) de la certification ISO 9001:2000, et par la formalisation en avril 2005 du Manuel de Management du CNES (SMC). S inscrire dans la ligne de la normalisation spatiale européenne et internationale, permet au CNES : - de conserver la maîtrise de l évolution de sa culture, en orientant le contenu des documents qui seront appelés dans ses contrats, afin d éviter que cette évolution ne soit subie comme la conséquence de textes établis par d autres organismes associés aux activités de normalisation ; - de renforcer sa participation active à la construction de l Europe spatiale ; - d accroître sa crédibilité et d avoir une plus large ouverture vers l extérieur et d améliorer la reconnaissance qu il en retire ; - de renforcer et de maintenir sa capacité à manager les grands projets spatiaux ; - de garantir la cohérence de l ensemble des normes qui sont imposées aux industriels. Source : «Doctrine du CNES en matière de normalisation» - document approuvé en 2003 par le Président du CNES, Yannick d Escatha 26 > q u a l i t é e s p a c e n 4 3 Mars/March 2006

6 METHODS AND TOOLS Increasing standardisation of our core activity CNES / Manuela DUPUIS, 2005 Who does what at the CNES Standardisation Bureau? Permanent members Jean-Claude Bénech: Co-ordinator for Standardisation Activities Brigitte Vergé: Operations Manager Pascale Snini: RNC and Standards Unit Manager Non-permanent Members (standardisation correspondents) Chantal Pellizoni (DSI), Claude Bezou (DLA) and Stephan Lagalie (CSG): engineering, quality, management Franck Durand-Carrier (DCT): engineering Daniel Lacroix (DCT): quality & management. For further information, contact CNES Inspectorate general for quality, at: normalisation@cnes.fr not censors ensconced in some ivory tower who lay down the law for the standardisation process. That sort of attitude would immediately endanger the entire system, because it would be sure to distance the Bureau from the reality of life in the field as experienced by users and experts. At CNES, we are lucky enough to have a network of almost one hundred experts, one of whose roles is to ensure that standardisation is implemented in projects on the ground. The Bureau's policy is to encourage them to devote time to enrich the standards documents and not in any way to discourage them. The Bureau meets only once a month and the CNES Standardisation Steering Board. three times a year: don't such widely spaced meetings tend to reduce the efficiency of the standardisation process? No, because in fact between two meetings we organise multiple informal contacts, so that decisions are taken as matters progress, without waiting for the next major meeting. The official meetings are more akin to production-reviews, providing a spot report of how things are progressing overall. Standardisation: why is it of major importance for CNES? CNES is fully committed to the basic objectives of standardisation: "cost reduction and risk management". This approach is entirely compatible with CNES company culture, as recognised by the recent awarding to CNES (September 2005) of ISO 9001:2000 certification and by the publication in April 2005 of the CNES Management Manual (SMC). Aligning itself with European and international standardisation practices enables CNES to: - keep control of the way its own company culture may evolve in the future, by adapting the contents of documents to which reference may be made in its contracts, so that any evolution should not be due to texts established by other standards organisations; - reinforce its active participation in the European Space effort; - increase its credibility in the eyes of the outside world, broaden its contacts with other partners and so improve its image in the Space community; - reinforce and maintain its capability to manage major Space projects; - guarantee the coherence of the total set of standards imposed on manufacturers. Source: 'Doctrine du CNES en matière de normalisation' [CNES policy on standardisation]- document approved in 2003 by CNES President, Yannick d Escatha 27 >

7 MÉTHODES ET OUTILS Une dynamique normative au service du cœur de métier Questions à Georges Vallet (CNES) responsable du pôle fonction politique qualité méthodes et normalisation En remplissant une telle fiche, n importe quel utilisateur peut exposer une requête en vue d un changement dans le référentiel. Dès lors, il y a deux possibilités. Soit cet utilisateur se déclare compétent pour rédiger lui-même une proposition de texte. Soit ce n est pas le cas, ce qui conduit le Bureau, après avoir validé la pertinence de l expression de besoin, à identifier un expert pour proposer et mettre au point la rédaction. Que souhaiteriez-vous que le lecteur retienne de cet enjeu de la normalisation? D une part, intégrer le fait que les référentiels normatifs sont avant tout des supports vivants et évolutifs : l objectif poursuivi est qu ils reflètent au mieux les pratiques observées sur le terrain. D autre part, je souhaiterais qu il retienne que la pertinence des référentiels normatifs dépend directement de l implication de ceux qui l utilisent au quotidien. C est à eux qu il revient de faire remonter les imperfections qu ils détectent ou de suggérer les pistes d amélioration, ou encore de faire part des nouveaux besoins des projets. Et comment un utilisateur ou un expert peuvent-ils faire entendre leur voix? Au CNES, ils peuvent utiliser les Fiches d Expression de Besoin (FEB) prévues à cet effet. CNES / Olivier PASCAUD, 2005 Une fois la FEB communiquée au Bureau, son auteur ne risque-t-il pas de subir ce qu on appelle «l effet boîte noire»? Non, car même si le processus de retouche ou de création d une norme est souvent long, compte tenu par exemple de la complexité technologique impactée, cet utilisateur sera tenu informé de l avancement des travaux. Les utilisateurs qui émettent des FEB sont souvent des experts dans leur domaine. Ce rôle d expertise, qui leur prend du temps, est-il officiellement reconnu au CNES? Tout à fait. A chaque fois qu un expert est pressenti pour rédiger un texte, il est officiellement missionné par sa hiérarchie et ce travail de contribution à la normalisation est d ailleurs inclus dans la description de poste des experts. Il faut savoir que la rédaction d un document de cette nature peut nécessiter plusieurs mois de travail, inclure la participation à des réunions de normalisation à un niveau européen ou international, etc. Cette contribution essentielle des experts à l amélioration continue du RNC est donc officialisée, au même titre que toute autre publication réalisée pour le compte du CNES. Propos recueillis par Hervé de la Giclais 28 > q u a l i t é e s p a c e n 4 3 Mars/March 2006

8 METHODS AND TOOLS Increasing standardisation of our core activity Questions to Georges Vallet (CNES), who is in charge of policy for quality methods and standardisation What would you particularly like readers to remember about the importance of standardisation? For one thing, that standards are above all living and evolving management tools: our aim is that they should reflect as closely as possible what goes on in the field. At the same time, I should like readers to remember that the usefulness of standards documents depends directly on the contribution of those who use them from day to day. We count on them for feedback on any imperfections they may detect and for suggestions on how to improve them, or to let us know about new requirements arising in the projects. How can users or experts go about making their comments heard? At CNES, they can use the statement of needs forms (FEBs) designed for this purpose. By filling in one of these, any user can submit a request for a change to the CNES standards. From that point on, two things can happen. Either the user declares that he can write the new text himself, or, once the statement of need has been found to be relevant, the Bureau nominates an expert to draft the new text. Users who submit FEBs are often experts in their fields. Is their role as standards experts, which can take up a lot of their time, officially recognised by CNES? Absolutely. Every time an expert is nominated to write a text, he is officially mandated by his superiors; in any case this contribution to standardisation is included in the experts' job descriptions. Writing a document of this nature can take several months, involving standardisation meetings at European or international level, etc. This essential contribution by experts to the continual improvement of the RNC is therefore quite official, just as it would be for any other publication produced on behalf of CNES. recorded by Hervé de la Giclais Once the FEB has been submitted to the Bureau, isn't there a danger of its author losing track of it completely? No, because however long it may take to modify a standard or to create a new one, depending on such things as the technological complexity of the areas affected, the user will be kept informed of the progress made. 29 >

9 MÉTHODES ET OUTILS Aide à la décision : quels outils, pour quoi faire? Les décisions stratégiques d orientation, comme l arbitrage entre projets ou le dépouillement d appels d offres, mettent en jeu un grand nombre de paramètres. Si la modélisation idéale d un environnement décisionnel est aujourd hui inaccessible, et que la création de systèmes experts "décideurs" ne semble pas souhaitable, le recours à des outils et méthodes d aide à la décision contribue en revanche à maîtriser les risques. Des experts de l AFAV (Association Française pour l Analyse de la Valeur), dont la vocation est de promouvoir la recherche décisionnelle, ont analysé plusieurs outils et méthodes disponibles. En voici la synthèse Take Stock, Inc. Le CNES a décidé d enrichir le choix de ses outils d aide à la décision, et de rendre leur utilisation plus performante. A terme, il souhaite disposer à la fois d une panoplie pertinente d outils et/ou de méthodes d aide à la décision et d un ensemble de recommandations pour optimiser leur mise en œuvre efficace. Les domaines d application sont essentiellement ceux de l arbitrage entre projets et du dépouillement des appels d offres. Les méthodes présentées peuvent utilement compléter et préparer les dernières étapes de la prise de décision, dont les éléments d arbitrage peuvent être présentés sous forme de matrices synthétiques de type "atouts attraits" (en vigueur au CNES). La pertinence d un outil ou d une méthode d aide à la décision peut être évaluée selon trois critères : > la validité scientifique de la démarche > la fiabilité des résultats, > l adaptation aux besoins opérationnels d une étape décisionnelle particulière. De fait, si les nombreux outils logiciels existants sont assez peu utilisés en France, c est plus souvent, semble-t-il, en raison d une inadaptation au contexte et aux modalités de la décision, que pour des motifs de validité scientifique. La complexité d une décision au profil multicritères C est toujours en "jugeant" les différents compromis possibles, à la lumière des apports et des risques, que le décideur effectue ses arbitrages. Dans le monde industriel, le profit ou le rendement peuvent apparaître comme le critère prépondérant de toute décision. En réalité, il s'agit souvent d'un problème complexe et le décideur doit intégrer un ensemble de critères qu il voudrait optimiser de façon concomitante. Paradoxalement, dès que le problème de décision est multicritères, il n y a plus de solution parfaite possible! Or, l immense majorité des décisions à prendre ont à la base un contexte multicritères. Vous vous apprêtez à acheter une voiture? Vous allez la choisir en fonction du prix, du confort, de la consommation d essence, de la capacité du coffre, de la revente du véhicule, etc. La difficulté, c est que les critères sont souvent contradictoires les uns envers les autres : comme vouloir à la fois une voiture puissante, mais qui ne consomme pas beaucoup? Plus ou moins consciemment, vous allez donc appliquer un cœfficient d importance à chaque critère, pour parvenir à sélectionner le véhicule dont le «bouquet de qualités» vous paraîtra présenter le compromis le plus satisfaisant. Aucune solution particulière ne peut maximiser tous les critères simultanément, en raison de leur caractère contradictoire. Il faut alors envisager des décisions de meilleurs compromis parce que, pour chaque critère particulier, il y a de bons et de mauvais choix. L objet de l analyse multicritères est d'alimenter la réflexion du décideur dans sa recherche des meilleurs compromis. Parmi les solutions qui se présentent, les outils d analyse permettent la plupart du temps de déboucher sur des solutions de type dominées ou non. Si elles sont de type dominées, cela veut dire que, assez rapidement dans l analyse, la notation 30 > q u a l i t é e s p a c e n 4 3 Mars/March 2006

10 METHODS AND TOOLS 2003 Take Stock, Inc. Decisionmaking aids: Which tools and what for? When it comes to strategic decisions for future orientation such as arbitration between projects or comparative analysis of tenders, a large number of parameters come into play. While ideal modelling of decision-making environments is still a long way off and while it does not seem to be a good idea to create expert systems to make the decisions for us, decision-making support tools and methods can still help reduce risks to a minimum. Experts at the AFAV (the French association for value management) whose mission is to promote research into decision-making, have analysed several of the tools and methods currently available. Here is a summary of their findings. CNES has decided to extend its range of decisionmaking support tools and to ensure that they are used more efficiently. It aims to acquire both an appropriate range of decision-making support tools and/or methods and to draw up recommendations for their best use. The main fields in which they would be used are arbitration between projects and comparative analysis of tenders. The methods described here can be particularly useful in preparing and supplementing the final stages of decision-making, for which arbitration elements can be presented in the form of succinct matrices of the "Advantages/Attractiveness" type (as used at CNES). The relevance of decision-making support tools or methods can be determined by answering three questions: > Is the approach scientifically valid? > Are the results reliable? > How well does the method match the needs at a particular stage in the decision making process? While the many software tools available are little used in France, it would seem that this is more often because they are poorly adapted to the context and the procedures employed than because of doubts as to their scientific validity. The complexity of decision-making with multiple criteria A decision-maker always makes his choice by selecting one of many possible trade-offs in the light of the advantages and the risks. In the world of industry, profit or productivity might appear to be the primary criterion behind any decision. In reality, the problem is often a complex one and the decision-maker is obliged to take account of a whole set of criteria and would like to make a decision that is optimum for all of them. Paradoxically, there can be no perfect solution to a multi-criteria decision problem! Now, the overwhelming majority of decisions to be taken are set in a multi-criteria context. Thinking about buying a car? If so, you would make your choice according to price, comfort, petrol consumption, boot capacity, resale value, etc. The problem is that the criteria are often incompatible with each other: for instance if what you want is a powerful car with low petrol consumption! Almost unconsciously, you would weight each criterion, to allow you to chose the vehicle whose set of advantages' would seem to you to represent the most satisfactory compromise. No solution can maximise all the criteria simultaneously, precisely because they are often contradictory. This means falling back on a best-compromise decision because, for each individual criterion, there are both good and bad choices. The aim of multi-criteria analysis is to stimulate the decision-maker s thought processes in his search for a best compromise. Amongst the solutions offered, analysis tools mostly lead to solutions of the dominated or non-dominated type. If they are of the dominated type, this means that the score obtained by one of the possible solutions sets it off from the others early in the analysis. If this is not the case, it will be necessary to use more and more refined analysis tools until one of the solutions finally stands out. This is how multi-criteria decision-making support tools can help to keep the process moving forward when several points of view, 31 >

11 MÉTHODES ET OUTILS Aide à la décision : quels outils, pour quoi faire? obtenue par l une des solutions potentielles se détache nettement par rapports aux autres. Si ce n est pas le cas, il conviendra d utiliser des outils d analyse encore plus fins jusqu à ce que l une des solutions se détache enfin. Ainsi, l aide à la décision multicritères fournitelle des outils permettant de progresser lorsque plusieurs points de vue, souvent contradictoires, doivent être pris en compte. Le décideur étant "humain", ses choix vont dépendre de ses préférences. L'aide va consister à modéliser ces choix ou préférences. Deux approches principales émergent actuellement : > la première, par agrégation totale, appelée "Théorie de l utilité multi-attributs ou du critère unique de synthèse". Elle évacue toute incomparabilité ; > la seconde, par agrégation partielle, appelée "Méthode de surclassement", accepte l incomparabilité (existence d'ex aequo). L'approche fondée sur la théorie de l'utilité multi-attributs D inspiration américaine, elle consiste à agréger différents points de vue en une fonction unique que l on va optimiser. Le principe est le suivant : tout décideur essaye de maximiser une fonction, appelée fonction d utilité (U), qui agrège tous les points de vue à prendre en compte. Il s agit d estimer cette fonction en posant des questions judicieuses au décideur. Cette approche proscrit des solutions ex aequo. Les méthodes comme la moyenne ou le produit pondéré, les comparaisons par paires (AHP), etc., appartiennent à cette famille. Par exemple, dans le cadre d un dépouillement d appel d offres où des critères d évaluation ont été pré-déterminés, cette approche américaine pondère les notes attribuées à chaque critère avant de les ramener à une note moyenne globale. Donc, à l heure du choix entre plusieurs possibilités, ces notes moyennes seront comparées entre elles. Cette approche américaine est notamment 32 > q u a l i t é e s p a c e n 4 3 Mars/March 2006 caractérisée par son côté compensatoire : même si une très mauvaise note a été affectée sur un critère, un projet peut garder toutes ses chances d être choisi si ses notes sont excellentes sur les autres critères. (cf. ci-contre) L approche fondée sur le surclassement non compensatoire D inspiration européenne, cette méthode a pour objectif de comparer des actions ou alternatives (programmes) afin de construire et d exploiter une relation de surclassement qui représente les préférences du décideur à partir de l information dont il dispose. Contrairement à l approche américaine qui privilégie la comparaison des moyennes obtenues par chacune des alternatives possibles, cette approche européenne compare les alternatives critère par critère, en faisant émerger les dominants des uns par rapport aux autres. En quelque sorte, elle va prôner la situation suivante : «Il me sera impossible de surclasser les autres si j obtiens la moindre note en-deçà d un certain seuil, sur un critère». Autrement dit, vous avez le droit de perdre un match de foot, mais sans encaisser trop de buts! Eviter toute note éliminatoire, comme cela se pratique souvent au niveau des épreuves d examen. Un projet peut obtenir une très bonne notation moyenne, mais s il a, ne serait-ce qu une seule mauvaise note sur un critère, il n a plus aucune chance d être dans le casting final. (cf. page 34) La robustesse multicritères Quel que soit le modèle, la méthode ou l outil préconisés, le choix du décideur, ou encore la modélisation des préférences, il est primordial de s'assurer de la stabilité des solutions retenues en fonction des fluctuations extérieures. Pour cela, il convient d évaluer la robustesse de la décision. Celui qui prépare une prise de décision doit donc prendre en compte deux types de robustesse : Les méthodes multi-attributs Par comparaison par paires On compare deux à deux les actions en estimant leur rapport d importance : la note ou le poids attribué à chaque action est calculé à partir des comparaisons élémentaires de la matrice de comparaison. Une méthode de comparaisons par paires comme le Tri Croisé de Monte-Carlo, développée par F. Limayem et B. Yannou, permet de prendre en compte l imprécision et l incertitude relatives aux comparaisons, d autoriser les décideurs à exprimer des avis différents (méthode «multi-décideurs») et fournit un résultat même lorsque toutes les comparaisons n ont pas été évaluées. ou relevant de la «logique floue» Elles se développent également, à l instar des trois méthodes suivantes : la moyenne pondérée ordonnée (OWA, Ordered Weighted Averaging) proposée par R. R. Yager. Dans cette approche, seul l ordre des poids est retenu, et non l affectation des poids aux critères. Des quantificateurs linguistiques sont aussi utilisés pour proposer un ensemble de meilleurs compromis au décideur. Choquet & Sugeno ont développé des intégrales floues dans le même principe que les opérateurs OWA. La méthode des Rough Sets, développée par Z. Pawlak, basée sur les ensembles approximatifs ou "Rough", est utilisée dans le cadre de l analyse multicritères. Son principe? Extraire un échantillon d actions ou d alternatives (programmes soumis à l'arbitrage par exemple) et les faire classer par un expert. Ce classement constitue une "mesure" des préférences que l on va convertir en règles de préférence et de non-préférence, sous forme de code binaire. Ce profil décisionnel est alors appliqué à l ensemble des actions de la population, afin de définir des zones de préférences, grâce à un calcul de score. Ainsi, le décideur peut faire son choix final et définir ce qu il est préférable de faire.

12 METHODS AND TOOLS Decision-making aids: Which tools and what for? often contradictory, need to be considered. Since the decision-maker is only human, his choices will be influenced by his preferences. It is by modelling these choices or preferences that these methods can help. There are two principal approaches in use today: > the first, using total aggregation, is known as Multi-Attribute Utility Theory (MAUT) or the Single Criterion Approach. It removes all incomparability; > the second, by partial aggregation, known as the "Outranking Method", accepts incomparability (the existence of equal rankings). The Multi Attribute Utility approach Developed in America, this approach consists in aggregating different points of view into a unique function which is then optimised. The principle is as follows: the decision-maker attempts to maximise a function, called the utility function (U), which is an aggregate of all the points of view to be taken into account. The idea is to determine this function by asking the decision-maker the right questions. This procedure excludes equal rankings. Methods that include averaging, weighted products, or the Analytic Hierarchy Process of pairwise comparison (AHP), all belong to this family. For example, if we take the case of the comparative analysis of tenders where evaluation criteria have been pre-determined, this American approach gives a certain weighting to the scores of each criterion before these scores are averaged out. Then, when it comes to choosing between several possibilities, these average scores are compared. One aspect of this American approach is its ability to compensate: even if a project receives a very low score on one criterion, it retains every chance of being selected if it gets high scores on other criteria (see right hand column). The outranking with noncompensation approach This European method compares actions or alternatives (for instance alternative programmes) in order to build up and exploit an outranking relationship representing the decision-maker s preferences based on the information available. Whereas the American approach favours comparison between the average scores obtained by each of the possible alternatives, the European approach compares the alternatives criterion by criterion, bringing out the dominant features of each one as compared to all the others. It is as if each project said to itself: I won t be able to outrank the others if I obtain any score below a certain threshold, for a given criterion. In other words, you are allowed to lose a soccer match, as long as not too many goals are scored against you! The aim is to avoid any disqualifying score, just as when taking exams. A project may obtain a very high average score, but if it also gets a really bad score on one criterion, then it has no hope of being short-listed (see page 35). Multi-attribute robustness Whichever model, method or tools is used, whatever the decision-maker chooses and however the preferences are modelled, it is indispensable that the solutions retained remain stable however external factors may change. This can be achieved by evaluating the robustness of the decision. Anyone preparing a decision-making process must therefore take two types of robustness into account: > decision-maker robustness. This depends on changes in the decisionmaker s orientation or preferences, usually due to changes in context (technico-economic, social, political etc.). Does the final decision depend on who is making the decision? In other words, if we change the people, do we change the way potential solutions are analysed? This is rather like taking a blood sample: the result should be the same whichever nurse handles the syringe. Even if two nurses don t stick the needle into precisely the same place on the vein, human factors should make no difference to the final result. This kind of robustness takes into account the decision-maker s behaviour and his way of thinking, in a given (and changeable) context; Multi-attribute methods Pairwise comparison methods Actions are compared in pairs to assess their ranking in importance: the score or the weighting assigned to each is calculated from the primary comparisons made using the comparison matrix. A pairwise comparison method such as Monte Carlo Pairwise Comparison, MCPC (Tri Croisé de Monte-Carlo), developed by F. Limayem and B. Yannou, can take account of imprecision and uncertainty about the comparisons, allow decisionmakers to express different opinions (the multi-decision-maker method) and come up with a result even when all the comparisons have not been evaluated. Fuzzy logic methods These are also becoming popular, as seen in the three following methods: Ordered Weighted Averaging (OWA) proposed by R. R. Yager. In this approach, only the order of the weightings is retained, and not the weightings assigned to the criteria. Linguistic quantifiers are also used to provide the decision-maker with a set of best compromises. Choquet & Sugeno have developed fuzzy integrals that work on the same principle as OWA operators. The Rough Sets method, developed by Z. Pawlak, based on approximate or Rough sets, is used in multi-criteria analysis. It works by extracting a sample of actions or alternatives (programmes submitted for arbitration, for example) that an expert then classifies. This classification measures the preferences, which are then converted into rules of preference and non-preference, in binary code. These decision-making profiles are then applied to the actions of the population, in order to define the areas of preference, using a scoring procedure. In this way the person making the final decision can choose the best way to proceed. 33 >

13 MÉTHODES ET OUTILS Aide à la décision : quels outils, pour quoi faire? Les méthodes de surclassement Électre Cette méthode consiste à comparer deux à deux les actions possibles selon les critères retenus, affectés d'un poids «pk» et d'un ou plusieurs seuils (indifférence, veto, préférence ). Le classement des actions est obtenu à partir du calcul des indices de concordance et de discordance. Prométhée Elle complète la méthode Électre en calculant la différence, appelée bilan de flux "entrants" et "sortants", entre une action et une autre. La notion de poids des critères et de seuils (préférence forte, faible ou stricte, indifférence ou de veto) est plus ou moins largement prise en compte selon les outils utilisés. Autres méthodes Une équipe de chercheurs canadiens (K. Zaras and al.) a intégré à la méthode des bilans de flux issue de la méthode Prométhée, la prise en compte des indices de concordance et de discordance de la méthode Électre. Une équipe composée de chercheurs européens (Multiple Criteria Decision Aid) se réunit deux fois par an afin de partager et diffuser ses recherches sur ce thème. > la robustesse décisionnelle. Elle est fonction des changements d orientations ou de préférences du décideur, généralement dus à des modifications contextuelles (technicoéconomiques, sociales, politiques, etc.). La décision finale est-elle tributaire du profil du décideur? Autrement dit, si on change les hommes, quelle influence cela aura-t-il sur l analyse des solutions potentielles? C est un peu comme une prise de sang : on doit pouvoir changer d infirmière sans en dénaturer le résultat. Même si les deux infirmières ne piquent pas exactement le même endroit de la veine, ce facteur humain n a pas d incidence sur le résultat final. Cette robustesse prend en compte le comportement du décideur et son mode de raisonnement, dans un contexte évolutif donné. > la robustesse procédurale. Elle est fonction des méthodes de classement ou outils utilisés (Rough sets, bilan des flux ou autres méthodes). Il s agit d évaluer la robustesse par rapport au modèle choisi, aux grandeurs mesurées ou modélisées. Elle dépend du mode de calcul. La robustesse devra être abordée par comparaison de résultats obtenus avec différents outils disponibles. Autrement dit, je vais confronter mes solutions potentielles avec plusieurs méthodes de comparaison : si c est toujours la même solution qui émerge, on peut en déduire que le contexte de décision bénéficie d une robustesse procédurale satisfaisante, ce qui est bien entendu plus sécurisant pour la décision à prendre. Dans tous les cas, il s agit de connaître la probabilité, le risque de passer d une zone optimale ou des meilleures solutions, à un mode dégradé. Ces robustesses se matérialisent par une distance entre la forme dégradée de la décision et le bord des zones de faisabilité (de Pareto, par exemple), des compromis ou des préférences. Il s agit d estimer, d évaluer ou de mesurer une probabilité, une possibilité de dépassement de cette décision par rapport au bord de la zone optimale. Cette probabilité de dépassement pourra, dans certains cas, être considérée comme un nouveau critère à prendre en compte dans l évaluation d une note globale. la méthode des abaques colorés Utilisée en milieu médical, mais également en collectivités territoriales et dans l industrie, la méthode des abaques colorés se déroule en trois phases : vote, tri des votes et débat. Ce dernier intervient à partir des résultats des votes obtenus, présentés sous forme de grilles colorées. Concrètement, comment cela fonctionne-t-il? On émet des affirmations, puis, une par une, on fait réagir les contributeurs, au moyen d une palette de cinq niveaux d appréciation (vert : tout à fait d accord, jaune : mitigé, rouge : pas d accord du tout, blanc : neutre, noir : refus de vote). A l issue d un premier tour de table sur, par exemple, l affirmation «ce projet sera rentable», il peut ressortir le résultat suivant : 3 verts, 1 rouge, 1 blanc. Ce résultat brut est affiché de façon lisible au moyen d un classement décroissant des votes, de gauche à droite, puis de haut en bas. Au vu du résultat d ensemble, on donne la possibilité à l ensemble des contributeurs de débattre des points de dissension, avant de confirmer ou nuancer le jugement initial. A chaque nouveau tour de table, on obtient donc des résultats qui affinent progressivement le consensus sur l appréciation finale à retenir. Cet outil présente l avantage d être très pédagogique, communicant et concret, sans toutefois offrir la même rigueur scientifique que d autres outils. Le vote multi-décideurs Des liens forts existent entre l aide multicritères à la décision et d autres domaines de recherche tels que la théorie du choix social, les procédures de vote, les théories des ensembles flous, la négociation et les systèmes experts. Le vote multi-décideurs intéresse également les experts du multicritères, surtout lorsque les préférences des décideurs sont contradictoires (cf. ci-dessous). 34 > q u a l i t é e s p a c e n 4 3 Mars/March 2006

14 METHODS AND TOOLS Decision-making aids: Which tools and what for? Outranking methods Électre This method consists in comparing the possible actions pairwise according to chosen criteria, weighted by a value pk and one or more thresholds (indifference, veto, preference etc.). Rankings are obtained by calculating the indices of concordance and discordance. Prométhée Prométhée goes further than Électre by calculating the difference between two actions based on the Net Flow when input and output are taken into account for each action. The notions of weighting criteria and thresholds (strong, weak or strict preference, indifference or outright veto) is accorded more attention by some tools than by others. Other methods A team of Canadian researchers (K. Zaras et al.) has supplemented Prométhée s Net Flow method by also taking account of Electre s concordance and discordance index method. The European Multiple Criteria Decision Aid team of researchers meets regularly twice a year to share and disseminate its work on this theme. > procedural robustness. This depends on the tools or classification procedures used (Rough Sets, Net Flows or other methods). It involves evaluating the robustness with respect to the chosen model and the dimensions measured or modelled. It depends on the calculation method used. The robustness should be approached by comparing the results obtained with the different tools available. In other words, potential solutions should be compared with each other in several ways: if the same solution always comes out on top, we can conclude that the decision-making context is sufficiently robust as far as procedure is concerned, which is of course good news for the decision to be made. In all these cases, it is necessary to know the probability, the risk, of slipping from an optimal area or best solutions into a degraded mode. These degrees of robustness can be plotted as a distance between the degraded form of the decision and the edge of the feasibility area, compromises or preferences. This involves estimating, evaluating or measuring the probability or possibility of the decision going beyond the frontiers of the optimal area. This probability of overrunning the frontiers could, in certain cases, be considered as a new criterion to be taken into account when evaluating the overall score. Multi-decision-maker voting There are strong links between multi-attribute decision aids and other fields of research such as social choice theory, voting procedures, fuzzy set theories, negotiation and expert systems. Multidecision-maker voting is also of interest to multiattribute experts, particularly when the decisionmakers preferences are contradictory. It is important to note that with this type of voting involving several decision-makers, the average of the results obtained using the aggregation method is meaningless. It satisfies no one and has little chance of being put into practice. In reality, there are three possible cases: 1- the classification methods reveal groups with different behaviour and their preferred solutions are noted; The coloured chart method This method is used in medical circles but also by local authorities and industry: the coloured charts are used in three phases: voting, sorting the votes and the ensuing debate. This last phase commences once the results of the voting are known, shown as coloured squares on a chart. How does it work in practice? Certain positions are stated and then each contributor is invited to give his reactions using a palette of five degrees of approval (green: in complete agreement; yellow: uncertain; red: in complete disagreement; white: neutral; black: abstention). After a first round of reactions to a statement such as this project will be profitable, there might be three greens, one red, one white. This rough and ready result is posted up for all to see arranged by decreasing number of votes, from left to right and then from the top down. A view of the overall result gives all contributors the possibility of debating the points of disagreement, before confirming or modifying their initial judgement. Each subsequent round therefore draws the discussion closer to a consensus on the final decision to be agreed. This tool has the advantage of being highly instructive, communicative and down-to-earth, though it does not really allow for the same scientific rigour as the other tools. 2- all participants are requested to agree on the elements of the preference model, which means agreeing to a single model and therefore treating a multi-criteria problem as though it were a monocriterion one; 3- the preferences of each decision-maker are modelled in order to bring forth the best decision. In this case, it is useful to quantify group synergy and the consistency of each decision-maker in order to be able to suggest ways of improving the quality of the decision. 35 >

15 MÉTHODES ET OUTILS Aide à la décision : quels outils, pour quoi faire? Le contexte de la décision complexe en entreprise Arbitrage Vous êtes amenés à prendre des décisions d arbitrage en entreprise, c est-à-dire, face à un ensemble d alternatives, soit il vous faut : a. Choisir la meilleure alternative b. Classer ces alternatives c. Leur attribuer une importance relative Manque d informations Imprécision Vous êtes embarrassé, car il vous manque des informations et vous devez prendre une décision immédiate sur des bases qualitatives et sur des bases incertaines. Trop d alternative à comparer Vous êtes embarrassé, car le nombre d alternatives vous apparaît important pour prendre une décision claire. Prise de décision collégiale Vous êtes embarrassé, car l arbitrage doit se faire en groupe et que toute décision difficile en groupe est généralement conflictuelle, pourtant : d. Vous savez que vous n êtes pas le seul à avoir l expertise. e. C est un gage de réussite future si le groupe prend une décision collégiale. Traçabilité de la décision Vous êtes embarrassés, car il faut de plus en plus laisser une trace des décisions en entreprise et que : f. Vous pensez qu il est impossible de laisser une trace après une réunion houleuse. g. Vous ne désirez plus être le seul à assumer les conséquences néfastes quand plusieurs experts se sont engagés. [D après un logiciel de tri croisé de Monte-Carlo, par Bernard Yannou] il est important de noter que dans le cadre de ce type de vote impliquant plusieurs décideurs, la moyenne des résultats obtenue grâce aux méthodes d agrégation n a pas de sens. Elle ne satisfait personne et a peu de chances de correspondre à une possibilité effective. En réalité, trois cas de figure se présentent : 1- les méthodes de classification font apparaître des groupes comportementaux distincts et on indique leur solution préférée ; 2- on demande à tous de se mettre d accord sur les parties du modèle de préférence, ce qui revient à se mettre d accord sur un seul modèle et donc de traiter le problème multicritères d une manière monocritère ; 3- on modélise les préférences de chaque décideur et on essaie de faire émerger la meilleure décision. Dans ce cas, la mesure de synergie du groupe et les mesures de cohérence propres à chaque décideur sont intéressantes pour proposer des leviers d amélioration de la qualité de la décision. Maîtriser la qualité d un processus décisionnel Qui décide? } Phase amont Sur quoi? Cadrer la décision, éliminer les biais. Comment? Phase de délibération Appropriation Hiérarchiser les critères, Hiérarchisation } pondérer les résultats, débattre entre Evaluation décisionnaires et experts, apprécier la robustesse Débat des décisions, Ajustement ajuster les modèles. Phase d ajustement } Bilan du processus Faire le bilan et capitaliser, Evolution ajuster le processus, adapter les critères. Phase préparatoire { Décrire objectivement les objets à décider, valider et ajuster la métrique. Phase de décision Faire la synthèse et { examiner les impacts, prendre une décision et la formaliser, communiquer sur les attendus. Description Cotation Validation Synthèse Simulations Décision Communication 36 > q u a l i t é e s p a c e n 4 3 Mars/March 2006

16 METHODS AND TOOLS Decision-making aids: Which tools and what for? Complex decision-making in a company context Arbitration In business, you are often required to arbitrate, in other words, when confronted with a set of alternatives you can either: a. choose the best alternative; b. categorise the alternatives; c. assign each alternative a relative degree of importance. Lack of information - Imprecision You re troubled, because you lack information and you need to take an immediate decision based on qualitative and uncertain criteria. Too many alternatives to compare You re troubled, because you seem to have too many alternatives to let you make a clear decision. Collegial decision-making You re troubled, because the arbitration needs to be conducted by a group and any difficult decision in a group usually causes conflict, however: d. you know you re not the only expert involved; e. if the group can reach a consensus it will improve the project s chances of success. Decision traceability You re troubled, because it s becoming increasingly necessary to leave a record of how decisions are reached in business and: f. you think it s impossible to leave a complete record of a stormy meeting; g. you don t want to be the only one to carry the rap when in fact several experts were involved. [From a Bernard Yannou s presentation about a tri croisé de Monte-Carlo software] To sum up Controlling the quality of a decision-making process Multi-criteria decision aids go beyond the simple choice of a family of tools or techniques for aggregating preferences. The choice of the expert or experts, the gathering of information or knowledge concerning the solutions to be evaluated, the modelling of the expert s preferences, the suggestion of alternatives regarding the best compromises and the evaluation of the solutions proposed are all indispensable stages which have to be handled with care. There are several software solutions on the market today: Descriptor (by Adexys), Tcmc (by Mk Tools), Promcalc (Prométhée Calculations) and Decision Lab 2000 for the Prométhée method (developed by the Centre for Statistics and Operations Research), Expert Choice (marketed by Decisionmaking support Software and based on the AHP method - Analytic Hierarchy Process), Decision Pad (by Apian Software), Microqualiflex, etc. Who decides? } Preliminary phase Define the framework What about? for the decision, How? eliminate bias Appropriation Deliberation phase Prioritise the criteria Prioritisation Evaluation Debate Adjustment Evaluating the process Evolution } } Weight the results Debate between decisionmakers and experts Assess the robustness of the decisions Adjust the models Process adjustment phase Evaluate the completed procedure and learn from the experience. Adjust the process, adapt the criteria Preparatory phase { Provide an objective description of the decisions to be taken Validate and adjust the metrics Decision phase Summarise { recommendations and examine the impacts Take a decision and formalise it Publish comments and explanations Description Scoring Validation Synthesis Simulations Decision Communication 37 >

17 MÉTHODES ET OUTILS Aide à la décision : quels outils, pour quoi faire? 2003 Take Stock, Inc. En résumé L aide multicritères à la décision ne porte pas uniquement sur le choix d'une famille d outils ou de techniques d agrégation des préférences. Le choix du ou des experts, le recueil des informations ou connaissances en rapport avec les solutions à évaluer, la modélisation des préférences de l expert, la proposition des alternatives des meilleurs compromis et l évaluation des solutions proposées, sont des étapes indispensables et délicates. Actuellement, des logiciels divers et variés sont commercialisés : Descriptor (de Adexys), Tcmc (de Mk Tools), Promcalc (Prométhée Calculations) et Decision Lab 2000 pour la méthode Prométhée (développés par le Center for Statistics and Operations Research), Expert Choice (commercialisé par Decision Support Software et basé sur la méthode AHP - Analytic Hierarchy Process), Decision Pad (par Apian Software), Microqualiflex, etc. Au-delà de la dimension "Boîte à outils", l aspect opérationnel repose sur le respect de deux conditions : > les responsables amenés à utiliser ces outils doivent être formés ; > un meneur de jeu (facilitateur?) doit assurer non seulement le soutien méthodologique, mais veiller aussi à la coordination des travaux et s assurer de la cohérence des sources d informations. Ceci, bien entendu, sans interférer dans la perception et l interprétation des experts en charge de l instruction. Ces deux conditions contribuent à ce que les points de vue, classements et autres évaluations qui sont pris en compte pour les décisions finales, soient les plus robustes possibles. Dans les synthèses ou consolidations de points de vue, le facilitateur doit veiller à la réalité des perceptions, au-delà de la simple dimension arithmétique des cotations. Si besoin est, il devra rappeler les domaines de compétences des évaluateurs afin de mieux positionner les points de vue affichés. Enfin, il est important de rappeler que les outils ne sont qu une aide à la décision et ne doivent en aucun cas se substituer à la prise de décision. Les utiliser avec excès conduirait à tuer dans l œuf la part d audace qui fait la réussite d un projet, lequel reste une aventure au sens noble du terme - ambitieuse, dont le résultat final est par nature aléatoire. Le rôle du décideur final, l arbitre appelé à prendre la décision, reste donc fondamental et les outils ne sont là que pour lui permettre d acquérir la vision la plus lucide des forces et faiblesses de son projet. Son but est de s élever à la «juste hauteur» pour voir les choses dans leur ensemble : ni de trop haut pour ne pas perdre le contact avec la réalité, ni de trop bas pour ne pas non plus garder le «nez dans le guidon». Par Djemil Chafaï (consultant CETEGE), Pierre Moriceau (consultant - PM Management), Jean Renaud (maître de conférences à l ENSGSI-INPL Nancy) et Bernard Yannou (maître de conférences / Laboratoire de Génie Industriel, École Centrale Paris) Avec l assistance de Hervé de La Giclais 38 > q u a l i t é e s p a c e n 4 3 Mars/March 2006

18 METHODS AND TOOLS Decision-making aids: Which tools and what for? Apart from this tool-box aspect, successful use of such tools requires that two conditions be met: > the managers who are to use these tools must be trained to do so; > there must be a facilitator not just to provide methodological support, but also to ensure that the procedure is coordinated correctly and that the sources of information are consistent and reliable. It goes without saying that these tasks should in no way interfere with the perception and interpretation of the experts involved in the process. These two conditions help to ensure that the points of view, classifications and other evaluations taken into account for the final decisions are as robust as possible. When summarising or consolidating the points of view, the facilitator must ensure that perceptions are realistic, beyond the purely arithmetical dimension of the scoring. If necessary, he should remind participants of which evaluators are most qualified in which fields so that publicly-stated opinions can be more finely appreciated. Lastly, it is important to remember that these tools are only an aid to decision-making and should not be allowed to usurp the role of the actual deciders. Overuse could lead to stifling any daring initiatives which may lead to success, as a project is by nature an ambitious adventure in the noblest sense of the word whose result is always uncertain. The role of the ultimate decision-maker, the umpire who has to make the final call, is thus fundamental and the tools are only there to help him achieve the clearest possible appreciation of the strengths and weaknesses of his project. His objective is to be at just the right height to get an optimum overall view: not so high as to lose contact with reality, nor so low as to lose sight of the wood for the trees. By Djemil Chafaï (consultant CETEGE), Pierre Moriceau (consultant PM Management), Jean Renaud (associate professor) ENSGSI-INPL Nancy) and Bernard Yannou (associate professor) Laboratoire de Génie Industriel, École Centrale Paris) With help from Hervé de La Giclais 39 >

19 MÉTHODES ET OUTILS CMMI : un vecteur d amélioration incontournable du spatial Il y a deux ans, Alcatel Alenia Space a décidé d intégrer le modèle CMMI (Capability Maturity Model Integration) pour améliorer la maîtrise du développement de ses projets. Derrière cet acronyme se cache un standard international de reconnaissance de la performance et de la maturité des organisations industrielles. Retour sur une démarche volontaire qui a permis en octobre 2005 à la société d être accréditée au niveau 3 du modèle CMMI. Le modèle CMMI couvre non seulement l ensemble des pratiques d ingénierie et de gestion de projet, mais aussi les processus transverses de gestion de configuration, d assurance qualité des produits et services, et le système de management de la qualité. Ce modèle est complémentaire des autres standards (ISO9001, EN9100, ECSS etc.), dans le sens où il offre des exigences plus détaillées pour chacun des métiers. Les enjeux financiers du secteur spatial étant de plus en plus importants, il est clair que les donneurs d ordres cherchent par tous les moyens à se rassurer. Or, lorsqu un industriel obtient une accréditation CMMI de niveau 3 ou supérieure, il apporte la preuve de sa maturité à maîtriser les risques et de sa capacité à gérer l ensemble des parties prenantes, dans tout le cycle de vie du système ou du produit, pour mieux satisfaire les besoins des clients. Focalisé sur l ingénierie, la gestion de projet, la gestion et l évolution des processus, ce standard est organisé en cinq niveaux progressifs de maturité pour lesquels une accréditation est recherchée. Bien sûr, atteindre le cinquième niveau constitue l objectif ultime : c est d ailleurs la stratégie clairement affichée par Alcatel Alenia Space, qui souhaite aussi être reconnu comme l un des industriels les plus matures dans le domaine de l ingénierie, quelle que soit l activité considérée (segments spatiaux, satellites, segments sols, équipements, etc.) Un système intégré de management de la qualité Parce que les exigences du domaine spatial ont toujours été fortes, Alcatel Alenia Space n a pas attendu que le modèle CMMI monte en puissance pour travailler sur la maturité de ses pratiques d ingénierie et de conduite de projet. Il y avait donc déjà de nombreux acquis, lorsqu en 2004, l entreprise s est fixée comme ambition d être accréditée au niveau 3 du modèle CMMI en moins de 18 mois, comme l explique Jean-Claude Fromenteau, chef de projet CMMI chez Alcatel Alenia Space : «Cela signifie que, pour nous conformer au modèle CMMI, nous n avons pas inventé de nouvelles pratiques, puisqu elles existaient déjà par ailleurs. Nous avons simplement complété notre référentiel société pour l ajuster à certaines exigences non encore couvertes par nos pratiques.» Cette phase d adaptation d environ 6 mois a démarré par un état des lieux permettant d identifier les différences entre les exigences du modèle CMMI et les pratiques réelles. Ensuite, les trois étapes suivantes ont été définies : les ajustements nécessaires, un plan d amélioration et la sélection de projets pilotes sur lesquels l entreprise allait, dans un premier temps, mettre en œuvre toute cette démarche. Fin 2004, Alcatel Alenia Space avait réussi la convergence de ses pratiques avec les exigences CMMI, mais il convenait de tester la réalité de cette convergence sur des projets opérationnels, ce qui a nécessité une phase probatoire de 6 à 8 mois, au cours de laquelle 40 > q u a l i t é e s p a c e n 4 3 Mars/March 2006

20 METHODS AND TOOLS CMMI : an indispensable lever for improvement Space Sector Two years ago Alcatel Alenia Space decided to adopt Capability Maturity Model Integration (CMMI ) in order to improve its control of its development projects. CMMI is more than just an acronym as it represents an international standard for performance and maturity recognition of industrial organisations. Here is an account of the determined commitment which enabled the company to reach Level 3 CMMI accreditation in October The CMMI model covers not only the full range of engineering and project management practices, but also the transversal processes such as configuration management, quality assurance for products and services and the Quality Management System. The model complements other standards (ISO9001, EN9100, ECSS, etc.), in that it specifies more detailed requirements for each of the design engineering or project management activities. As the financial objectives of Space activities have become more and more important, customers obviously want to ensure that their projects will be a success. However, if an industrialist (prime contractor or manufacturer) obtains CMMI accreditation at Level 3 or above, this proves its maturity in terms of controlling risks and its ability to coordinate and supervise all the stakeholders, throughout the system or product lifecycle, for the greater satisfaction of customer needs. This standard focuses on engineering, project management, process management and improvement. It is divided into five successive levels of maturity, for each of which it is possible to seek accreditation. The ultimate objective is of course to reach Level 5: this is the clearly announced strategy of Alcatel Alenia Space, which also aims to be recognised as one of the most mature industrialists in design engineering, in all representative fields (Space segments, satellites, ground segments, equipment, etc.). An integrated Quality Management System Because the requirements of the Space domain have always been very strong, Alcatel Alenia Space did not wait for the CMMI to become an international standard before improving its design engineering practices. Consequently, when in 2004 the company set itself the goal of achieving CMMI accreditation at Level 3 in less than 18 months, it already had a solid foundation to build on. To quote Jean-Claude Fromenteau CMMI project manager: This meant that we didn t have to invent new practices in order to conform to the CMMI model, because they already existed. We had simply to take into account several requirements to update our Quality Management System thus adjusting it to activities that were not yet covered by our practices. This adaptation phase, which lasted about six months, started with a gap analysis that allowed us to identify the differences between the CMMI requirements and our actual practices. The following three phases were then defined: the necessary adjustments, an improvement plan and the selection of pilot projects to which the company would apply the entire approach, as a starting point. By the end of 2004, Alcatel Alenia Space had succeeded in aligning its practices with the CMMI requirements, but the reality of this convergence still had to be tested on working projects, which required a testing phase of 6 to 8 months, during which multiple proof was patiently collected, as required by the assessment method associated with CMMI. This method, SCAMPI (Standard CMMI Appraisal Method Process Improvement), requires not only 41 >