Comparaison de normes de sûreté ( safety ) entre différentes industries

Comparaison de normes de sûreté ( safety ) entre différentes industries Présenté par Jean-Paul Blanquart Préparé par Jean-Marc Astruc (Continental Automotive), Philippe Baufreton (Sagem), Jean-Paul Blanquart (Astrium Satellites), Jean-Louis Boulanger (CERTIFER), Jean-Louis Camus (ESTEREL), Cyrille Comar (Adacore), Gilles Deleuze (EDF) Hervé Delseny (Airbus), Jean-Claude Derrien (Sagem), Jean Gassino (IRSN), Gérard Ladier (Aerospace Valley), Emmanuel Ledinot (Dassault Aviation), Michel Leeman (Valeo), Joseph Machrouh (Thales), Philippe Quéré (Renault), Bertrand Ricque (Sagem) Sixièmes Assises de l Embarqué - 28 Octobre 2013, Paris, France 1

Organisation de la présentation Quelques mots sur le Groupe de Travail Comparaison de normes de sûreté entre différents domaines Historique et positionnement des normes Régimes de règlementation et certification Quelques points de comparaison technique Systèmes à sûreté intégrée ou externe Prescription d objectifs ou de moyens Catégories de gravité, criticité, niveaux d assurance Tolérance aux fautes ou prévention des fautes Approche probabiliste ou déterministe Conclusion 2

GT Normes de Sûreté Un des Groupes de Travail du CG2E, Club des Grandes Entreprises de l Embarqué GT 2: Normes de sûreté Création: 13/11/2008 Objectifs: Amélioration de l efficacité industrielle vis-à-vis de la conformité aux normes de sûreté applicables Développement de produits ou systèmes industriels critiques Développement d outils pour le développement et validation de systèmes industriels critiques Produits, systèmes et outils multi-domaines Approche: Analyse et comparaison des normes entre domaines Acquisition de la connaissance: échanges entre experts Diffusion: publications etc. mais aussi réflexions vers formation, normes 3

GT Normes de Sûreté Les Moyens Méthode: groupe de travail Experts reconnus en sûreté et normes industrielles, couvrant le plus grand nombre possible de domaines (systèmes, produits, outils) Cooptation Invitations ponctuelles d experts sur des points spécifiques Ex. Tim Kelly (Univ. York), approfondissement de la notion de «safety case» Réunions de travail (en moyenne tous les deux mois, sur 1 ou 2 journées) Listes de diffusion, Wiki (espace de travail partagé, blog) Publications Budget: pas de financement externe Financement des heures, déplacements, tenue des réunions etc. pour chaque membre du groupe par son organisme d appartenance 4

GT Normes de Sûreté Domaines couverts Aeronautics Automation, Industry ARP 4754, 4761 DO 178, 254, 330-3 IEC 61508, 61511 Automotive ISO 26262 Defence IEC 61508 Nuclear IEC 61513, 60880, 62138 Railway Space EN CENELEC 50126, 8, 9, 50155, 50159-1, 50159-2 ECSS Q30, Q40, Q80 Technology providers 5

GT Normes de Sûreté Les membres Jean-Marc Astruc (Continental Automotive) Philippe Baufreton (Sagem) Jean-Paul Blanquart (Astrium Satellites) Jean-Louis Boulanger (CERTIFER) Jean-Louis Camus (ESTEREL) Cyrille Comar (Adacore) Gilles Deleuze (EDF) Hervé Delseny (Airbus) Jean-Claude Derrien (Sagem) Jean Gassino (IRSN) Gérard Ladier (Aerospace Valley) Emmanuel Ledinot (Animateur du groupe) (Dassault Aviation) Michel Leeman (Valeo) Joseph Machrouh (Thales) Philippe Quéré (Renault) Bertrand Ricque (Sagem) 6

Organisation de la présentation Quelques mots sur le Groupe de Travail Comparaison de normes de sûreté entre différents domaines Historique et positionnement des normes Régimes de règlementation et certification Quelques points de comparaison technique Systèmes à sûreté intégrée ou externe Prescription d objectifs ou de moyens Catégories de gravité, criticité, niveaux d assurance Tolérance aux fautes ou prévention des fautes Approche probabiliste ou déterministe Conclusion 7

Historique et positionnement des normes Un paysage compliqué Les bases: les traités et les lois Nations Unies Safe use of nuclear technology for peaceful applications, IAEA, 1957 Peaceful use of outer space, COPUOS, 1958 Les normes Moyens acceptés de conformité à une réglementation de plus haut niveau Parfois auto-imposée en absence de réglementation Besoins sociaux, économiques, interopérabilité, efficacité industrielle Le rôle particulier de l IEC 61508 Générique et non générale Souvent précédée par des normes sectorielles spécifiques 8

Historique et positionnement des normes Vue de synthèse DOMAINE 80-85 85-90 90-95 95-00 00-05 05-10 10-15 Aéronautique DO178 DO178-B ARP4754 ARP4761 DO254 ARP4754-A DO178-C Automatisation IEC 61508 IEC 61511 IEC 62061 IEC 61508 Edition 2 Automobile (IEC 61508) ISO 26262 Nucléaire IAEA 50-SG-D3 50-SG-D8 IEC 60880 IAEA NS-G-1.3 IEC 61513 IEC 62138 IEC 60880 Edition 2 : IAEA DS- 431 Ferroviaire EN 50155 IEC 61508 EN 50126 EN 50128 EN 50129 EN 50128 Edition 2 Espace PSS ECSS ECSS C Issues 9

Organisation de la présentation Quelques mots sur le Groupe de Travail Comparaison de normes de sûreté entre différents domaines Historique et positionnement des normes Régimes de règlementation et certification Quelques points de comparaison technique Systèmes à sûreté intégrée ou externe Prescription d objectifs ou de moyens Catégories de gravité, criticité, niveaux d assurance Tolérance aux fautes ou prévention des fautes Approche probabiliste ou déterministe Conclusion 10

Réglementation et certification Qualification, certification Qualification, Assessment Set of activities granting a confidence level to an entity (person, organisation or artefact) Context dependent validity: item, actors, usage, timeline Certification An assessment body substantiates to an Authority that the engineering process of a manufacturer ensures regulatory safety objectives through conformance to safety standards 11

Réglementation et certification Une grande diversité de régimes DOMAINE Applicant Réglementation Autorité Assessment Body Aéronautique Fabricant Oui EASA-FAA EASA-FAA Automatisation Manufacturier Fabricant Directive machine Inspection du travail Auto-certification Process Exploitant Non DREAL Non Automobile Fabricant Non Non Non Nucléaire Exploitant Oui Gouvernements ASN (France) IAEA ASN, IRSN (France) Ferroviaire Fabricant Oui ERA EPSF/STRMTG CERTIFER Espace Fabricant Oui Gouvernements CNES NASA/FAA//USAF 12

Réglementation et certification Synthèse Qualification Certification 13

Organisation de la présentation Quelques mots sur le Groupe de Travail Comparaison de normes de sûreté entre différents domaines Historique et positionnement des normes Régimes de règlementation et certification Quelques points de comparaison technique Systèmes à sûreté intégrée ou externe Prescription d objectifs ou de moyens Catégories de gravité, criticité, niveaux d assurance Tolérance aux fautes ou prévention des fautes Approche probabiliste ou déterministe Conclusion 14

Systèmes à sûreté intégrée ou externe Critères: existence d états sûrs, coût, validation Automatisation, ferroviaire, nucléaire: système externe Système de sûreté dédié, distinct du «procédé» Surveille et commande le «procédé» en situation dangereuse Aéronautique, automobile: sûreté intégrée Surveillance et commande sûre interne au système Automobile, spatial: approche hybride 15

Sûreté intégrée ou externe Synthèse Sûreté intégrée Sûreté externe 16

Organisation de la présentation Quelques mots sur le Groupe de Travail Comparaison de normes de sûreté entre différents domaines Historique et positionnement des normes Régimes de règlementation et certification Quelques points de comparaison technique Systèmes à sûreté intégrée ou externe Prescription d objectifs ou de moyens Catégories de gravité, criticité, niveaux d assurance Tolérance aux fautes ou prévention des fautes Approche probabiliste ou déterministe Conclusion 17

Prescription d objectifs ou de moyens Avantages Inconvénients Prescription D OBJECTIFS (ex: DO 178) Ouvert Applicable à des contextes variés Nécessite interprétation Prescription de MOYENS (ex: IEC 61508) Vérification de conformité simplifiée Application facilitée (dans le contexte considéré par les auteurs de la norme) Fermé Nécessite mise à jour pour introduire de nouvelles méthodes, nouveaux outils 18

Prescription d objectifs ou de moyens Synthèse Moyens Objectifs 19

Organisation de la présentation Quelques mots sur le Groupe de Travail Comparaison de normes de sûreté entre différents domaines Historique et positionnement des normes Régimes de règlementation et certification Quelques points de comparaison technique Systèmes à sûreté intégrée ou externe Prescription d objectifs ou de moyens Catégories de gravité, criticité, niveaux d assurance Tolérance aux fautes ou prévention des fautes Approche probabiliste ou déterministe Conclusion 20

Catégories de gravité Niveaux d assurance, intégrité Des principes communs à tous les domaines couverts Les catégories définissent les exigences permettant de couvrir: Les fautes aléatoires (matériel): objectifs de probabilité, nombre minimal de fautes Les fautes «systématiques» (développement); pas d objectif probabiliste Niveau de confiance basé sur exigences de développement et validation Confirmé par l expérience sur des décennies (aéronautique, nucléaire ) Besoin fort de protection contre la propagation des fautes, en particulier des niveaux de faible confiance vers les niveaux plus élevés 21

Catégories, niveaux: Quelques différences Définitions des catégories Génériques ou générales (spatial, automobile) Dépendant du domaine (aéronautique) Prise en compte de l exposition au risque (automobile) Prise en compte des possibilités de maîtrise externe (automobile) Quelques variations «syntaxiques» (nombre et nom des catégories, ordre ) «Arithmétiques des niveaux» (combinaison d éléments de faibles niveaux pour faire un plus fort) Aéronautique, automobile. Pas spatial, nucléaire Les exigences associées à chaque niveau 22

Organisation de la présentation Quelques mots sur le Groupe de Travail Comparaison de normes de sûreté entre différents domaines Historique et positionnement des normes Régimes de règlementation et certification Quelques points de comparaison technique Systèmes à sûreté intégrée ou externe Prescription d objectifs ou de moyens Catégories de gravité, criticité, niveaux d assurance Tolérance aux fautes ou prévention des fautes Approche probabiliste ou déterministe Conclusion 23

Tolérance aux fautes et prévision des fautes Tolérance aux fautes Principalement pour les fautes (aléatoires) du matériel Dépend des domaines et applications Besoins de continuité de service, besoins de sûreté «safety» Systèmes à sûreté intégrée ou externe Logiciel, fautes de développement Accent sur prévention des fautes Processus, produit Fautes résiduelles: détection et mise en état dégradé (plus) sûr Solutions de niveau système, diversification, indépendance 24

Organisation de la présentation Quelques mots sur le Groupe de Travail Comparaison de normes de sûreté entre différents domaines Historique et positionnement des normes Régimes de règlementation et certification Quelques points de comparaison technique Systèmes à sûreté intégrée ou externe Prescription d objectifs ou de moyens Catégories de gravité, criticité, niveaux d assurance Tolérance aux fautes ou prévention des fautes Approche probabiliste ou déterministe Conclusion 25

Approches probabilistes et déterministes Combinaisons d approches probabilistes et déterministes Approche probabiliste Analyse de risque système Fautes matérielles Approche déterministe Comportement (fonctions, mécanismes de sûreté de fonctionnement) En particulier le logiciel Ce qui ne signifie pas que le logiciel est considéré comme exempt de fautes Liens avec niveaux, et avec prévention ou tolérance aux fautes 26

Organisation de la présentation Quelques mots sur le Groupe de Travail Comparaison de normes de sûreté entre différents domaines Historique et positionnement des normes Régimes de règlementation et certification Quelques points de comparaison technique Systèmes à sûreté intégrée ou externe Prescription d objectifs ou de moyens Catégories de gravité, criticité, niveaux d assurance Tolérance aux fautes ou prévention des fautes Approche probabiliste ou déterministe Conclusion 27

Comparaison de normes de sûreté En conclusion Une même base de principes fondamentaux Analyse, gestion de risque; niveaux d assurance/intégrité Combinaison d approches probabilistes et déterministes, de tolérance et prévention Propagation de fautes, causes communes, simples fautes, indépendance Des variations légères mais nombreuses Des groupes existent, mais pas les mêmes pour tous les thèmes Pas toujours de justification claire liée aux particularités d un domaine Impact fort sur l efficacité industrielle (outils, produits, processus ) 28

GT Normes de Sûreté Les résultats Comparaison normes sûreté entre domaines (général, tâche de fond) Assurance de développement (Système, Logiciel) Niveaux d assurance (criticité, DAL, SIL, ASIL ) Positionnement méthodes formelles et tests Qualification d outils Normes de codage Publications, diffusion, promotion ERTS-2010 (1), REE-02-2011, ERTS-2012 (3), ERTS-2014 (1) Comparaison normes, http://web1.see.asso.fr/erts2010/site/0andgy78/fichier/papiers%20erts%202010/corrected-blanquart.pdf Comparaison catégories, http://www.erts2012.org/site/0p2ruc89/1a-1.pdf Comparaison assurance système, http://www.erts2012.org/site/0p2ruc89/1a-2.pdf Comparaison assurance logiciel, http://www.erts2012.org/site/0p2ruc89/1a-3.pdf Organisation journée inter-projets sûreté inter-domaines (30/1/2012) Invited Keynote Workshop CARS (Safecomp 2013) Organisation workshop méthodes formelles et tests (Safecomp 2013) Wiki (partie publique en construction) 29

GT Normes de Sûreté D autres résultats Accroissement d expertise des membres Echanges passionnants et passionnés, ouverts et libres, confrontation de points de vue basés sur une très grande expérience pratique et maîtrise de l utilisation et de la définition des normes, membres du groupe ou invités Bénéfice des échanges entre domaines, métiers, élargissement au bénéfice de leur organisme d appartenance Utilisation directe dans le travail Réseau de connaissances et des normes de leur domaine Membres du groupe acteurs directs de l évolution des normes Ex. Groupe UTE/AFNOR UF 65 IEC 61508 Ed.3 30

GT Normes de Sûreté La suite Travaux en cours et futurs Approfondissement des règles de développement et validation par niveau, pour le système, pour le logiciel Tests de robustesse Notion d exigence dérivée Transition système logiciel Code mort, désactivé, superflu, «zombie» Modèle «de référence» d un processus sûreté, variations selon les normes «Safety case» et assurance processus Assurance qualité et assurance sûreté Qualification des COTS Etc, etc. 31

GT Normes de Sûreté La suite mais pas la fin Fonctionnement Très satisfaisant, à conserver Organisation Interne: très satisfaisant, à conserver Rattachement Intérêt pour une meilleure visibilité Intérêt pour une synergie et des contacts avec des groupes complémentaires Intérêt pour un soutien (logistique, financier) Organisation de réunions, manifestations, publications, site web Invitations d experts Contacts avec des groupes analogues, par exemple dans d autres pays 32