évalua&on indépendante et cer&fica&on de système ferroviaire, pourquoi, quel apport? Jean- Louis BOULANGER Jean.Louis.Boulanger@wanadoo.

évalua&on indépendante et cer&fica&on de système ferroviaire, pourquoi, quel apport? Jean- Louis BOULANGER Jean.Louis.Boulanger@wanadoo.fr

Interven'ons of CERTIFER Sector Field Network Line Mission Methodology Railway + Regulatory + Voluntary Urban, National, European, International High speed line, conventional line, Metro, Tram, freight ISA, NoBo, DeBo, CSM, ECM, Assessment, Certification, Inspection DeBo ECM Mandatory Field Urban Network Voluntary Field Inspec&on Body ISA CSM No,fied Body Na&onal Network European Network Cer&fica&on Body 2 2

CERTIFER s strengths q More than 16 years of experience q More than 350 assessors coming from the whole railway sector: SNCF, RFF, RATP, Apave and industrials, etc. q Several na&onal & interna&onal acknowledgements q Covers all the sectors (Conven&onal, High- speed & Urban) Infrastructure, Energy, Control Command & Signaling, Rolling Stock, System, Maintenance, Operation q Presence in France, Algeria & in Italy (STEAMCERT) A reference for your ISA/NOBO/DEBO/CSM/ECM missions 3 3

Accredita'ons - CERTIFER is accredited according to EN 45011 for the «Industrial Products Certification» section of COFRAC (French Committee of Accreditation). The scope is available on www.cofrac.fr. - CERTIFER is TYPE A accredited according to ISO EN 17020 for the "inspection" of COFRAC (French Committee of Accreditation). The scope is available on www.cofrac.fr Those official acknowledgements, which are monitored, show CERTIFER s independence, impartiality & competence.

Mission : NoBo CERTIFER performs : - Assessment documenta&on, - Audits, - Visits on manufacturing sites, - Visits on test sites. Tests are performed by the client, or by an independent laboratory depending on the chosen module. When assessment & tests results prove interoperability, CERTIFER delivers EC compliance cer&ficates and/or suitability for use. 5

Mission : OQA Na'onal Network Conven,onal & High- speed lines Urban & touris,c guided transport systems 6

Mission : ISA Independent Safety Assessment The Independent Safety Assessment brings a justified confidence for a project s safety. CERTIFER, «Independent Safety Assessor» or ISA, is able to perform those Independent Safety Assessments. The ISA uses methods such as audits, analyses, meetings, reviews or presence during tests to gather necessary proofs. It is not an assessment of the processes, it is a deep evaluation of the products and systems. CERTIFER performs a product s safety assessment (socware and/or hardware/system) with regard to CENELEC standards (EN 50126, EN 50128, EN 50129, 61508 & 61511) in order to establish their SIL cer&fica&on: SIL1, SIL2, SIL3 or SIL4.. The name ISA is also used within the assessment of urban or railway assessments. 7

Standard

IEC 61508 Generic Standard IEC 61508 通 用 标 准 IEC 61513 Sectorial standard Nuclear 核 标 准 IEC 61511 Sectorial standard Industrial Process 工 业 过 程 标 准 IEC 62061 Sectorial standard Machine 机 器 标 准 EN 5012x Railway 铁 路 标 准 ISO 26262 Automo&ve 汽 车 标 准 IEC 61880 Sectorial standard Socware 软 件 标 准

IEC 61513 Sectorial standard Nuclear 核 标 准 C+-0D+-' 1I%-75%' 7%'*J1)6+-'!12%$"'3##%##&%-$'./+0%##' 4567%*6-%'8'&%$9+7'!"#$%&'./%)%*+/0(-% C+-0D+-E'(F216**1-0%' G$'6-2+/&1D+-'!12%$"'!"#$%&'(%)%*+,&%-$'./+0%##%#'!"#$%&'(&%)%*+',-% G*F&%-$'7%'0+-0%,D+-'' 75'#"#$H&%' DE9CFA:% G?BHI?B:>%!12%$"'3##%##&%-$'+2'36/0/1:'6-' >+&&%/061*'!%/)60%'!"#$%(/(6%)%(/(/-% K,%/1D+-% IEC 61880 Sectorial standard Socware 软 件 标 准?1/7;1/%'(%)%*+,&%-$' <62%=>"0*%'!+125(&%)%*+236-% 4567%*6-%#'2+/'@-$%A/1$%7'' B+75*1/'3)6+-60#'!+125,'%)%*+2/5&-%!+:;1/%'(%)%*+,&%-$' <62%=>"0*%'!+12/'34%)%*+2/54-% $789:%;:%;<=:>?@@:A:BC% $789:%?@<J8I?BB:>>:% EN 45011 IEC 61508 Generic Standard 通 用 标 准 Oriented product 产 品 导 向 EN 17020 EN 17025 IEC 61511 Sectorial standard Industrial Process 工 业 过 程 标 准 IEC 62061 Sectorial standard Machine 机 器 标 准 EN 5012x Railway 铁 路 标 准 ISO 26262 Automo&ve 汽 车 标 准

Cycle de vie Concept -1 Modification/mise à niveau -12 Définition du système et conditions d application -2 Acceptation du système - 10 Exploitation et Maintenance -11 Retrait du service et dépose -14 Analyse du risque -3 Surveillance des perfos -13 Exigence du système-4 Validation du système -9 Allocation des exigences du système -5 Conception et Réalisation -6 (nécessité de reprendre le cycle) Installation -8 Fabrication -7

Safety Assurance Plan Concept 1 PHA System Definition & Application Conditions 2 System Acceptance 10 11 Operation and Maintenance 14 De-commissioning and Disposal Risk Analysis 3 SHA IHA System Requirements Apportionment of System Requirements 4 5 System Validation (Including Safety Acceptance and Commissioning) 9 Safety- Case Sta&c analysis (hardware, socware, ) Design and Implementation 6 Installation 8 Safety review Manufacture 7 Hazard- Log Hazard- Log

Terminologie

Vocabulaire Evalua&on Inspec&on Cer&fica&on Homologa&on

Cadre

Champ obligatoire & Champ volontaire EOQA Réseau urbain Organisme d inspec&on EOQA Organisme no&fié Réseau Na&onal Réseaux européens Organisme de cer&fica&on

Evalua&on

Conformity Referential= {Standard, process, state of art, } Conform? Conform? Realisation Product 18

Assessment Product development Assessment Report Assessment TA Differents situa&ons 1. TA >>> T0 => difficul&es to take into account the remarks of the assessor 2. TA > T0 => it s possible to take into account the need of the assessor 3. TA = T0 => during some &me the assessor does not work

Assessment Asessement Plan Plans analysis Audit Assessment Plan QRF Audit Plan Audit Report Product assessment Report Wri&ng Assessment Report

Entries and Output Entries All the documenta&ons and all produc&ons: Plans : PQP, PMC, VVP, SAP, SQAP, SVVP, + QAM + instruc&ons +.. Concep&on elements : document, code, V&V elements: document, scenarii, result log, v&v Safety documents (analysis, FMEA, FTA, HL, SafetyCase) Output Assessment plan; Ques&ons and Remarks Forms; Assessment report. All entries and output should be accessible by the assessor All the ac,vi,es are documented and you have some evidences. 21

Évalua&on L évaluation d un produit (système ou un logiciel) consiste à évaluer la conformité de ce produit par rapport à un référentiel (en général une norme, une partie de norme ou un ensemble de norme), selon une méthode donnée. Le résultat d une évaluation doit prononcer la conformité ou pas à chacune des exigences du référentiel. Si le produit est conforme à l exigence, l évaluation prononce «conforme à l exigence». Si le produit n est pas conforme à l exigence, l évaluation prononce un «écart». Si le produit est conforme à chacune des exigences d une norme, l évaluation prononce la conformité à la norme. Sinon, une exigence ou plus non satisfaite, le produit ne peut être déclaré conforme à la norme.

Écart et risque encouru Il peut y avoir plusieurs types d écarts, classés selon «le risque encouru» lorsque l exigence n est pas satisfaite. Par exemple, «Non-conformité» lorsque l écart présente un risque important de non satisfaction de la qualité, de la sécurité ou de la compatibilité technique. «Remarque» lorsque l écart présente un risque modéré. Cette classification du «risque encouru» est très subjective, et il est d usage que les normes fassent apparaître clairement les exigences «obligatoires», des exigences «optionnelles» ou «recommandées». Cela permet à l évaluateur de classer de façon indiscutable les écarts : Un écart par rapport à une «exigence obligatoire» remet en cause la conformité du produit à la norme. Un écart par rapport à une «exigence recommandée» ne remet pas en cause, à elle seule, la conformité globale du produit à la norme.

Cer&fica&on vs Assessment A cer&fica&on is an assessment plus the formaliza&on in a cer&ficat of the result. Assessment Assessment Report Cer&fica&on Cer&ficat

ISA CERTIFICATION Assessment ISA certification Assessment Plan Audit Plan and Report QRF Assessment Report ISA cer&ficat 1 day to 1 week

Product cer'fica'on 2 weeks to 5 weeks Assessment Certification Assessment Plan Audit Plan and Report QRF Assessment Report Proposi&on of cer&ficat Commission of specialists Product Cer&ficat A certificat (all assessment documents) plus a proposition of certificat is proposed to a commission of railway specialists. These commission validated or not the certificat 26

Cross Acceptance

Cross- acceptance : reconnaissance d un cer&ficat (équipement, logiciel, composant, ou&ls, automate, ) pour une u&lisa&on donnée Analyse du référen&el norma&f du cer&ficat Analyse des règles d u&lisa&on En général, donne lieu a un rapport de cross acceptance.

Guide d applica&on EN 50129 Guide 1 : (May 2007 published) 12/03/2014 IKKOS - NoMad 29

Points importants

Important points Quality management: ISO 9001:2008 for all peoples involves in the project People management: Competency Independancy Responsability Configura&on management 31

Quality management Défini&on d un référen&el qualité (ISO 900X) : Manuel d assurance qualité; Procédures; Référen&el : norme, état de l art, Surveillance de la qualité: Forma&on; Audit des projets; Audit des équipes; Revues des projets Monitoring de la qualité : Ges&on des audits et des ac&ons; Ges&on des anomalies, du temps de traitement des anomalies, Nombre de configura&on par projet; 32

Organiza'on FprEN 50128:2011-18 - PM ASR SIL3 & SIL4 RQM, DES, IMP INT, TST VER VAL PM ASR SIL 1 & SIL 2 RQM,DES, IMP INT, TST VER, VAL PM ASR SIL0 RQM, DES, IMP INT, TST, VER, VAL Key can be the same person + QUALITY + SAFETY can be the same organization shall report to the Project Manager 33 can report to the Project Manager

5.2.1.1 To ensure that all personnel who have responsibilities for the software are competent to discharge those responsibilities by demonstrating the ability to perform relevant tasks correctly, efficiently and consistently to a high quality and under varying conditions. 5.2.2 Requirements Competence management 5.2.2.1 The key competencies required for each role in the software development are defined in Annex B. If additional experience, capabilities or qualifications are required for a role in the software life cycle, these shall be defined in the Software Quality Assurance Plan. 5.2.2.2 Documented evidence of personnel competence, including technical knowledge, qualifications, relevant experience and appropriate training, shall be maintained by the supplier s organisation in order to demonstrate appropriate safety organisation. Boutique AFNOR pour : CERTIFER le 25/01/2012 12:14 5.2.2.3 The organisation shall maintain procedures to manage the competence of personnel to suit appropriate roles in accordance to existing quality standards. BS EN 50128:2011-21 - EN 50128:2011 5.2.2.4 Once it has been proved to the satisfaction of an assessor or by a certification that competence has been demonstrated for all personnel appointed in various roles, each individual will need to show continuous maintenance and development of competence. This could be demonstrated Boutique AFNOR pour : CERTIFER by le 25/01/2012 keeping 12:14 a logbook showing the activity is being regularly carried out correctly, and that additional training is being undertaken in accordance with EN ISO 9001 and ISO/IEC 90003:2004, 6.2.2 Competence, awareness and training". 5.3 Lifecycle issues and documentation 5.3.1 Objectives 5.3.1.1 To structure the development of the software into defined phases and activities. 5.3.1.2 To record all information pertinent to the software throughout the lifecycle of the software. 5.3.2 Requirements Responsibilities: BS EN 50128:2011-87 - EN 50128:2011 Table B.9 Project Manager Role Specification Role: Project Manager 1. shall ensure that the quality management system and independency of roles according to 5.1 are in place for the project and progress is checked against the plans 2. shall allocate sufficient number of competent resources in the project to carry out the essential tasks including safety activities, bearing in mind the requisite independence of roles 3. shall ensure that a suitable validator has been appointed for the project as defined in EN 50128 4. shall be responsible for the delivery and deployment of the software and ensure that safety requirements from the stakeholders are also fulfilled and delivered 5. shall allow sufficient time for the proper implementation and fulfilment of safety tasks 6. shall endorse partial and complete safety deliverables from the development process 7. shall ensure that sufficient records and traceability is maintained in safety related decision making Key competencies: 1. shall understand quality, competencies, organisational and management requirements of EN 50128 2. shall understand the requirements of the safety process 5.3.2.1 A lifecycle model for the development of software shall be selected selected. options It shall be detailed in the Software Quality Assurance Plan in accordance with 6.5. 4. shall understand the requirements of the software development process 3. shall be able to weigh different options and understand the impact on safety performance of a decision or 5. shall understand the requirements of other relevant standards 34 Two examples of lifecycle models are shown in Figure 3 and Figure 4. Table B.10 Configuration Manager Role Specification

REQUIREMENT Les normes recommandent d iden&fier les exigences. Les exigences devront être suivies sur l ensemble de la réalisa&on. Il y aura donc une traçabilité des exigences sur l ensemble du cycle de réalisa&on. Traçabilité des exigences: L'objec&f de la traçabilité des exigences est d'assurer qu'il est possible de montrer que toutes les exigences ont été correctement remplies. Traçabilité: Facilité avec laquelle un lien peut être établi entre deux ou plusieurs produits d'un processus de développement, et plus par&culièrement, ceux possédant entre eux une rela&on de prédécesseur à successeur ou de maître à esclave. 35

Requirements, tests and safety REQ_x&:& & Safety&:&Non& Req_y&:& & Safety&:&oui& Niveau&n& REQ_xx&:& & Safety&:&Non& Req_yy&:& & Safety&:&oui& Niveau&n&+1& Test_x.1&:& & Test_y.1&:& & Test_z.1&:& & 36

Verifica'on Entrées!! Phase!! Vérifica.on! Sor.es! La vérification a pour objectif de montrer que l on a réalisé correctement le produit. La question est associée est donc le travail est-il bien fait? 37

PLAN and Standard The conformity with the standard should be described in the project plans (SQAP, SVVP, SAP, ) All the choices, all the jus&fica&ons, 38

Verifica'on Spécifica(on+des+exigences++ système+ Spécifica(on+des+exigences++ de+sécurité+ Rapport(de(( vérifica6on( Applica6on( Spécifica6on(des(tests( d ensemble(du(logiciel( PAQL,+PGC,+PVV+ Spécifica(on+des+exigences++ du+logiciel+ Rapport+de+Vérifica(on+ Spécifica(on+des+tests+ d ensemble+du+logiciel+ PAQL,(PGC,(PVV( Résultat(des(tests( d ensemble(du(logiciel( Rapport(de(Valida6on( Spécifica(on+des+exigences++ du+logiciel+ Code( Spécifica0on(des(tests( D intégra0on(l/l( Spécifica0on(des(tests( D intégra0on(l/l( Spécifica(on+des+interfaces+ PAQL,+PGC,+PVV+ Descrip(on+de+l architecture+ du+logiciel+ Concep(on+du+logiciel+ Rapport+de+Vérifica(on+ + Spécifica(on+des+tests+ d intégra(on+ + Guide+méthodologiques+ PAQL,(PGC,(PVV( Résultat(des(tests( d intégra0on(l/l( Rapport(de(Vérifica0on( Résultat(des(tests( d intégra0on(h/l( 39

Assessement Un logiciel accompagné d'un Rapport d'evalua&on du Logiciel, émanant d'un autre chargé d'évalua&on, n'a pas à faire l'objet d'une évalua&on en&èrement nouvelle. Le deuxième chargé d'évalua&on doit vérifier que le logiciel a le niveau requis d'intégrité de la sécurité logicielle et qu'il est adapté à l'applica&on prévue sur l'ordinateur cible qui lui est des&né. => Pas automa&que CROSS- ACCAPETANCE L'évalua&on du logiciel doit être menée à bien par un chargé d'évalua&on qui est indépendant de l'équipe de concep&on. Le chargé d'évalua&on peut demander un travail de vérifica&on et de valida&on supplémentaire, s'il le trouve que c est nécessaire. 40

Bilan

Mise en place d une stratégie de type «Légo», les normes devant garan&r une compa&bilité des interfaces. PB : cer&ficat mul&- domaine

43

!!!!! 44