Retour d expérience de la mise en œuvre d une démarche MBT : Vérification d une bibliothèque cryptographique logicielle

Transcription

1 Retour d expérience de la mise en œuvre d une démarche MBT : Vérification d une bibliothèque cryptographique logicielle Jean-François CAPURON département «Analyse et Développement de Logiciels de sécurité» 11 mars 2011 DIRECTION GENERALE POUR L ARMEMENT

2 Plan Introduction / Contexte Présentation du cas d étude : CCSD Présentation de l'environnement de test Mise en œuvre du MBT Utilisation de schémas de tests Validation des tests produits Conclusions Perspectives DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 2

3 Contexte Évaluation de sécurité CCSD Évaluation Critères Communs, niveau EAL5+ Composant cryptographique en environnement sûr Différentes versions à évaluer REI Securtest Smartesting Université de Franche Comté Telecom Bretagne Objectifs Pertinence des tests produits Economie due au processus de génération Facilité d utilisation et d intégration du MBT DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 3

4 Évaluations de sécurité : améliorer le processus de test Formaliser les spécifications Fonctionnelles (besoin fonctionnel) Spécifications Cibles de sécurité (besoin de sécurité) Formaliser les Propriétés Développement Binaire Composant matériel Composant / produit Documentation Code source (C, VHDL, etc.) Evaluation Outiller les phases de tests Exécution automatique des tests Génération automatique des tests Tests de conformité (fonct+sécu) Tests Tests de pénétration (sécu) Analyses Analyse de vulnérabilités Expertise Etat de l art DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 4

5 Plan Introduction / Contexte Présentation du cas d étude : CCSD Présentation de l'environnement de test Mise en œuvre du MBT Utilisation de schémas de tests Validation des tests produits Conclusions Perspectives DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 5

6 Présentation de CCSD Couche Cryptographique de Sécurité de Défense Développement DGA MI Bibliothèque cryptographique Génération de pseudo aléa Hachage Chiffrement symétrique Chiffrement asymétrique Signature Négociation de clef Déploiement d'igc: génération, certification Modulaire : une API et des modules cryptos Développée en C Environ 325 fonctions, lignes de code Complexité cyclomatique allant de 4 à 140 DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 6

7 LES CCSD Différents périmètres fonctionnels Différents algorithmes Différents systèmes d exploitation Windows, Linux, Solaris Différentes versions Nécessité d automatiser DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 7

8 L automate de CCSD CCSD intègre un contrôle de séquencement des appels Celui-ci est implémenté sous la forme de propriétés booléennes (état d une session) de pré et de post-conditions Les relations entre ces propriétés forment un automate de 1500 états Tester manuellement cet automate est trop couteux en temps Le MBT est une solution possible DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 8

9 Objectifs de la validation Vérifier que la CCSD se comporte conformément à la spécification Pour chacun des cas d erreurs identifiés En cas d apparition d erreurs simultanées (combinatoire) Vérifier que le contrôle de séquencement est correct Critère de couverture idéal: (MCDC, DO178B) Modified Condition Decision Coverage La décision doit avoir été vue dans ses 2 états Chaque condition doit avoir été vue dans ses 2 états Chaque condition seule influe sur le résultat exemple : A \/ B condition coverage : (1,0), (0,1) decision coverage : (1,0), (0,0) decision/condition : (1,1), (0,0) MC/DC : (1,0), (0,1), (0,0) Avoir un verdict automatique Analyse du code couvert DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 9

10 Plan Introduction / Contexte Présentation du cas d étude : CCSD Présentation de l'environnement de test Mise en œuvre du MBT Utilisation de schémas de tests Validation des tests produits Conclusions Perspectives DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 10

11 Concret Logique Modèle Formalisation Evolution de l environnement de test Modèle formel UML + OCL Test Designer Spécifications Spec. d Interface XML / XSD OUEST Scénarios logiques XML Abstraction CCSD Scénarios concrets Verdicts Appels à l API Couverture DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 11

12 Plan Introduction / Contexte Présentation du cas d étude : CCSD Présentation de l'environnement de test Mise en œuvre du MBT Utilisation de schémas de tests Validation des tests produits Conclusions Perspectives DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 12

13 Création du modèle de test Un modèle de test Un modèle UML «support» Diagramme de classes : les entités du système sous test (SUT) Diagramme d instances : les données de tests Diagramme d états-transitions : enchainements valides Une spécification des comportements Pré et post conditions (OCL) Tags (REQ, AIM, NAME, ) Points de contrôle et d observation Des fonctions de mise au point Éditeur de scénarios Simulateur DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 13

14 Génération des tests Calcul d objectifs de test à partir du modèle Un objectif de test = une branche dans l expression OCL, après son dépliage Pour chaque objectif de test: Calcul d une séquence d opérations valuées permettant d atteindre cet objectif Calcul des effets de chaque pas sur l état du système : l oracle Les séquences produites sont des séquences abstraites Concrétisation des données de test DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 14

15 Logique de dépliage de TestDesigner If (a+b) Then a b Else a. b If (a.b) Then Else a.b a b Normalisation des expressions Critère de couverture D/CC TestDesigner fusionne les cas de test quand il le peut ( a+ b) Pour s approcher de MCDC, il est nécessaire de diriger la génération par les tags If (a.b) Then a.b --@AIM:ab Else If ( a) --@AIM:nonA And If ( b) --@AIM:nonB DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 15

16 Modélisation des comportements On ignore le diagramme d états-transitions : on souhaite exhiber des séquences «illégales» Le comportement du SUT est défini uniquement sous forme de post-conditions OCL On distingue le cas passant des cas d erreurs Gestion des codes de retour de type avertissements Modification de l état interne du système On teste chaque cas d erreur indépendamment Gestion exhaustive de la combinatoire Positionnement des codes de retour attendus Chaque branche est tagguée Identification des tests DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 16

17 Structure de post-condition retenue Objectif : couvrir la combinatoire des cas d erreurs if (not errorcase1 and not errorcase2) then --@AIM:OK acceptederrorcodes.ok=true update sessionstate else --@AIM:ERROR if (errorcase1) then (acceptederrorcodes.errorcode1=true) --@AIM:1 else true and if (errorcase2) then (acceptederrorcodes.errorcode2=true) --@AIM:2 else true and DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 17

18 Configurabilité du modèle La génération des tests est un processus long Dans notre cas d étude, plusieurs jours Il est apparu utile de pouvoir maîtriser l explosion combinatoire: On introduit un paramètre de configuration (nwiselevel) qui définit le nombre d erreurs à activer simultanément On incrémente une variable à chaque cas d erreur activé Mais les variables sont calculées à la génération: Production d objectifs de tests inatteignables. La preuve d inatteignabilité reste beaucoup plus rapide dans ce cas DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 18

19 Quelques mesures MDT1: Modèle initial MDT2: Modèle avec dépliage forcé MDT3: Ajout de 4 fonctions MDT1 MDT2 MDT3 Nombre de Classes Nombre d instances (DT) Nombre de lignes de code OCL Hommes.Jours Temps de modélisation : 4 hommes.mois Nombre d objectifs de tests : environ 2500 Nombre moyen de pas de tests : 6,5 DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 19

20 Plan Introduction / Contexte Présentation du cas d étude : CCSD Présentation de l'environnement de test Mise en œuvre du MBT Utilisation de schémas de tests Validation des tests produits Conclusions Perspectives DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 20

21 Propriétés de sécurité Schémas de tests DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 21

22 Les schémas de tests Langage de haut niveau visant à exprimer: un besoin de test Atteindre un état, un comportement, Une séquence d appel Use then L utilisation d un certain nombre d objets at_least_once Les schémas sont interprétés par TestDesigner et produisent des cas de test Intérêts le besoin de test est exprimé en dehors du modèle, qui reste fonctionnel Les schémas peuvent être plus facilement réutilisés DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 22

23 Propriétés de sécurité, Schémas de tests Des propriétés Cloisonnement entre données Cycle de vie (état alarme, non initialisé, ) Invariants (effacement, intégrité, ) Un exemple de schéma: for_each $op from any_operation, use any_operation any_number_of_times then use modifierintegriteelementsecret then use observationperteintegrite then use $op DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 23

24 Plan Introduction / Contexte Présentation du cas d étude : CCSD Présentation de l'environnement de test Mise en œuvre du MBT Utilisation de schémas de tests Validation des tests produits Conclusions Perspectives DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 24

25 Expérimentation de mutation manuelle Objectif : qualifier les tests produits La mutation est tentante mais lourde à mettre en œuvre (nombre important de mutants) Solution retenue : injection de fautes par le développeur Contrainte: Pas d erreurs calculatoires Cas réel de boite noire Protocole: Exécution du jeu de test sur la cible originale Exécution du jeu de test sur la cible avec erreurs Comparaison des résultats et identification des erreurs DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 25

26 Bilan de l expérimentation Erreurs Insérées Détectées Détectables Séquencement : Arguments : Autres : Total: Causes de non détection : Erreur de spécification Erreur de modélisation Erreur de concrétisation (OUEST) Erreurs non détectables : Spécification incomplète Comportement volontairement non modélisé Après correction du banc de test et du modèle, toutes les erreurs détectables sont mises en évidence. DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 26

27 Plan Introduction / Contexte Présentation du cas d étude : CCSD Présentation de l'environnement de test Mise en œuvre du MBT Utilisation de schémas de tests Validation des tests produits Conclusions Perspectives DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 27

28 Résultats des travaux 2500 tests produits et exécutés (4 hommes.mois) Bonne couverture fonctionnelle Gestion de la combinatoire et partiellement de l indéterminisme Cas d erreurs, conditions de non satisfaction des pré-conditions Confirmation des erreurs identifiées par les tests manuels Efficacité des tests produits : mutation Injection d erreurs par le développeur 24 erreurs sur 34 localisées 10 non détectables car non spécifiées, non modélisées ou masquées par d autres erreurs Il faut tester les tests! Analyse de la couverture de code testé Gain au niveau instructions/branchements faible mais précieux Gain au niveau de l automate important DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 28

29 MBT vs test manuel Test Manuel MBT Nb de tests Couverture du code Couverture des comportements 80% 82% Fonction du temps Fonction du modèle Précision Excellente Fonction du modèle Evolutivité / Maintenabilité Faible, fonction de la conception Bonne Réutilisabilité Très faible? Temps de mise en œuvre / délais 6 mois 2 mois (en amont) + 1mois (concrétisation) DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 29

30 Conclusions L approche est validée, les objectifs atteints Gestion de la complexité, de la combinatoire Intégration dans le processus de test Des points durs restent à améliorer Gestion de la complexité (Temps de génération importants) Maîtrise de l effet papillon Validation / déboguage du modèle Des gains d ensemble Validation, formalisation des spécifications et du processus Un investissement en amont pour des gains croissants DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 30

31 L effort de test dans le temps Évaluation basée modèle Évaluation classique Spécif. Développement Évaluation Dev Reprise d évaluation Début conception Livraison Mise en Service Opérationnel DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 31

32 Plan Introduction / Contexte Présentation du cas d étude : CCSD Présentation de l'environnement de test Mise en œuvre du MBT Utilisation de schémas de tests Validation des tests produits Conclusions Perspectives DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 32

33 Poursuite des travaux Développer les stratégies de test (sécurité) Critères de couverture du modèle plus exigeants Schémas plus expressifs Invariants sur le modèle Test en ligne Génération automatique du code OCL à partir des spécifications! Au moins pour l automate de séquencement DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 33

34 Développement des approches complémentaires Analyse statique Source ou binaire Approche mixte boîte blanche, boîte noire Compléter la couverture du SUT par des tests générés à partir du code Génération de tests structurels Fuzzing Recherche et analyse automatique de vulnérabilités À partir du code source ou du binaire Approches mixtes : analyse statique et dynamique DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 34

35 Moyens Développement de partenariats Financement de projets de recherche ANR - Astrid RAPID PEA Conventions avec laboratoires de recherche Thèse DGA Création d un laboratoire «Automatisation» Des évaluations Des recherches et analyses de vulnérabilités DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 35

36 Concret Abstrait Modèle Formalisation Abstraction Questions? RSM (UML+OCL) Test Designer Ouest Scénarios abstraits Scénarios concrets Modèle formel UML + OCL Test Designer Exécution sur plate-forme de test Spécifications Schéma XML / XSD Génération OUEST Scénarios abstraits XML Exploitation des résultats Concrétisation Système sous test Scénarios concrets Appels à l API Verdicts Couverture DGA.MI/SSI/ADL - JF CAPURON 11/03/2011 Diapositive N 36