Où se situe la frontière entre données privées et données publiques?

Sébastien Gambs Protection de la vie privée : cours 8 1 Où se situe la frontière entre données privées et données publiques? Sébastien Gambs Université de Rennes 1 - INRIA sgambs@irisa.fr 3 décembre 2015

Sébastien Gambs Protection de la vie privée : cours 8 2 Assainissement de données et attaque par inférence

(Extrait d un article du New York Times paru le 6 août 2006) Sébastien Gambs Protection de la vie privée : cours 8 3 Bris de vie privée Remplacer le nom d une personne par un pseudonyme protection de la vie privée d un individu

Sébastien Gambs Protection de la vie privée : cours 8 4 Résumé de l incident AOL Ensemble de donnés composé de plus de 20 de requêtes de 650 000 utilisateurs couvrant une priode de 3 mois. Seule mesure de protection: remplacement de l identifiant d un utilisateur AOL par un identifiant aléatoire. Fort pouvoir d identification à cause du contenu et de la chaînabilité des données. Pire cas: requêtes de vanité.

Sébastien Gambs Protection de la vie privée : cours 8 5 Ce que la directive 95/46/EC dit à propos des données anonymisées Whereas the principles of protection must apply to any information concerning an identified or identifiable person; whereas, to determine whether a person is identifiable, account should be taken of all the means likely reasonably to be used either by the controller or by any other person to identify the said person; whereas the principles of protection shall not apply to data rendered anonymous in such a way that the data subject is no longer identifiable;... Défi principal : quantifier les risques et la difficulté de désanonymiser des données.

Sébastien Gambs Protection de la vie privée : cours 8 6 Ce que le premier jet du règlement européen dit à propos des données anonymisées To ascertain whether means are reasonably likely to be used to identify the individual, account should be taken of all objective factors, such as the costs of and the amount of time required for identification, taking into consideration both available technology at the time of the processing and technological development. Conséquence : l évaluation du risque de désanonymisation doit prendre en compte les ressources nécessaires pour conduire la ré-identificaton et devrait être faite sur une base régulière.

Sébastien Gambs Protection de la vie privée : cours 8 7 Assainissement Assainissement (sanitisation en anglais) : processus qui accroît l incertitude dans les données afin de protéger la vie privée. Compromis inhérent entre le niveau de protection de la vie privée désirée et l utilité des données assainie. Exemple typique d utilisation : rendre public des données. Exemples tirés de l entrée sanitization sous Wikipedia

Sébastien Gambs Protection de la vie privée : cours 8 8 Ingrédients fondamentaux pour l assainissement 1. Modèle de respect de la vie privée : qu est ce que cela signifie pour des données publiées d être respectueuses de la vie privée? 2. Algorithme d assainissement : comment modifier les données pour atteindre la propriété définie par le modèle de respect de la vie privée? 3. Mesure d utilité : comment mesurer l utilité des données résultantes?

Sébastien Gambs Protection de la vie privée : cours 8 9 Méthodes de randomisation Randomisation : ajout de bruit indépendant (comme gaussien ou uniforme) aux valeurs des informations transmises (par exemple la localisation ou les données enregistrées). But : cacher les valeurs spécifiques des attributs tout en préservant la distribution jointe des données.

Sébastien Gambs Protection de la vie privée : cours 8 10 Modèle possible pour les méthodes de randomisation Extrait d un tutoriel de Adam Smith sur la protection de la vie privée dans les bases de données (mars 2008)

Quelques opérateurs d assainissement Aggrégation : fusionne plusieurs données en une seule donnée représentative. Généralisation : perte de granularité de l information. Exemple: révéler la tranche dâge au lieu de lâge exact. Suppression : enlever l information reliée à un attribut particulier. Remarque : l absence d information peut parfois causer un bris de vie privée (ex : enlever l information sur la maladie d un patient dans un enregistrement seulement s il est atteint d une MST). Introduction de fausses données : ajout denregistrements artificiels dans la base de données afin de cacher les vrais données. Question fondamentale : comment évaluer le niveau de vie privée apportée par ces méthodes? Sébastien Gambs Protection de la vie privée : cours 8 11

Sébastien Gambs Protection de la vie privée : cours 8 12 Attaque par inférence Attaque par inférence : l adversaire prend en entrée un ensemble de données assaini (et possiblement des connaissance auxiliaires) et essaye d inférer de nouvelles informations personnelles. Attaque par chaînage : l adversaire essaye de relier ensemble les enregistrements de deux ensembles de données différents contenant une fraction d individus en commun. Le risque de divulgation par chaînage mesure la probabilité de succès de cette attaque. Défi principal : être capable de donner des garanties de protection de vie privée même contre un adversaire ayant des connaissances auxiliaires. Cependant, il est possible que cette connaissance ne puisse pas être modélisée à priori.

Attaque de désanonymisation Attaque de désanonymisation : l adversaire prend en entrée un ensemble de données assainies ainsi que des connaissances auxiliaires et essayer d inférer les identités des individus contenus dans l ensemble de données. Le risque de ré-identification mesure la probabilité de succès de cette attaque. Défi principal : être capable de donner des garanties de vie privée même contre un adversaire possédant des connaissances auxiliaires. Autres dimensions : L attaque peut être passive (si l adversaire observe simplement le résultat de l anonymisation) ou active (s il peut influencer le système ou le processus d anonymisation). Robustesse de l attaque contre la perturbation des données. Possibilité de répéter la désanonymisation ou une seule tentative. Sébastien Gambs Protection de la vie privée : cours 8 13

Sébastien Gambs Protection de la vie privée : cours 8 14 Attaque par chaînage originelle de Sweeney

Sébastien Gambs Protection de la vie privée : cours 8 15 k-anonymité (Sweeney 02) Garantie : dans chaque groupe de l ensemble de données assaini, chaque individu est identique à au moins k 1 autres. Atteint par une combinaison d opérations de généralisation et suppression. Exemple d utilisation : assainissement de données médicales.

Sébastien Gambs Protection de la vie privée : cours 8 16 Quelques autres métriques de protection de la vie privée l-diversité (MKGV 1 07) : maintient de la diversité dans chaque groupe par rapport aux valeurs possibles des attributs sensibles. Peut être instanciée par une métrique se basant sur l entropie. Protège contre des attaques basées sur l homogénéité et certaines autres attaques. t-proximité (LLV 2 07) : la distribution des attributs dans chaque groupe doit être proche de celle de la population globale. t est un seuil à ne pas dépasser et qui représente la proximité entre distributions. 1 Machanavajjhala, Gehrke, Kifer et Venkitasubramaniam. 2 Li, Li et Venkatasubramanian.

Sébastien Gambs Protection de la vie privée : cours 8 17 Privacy analytics Privacy analytics : compagnie canadienne fondée en 2007 spécialisée dans les solutions d anonymisation et l évaluation des risque de ré-identification.

Sébastien Gambs Protection de la vie privée : cours 8 18 Attaque par intersection Question : supposons que le patron d Alice sache qu elle a 28 ans, qu elle habite dans le quartier ayant le code postal 13012 et qu elle est visitée les deux hôpitaux. Qu est ce qu il peut apprendre?

Sébastien Gambs Protection de la vie privée : cours 8 19 Compétition de Netflix Compétition mise en place par Netflix et proposé comme un défi à la communauté d apprentissage machine pour améliorer la prcision du système de recommendation de films. Ensemble de données de 35000 individus (lignes) où chaque dimension (colonne) est un film. La cellule C i,j contient le score donné par l individu i au film j. Caractéristiques principales: les données sont de haute dimensionnalité (milliers de films) et éparses (la plupart des individus n ont pas voté pour plus de 100-200 films). Remarque: la k-anonymité et autres techniques similaires ne fonctionnent pas dans ce contexte.

Sébastien Gambs Protection de la vie privée : cours 8 20 Ensemble de données publié et dé-anonymisation Forme de l ensemble de données: Aucun identifiant n a été utilisé. Semble fournir une certaine forme d anonymat mais... la dé-anonymisation a été possible pour un nombre important d enregistrements à l aide d une attaque par inférence utilisant Internet Movie DataBase (IMDB) comme information auxiliaire (Narayanan et Shmatikov 08).

Sébastien Gambs Protection de la vie privée : cours 8 21 Exemple d un enregistrement IMDB

Sébastien Gambs Protection de la vie privée : cours 8 22 Résumé de l incident Netflix Les détails de la procédure d anonymisation n ont pas été publiées mais une certaine forme de perturbation a été appliquée aux notes (comme une petite augmentation ou baisse). 99% des utilisateurs peuvent être ré-identifiés avec 8 notes et leurs dates associées (avec une précision de deux semaines). 68% des utilisateurs peuvent être ré-identifiés avec seulement 8 notes et leurs dates associées (avec une précision de trois jours).

Sébastien Gambs Protection de la vie privée : cours 8 23 Quand la recherche sur la vie privée a un impact tangible...

Sébastien Gambs Protection de la vie privée : cours 8 24 Anonymiser un graphe social Anonymiser un graphe (social) peut être une tâche difficile car certains motifs du graphe peuvent être uniques. Exemple: vous êtes la seule personne du réseau qui a 47 contacts parmi lesquels exactement 3 contacts ont chacun 52 contacts. Exemple plus structuré: Conséquence: anonymiser le graphe en enlevant simplement les étiquettes des noeuds et des arêtes n est pas suffisant.

Sébastien Gambs Protection de la vie privée : cours 8 25 Exemple d une attaque active de dsanonymisation Survol de l attaque: L adversaire crée k comptes dans le réseau social. Il génère une clique en créant un graphe complet entre tous les utilisateurs qu il contrôle. Il crée quelques arêtes sortantes vers les individus qu il veut désanonymiser (par exemple en leur demandant d être ami avec certains faux utilisateurs).

Sébastien Gambs Protection de la vie privée : cours 8 26 Differential privacy (Dwork 06) Garantie principale (informelle) : l absence ou la présence dun enregistrement particulier dans la base de données ne devrait pas influencer le résultat d une requête faite sur la base sauf avec faible probabilité. Sinon, l observation du résultat de cette requête peut permettre d inférer la présence ou l absence de cet enregistrement ou sa valeur.

Sébastien Gambs Protection de la vie privée : cours 8 27 Implémenter la differential privacy Garanties de vie privée fortes qui cherchent à s abstraire des connaissances auxiliaires potentielles que pourraient avoir l adversaire. Techniques possibles pour implémenter la differential privacy : Ajout de bruit à la sortie d un algorithme (ex: mécanisme Laplacien). Perturbation des données d entrée de l algorithme. Randomisation du comportement de l algorithme. Création d une base de données synthétique ou d une structure de données résumant et aggrégeant les données. Mécanismes d échantillonnage.

Sébastien Gambs Protection de la vie privée : cours 8 28 Quelques points à garder à l esprit lorsqu on cherche à assainir des données Faire une veille technologique sur l état de l art des attaques par inférence existantes sur ce type particulier de données et aussi sur les bases de données auxiliaires existantes. Choisir la technique d anonymisation de manière à minimiser l efficacité des attaques par inférence. Evaluer empiriquement l efficacité des attaques sur des données réelles afin de quantifier la protection offerte par la technique d anonymisation. Remarque : pas de protection de la vie privée par l obscurité, il est important de publier l algorithme d assainissement afin qu il puisse être scruté par des experts du domaine. Les garanties en terme de vie privée doivent venir de l algorithme d assainissement et aussi de l aléatoire généré.

Distinction: correspond à la possibilité d isoler certains ou tous les enregistrements qui identifient un individu. Correspond à la désanonymisation directe. Chaînabilité: capacité de chaîner, au moins, deux enregistrements concernant le même sujet des données ou groupe de sujet des données. Correspond à une attaque de chaînage. Inférence: possibilité de déduire, avec une probabilité significative, la valeur d un attribut à partir des valeurs d un ensemble d autres attributs. Pas directement relié au risque de ré-identification mais... l attribut pourrait tre directement identifiant ou encore la prédiction de plusieurs attributs dont la combinaison pourrait jouer le rôle de quasi-identificateurs. Sébastien Gambs Protection de la vie privée : cours 8 29 Risques identifiés contre les techniques d anonymisation par le groupe de travail du G29

Conclusion (1/2) Besoin fort de déveloper des attaques de désanonimysation qui peuvent évaluer le niveau de respect de la vie privée fourni par un mécanisme particulier d assainissement. Par défault, tous les attributs devraient être considérés des potentiels quasi-identifiants. Les corrélations entre les attributs peuvent être exploités afin d accroître l efficacité d une attaque par désanomysation. L anonymisation de données structurées est encore plus difficile (besoin de comprendre comment la structure des données peuvent être utilisés pour la désanonymisation et comment les perturber pour l éviter). La possibilité de désanonymiser de manière répétée des utilisateurs est plus dangereux pour le respect de la vie privée que de montrer l unicité des caractéristiques d un individu à une occasion particulière. Sébastien Gambs Protection de la vie privée : cours 8 30

Sébastien Gambs Protection de la vie privée : cours 8 31 Conclusion (2/2) Question fondamentale : comment anonymiser les données avant de les publier pour limiter les risques en terme de vie privée et tout en conservant une utilité raisonnable? Déterminer la bonne manière d assainir un ensemble de données est souvent un processus long et complexe. Exemples de difficultés : La combinaison de plusieurs données anodines peuvent jouer le rôle de quasi-identificateurs et conduire à une dé-anonymisation. Il est possible que plusieurs enregistrements (lignes) ou attributs (colonnes) soient corrélés conduisant à une attaque de dérandomisation reconstruisant une partie des données d origine. Certains algorithmes d anonymisation qui sont trop déterministes peuvent faciliter la reconstruction (attaque par minimisation).

Sébastien Gambs Protection de la vie privée : cours 8 32

Sébastien Gambs Protection de la vie privée : cours 8 33 Quand une donnée peut-elle être considérée publique? Question : est ce que toute donnée publiquement accessible concernant un individu et qui a été mis en ligne explicitement par lui et avec son consentement est une donnée publique? Exemple : supposons qu un bot collecte automatiquement tous les messages postés sur Twitter, est ce qu il collecte seulement de l information qui était déjà publique? Quel est le statut de donnés postées sur des endroits qui se situent entre la sphère publique et privée tel que les réseaux sociaux?

Sébastien Gambs Protection de la vie privée : cours 8 34 Préservation des tweets par la librairie du congrès

Sébastien Gambs Protection de la vie privée : cours 8 35 Réseaux sociaux et respect de la vie privée Problématique principale : antagonisme entre réseaux sociaux actuels (comme Facebook) et respect de la vie privée. En particulier, les utilisateurs de réseaux sociaux partagent une quantité importante de données personnelles ce qui soulèvent de nombreuses questions par rapport à la protection de la vie privée. Exemples : risque de sécurité, atteinte à la réputation, profilage, droit à l oubli,...

Sébastien Gambs Protection de la vie privée : cours 8 36 Partage d information professionelle via les réseaux sociaux

Sébastien Gambs Protection de la vie privée : cours 8 37 Le réseau social, un espace pas vraiment privé

Différence entre attaque par inférence et extraction (légitime) de connaissances Une attaque par inférence permet de déduire de nouvelles informations personnelles (causant ainsi un bris de vie privée) mais... elle pourrait aussi potentiellement être utilisée pour déduire de nouvelles connaissances. Question : où se situe la frontière entre ce qu il est légitime ou non d apprendre? Sébastien Gambs Protection de la vie privée : cours 8 38

Sébastien Gambs Protection de la vie privée : cours 8 39 Ethique de la recherche sur la protection de la vie privée Question : est t il éthique de faire de la recherche sur la protection de la vie privée, et en particulier les attaques d inférence? Exemple : une attaque d inférence mise à jour pourrait être potentiellement utilisée par l adversaire pour apprendre de nouvelles donnes personnelles et causer un bris de vie privée. Remarque : le même type de question se pose en cryptanalyse lorsque les chercheurs essayent d attaquer un cryptosystème pour trouver ses failles ou prouver sa résistance face à certains types d attaque. De la même manière qu en cryptographie, on souhaite éviter une forme de sécurité par l obscurité en étudiant les attaques par inférence et en mettant en avant les failles et limites des systèmes actuels.

Sébastien Gambs Protection de la vie privée : cours 8 40 Neutralité du net et respect de la vie privée Inspection en profondeur de paquets : analyse en profondeur du contenu des paquets réseaux. Peut être utilisé pour améliorer la sécurité des réseaux ou encore pour empêcher la fuite d information mais aussi pour la surveillance et la censure. Par exemple peut être utilisé pour faire du profilage ou pour discriminer le contenu d Internet.

Sébastien Gambs Protection de la vie privée : cours 8 41 Que deviendrait la protection de la vie privée dans un monde de transparence totale? Supposons que vous vivions dans un monde proche de celui de 1984 imaginé par Orwell où chacun soit suivi en permanence par une caméra mais aussi où chaque personne (pas seulement Big Brother) peut observer en permanence les actions des autres personnes. Question : la notion de vie privée aurait-elle encore un sens?

Sébastien Gambs Protection de la vie privée : cours 8 42 C est la fin! Merci pour votre attention. Questions?