Conférence : «Éthique, défense, sécurité et agents artificiels autonomes», Jean-Gabriel Ganascia (Paris 6), Jeudi 24 Avril 2014

Transcription

1 Conférence : «Éthique, défense, sécurité et agents artificiels autonomes», Jean-Gabriel Ganascia (Paris 6), Jeudi 24 Avril 2014 Remplacer les soldats par des robots «éthiques» Rationnellement moins de morts (point de vue utilitariste) Effrayant (machines de mort), mais que le début Organismes non gouvernementaux : veulent un moratoire sur les drones Développement : Les états : ne savent pas de quoi la guerre sera faite Ils ne veulent pas ce moratoire parce qu ils ne veulent pas être empêchés d utiliser des armes dans le futur. Une machine intelligence? On peut fabriquer des machines qui vont interpréter des ensembles de normes (p.q. les normes sont faciles à appliquer) Théorie de la guerre + principe de distinction Possible avec une machine? - Capteurs - Représentation - Décision => Problème : construire la représentation DGA : gens qui sont sur un théâtre d opérations. Le pilote qui voit des gens, est-ce qu il voit des armes? Par exemple la kalachnikov peut ne pas être une arme par son principe même, la théorie pêche. Notamment : application des systèmes de normes de la guerre juste + principe de proportionnalité Au niveau de la technique informatique de la décision : se demander jusqu à quel point on peut formaliser la décision Argumenter la décision pour voir si l ensemble des procédures a été respecté. Questions : origine et application des normes éthiques => conflit. L application n est pas indépendante des normes elles-mêmes Origine des normes : Comment formaliser les choses? Conflits -> mensonge Il y a une opposition entre les philosophes sur le mensonge. St Augustin, Kant VS Constant On peut aussi avoir d autres types de questions éthiques : Le suicide : est-ce moral? Jean Moulin s est suicidé par exemple, mais on ne lui a pas reproché, alors qu on le reproche à d autres Il faut des acteurs qui doivent arbitrer On ne peut pas avoir une norme éthique qui dit qu il est possible de mentir

2 John McCarthy 1955 : intelligence artificielle, théorie des jeux. A écrit une nouvelle de science-fiction. Montre que des règles générales à un moment donnée peuvent être confrontées à une réalité qui peut les mettre en échec. Utilisation domestiques Robots peuvent être un traumatisme psychologique pour les enfants -> ils ne doivent pas s attacher aux robots. Pourtant : si l enfant va mourir, il y a un dilemme entre s approcher de l enfant et le sauver, ou bien le laisser mourir. A ce moment là, le robot surpasse la règle et nourrit l enfant. Lois d Asimov Questions sur la morale des robots Conflit de règles. Logiques modales = on ne considère pas que les règles, mais aussi une modalité Déontique => modalité = obligation Définition de fonction monotone Axiome => théorème Systèmes non monotones : il faut plus d axiomes, et moins de théorèmes Benjamin Constant : point de départ. P.q. des règles générales ne sont pas applicables à des drones => on n a pas découvert le principe interne. Il faut formaliser les différents types de systèmes éthiques - Ensemble de réponses - Interprétations de Bertrand Modélisation des agents artificiels : (p (père), s (situation), b (budget), a (action) ) 1. Volonté 2. Contrainte Volonté = autonomie Bonne : si c est une action dont les conséquences ne sont moins pires que celles sans Mauvais : Inverse Mensonge : On pose une question et on peut répondre par la vérité ou le mensonge si on cache qqn chez nous et que des meurtriers viennent le chercher, on peut leur cacher la vérité Toute action est meilleure que tuer quelqu un si on ajoute une relation on obtient un ensemble de normes Développer les critères : il faudrait formaliser les notions d altruisme, d hédonisme en matière d information

3 Logiques déontiques -> machine Kantienne? Pour Kant, on choisit les maximes de sa volonté. C est une caractérisation éthique de la maxime universalisable. «Agis de telle sorte que la maxime de ta volonté puisse être érigée en loi universelle.» Pourquoi ça pose problème? Critère méta éthique pas de société dans laquelle tout le monde puisse mentir. Il faut développer cette idée sur différents critères Principes de Constant : je ne dois pas dire la vérité à quelqu un qui ne la mérite pas (rythme ternaire) Rythme de Kant : binaire Systèmes qui soient capables de représenter des ensembles de normes et de les construire Projet ETICAA (Ethique des agents autonomes) - recherche l existence de normes et de procédures Il y a une certaine multiplicité des acteurs pour prendre une décision chez les militaires Il ne s agit pas d automatiser la décision, mais de trouver la place de l agent artificiel à l intérieur d une décision. Applications militaires / autonomie morale - Comment un robot peut-il agir sur un champ de bataille? - Problèmes en termes de Jus in Bello Questions des doctorantes : Un robot (ou agent autonome) se définit par : - Une capacité d action - Une perception du monde - Un but / des désirs Si on parle du drone, est-il un robot? Et le robot, est-il différent d un AAA? Pour le drone, les deux premières caractéristiques sont présentes. LE problème c est : quels sont les buts d un drone qui est autonome? Eliminer? Traiter des informations? Obéir aux ordres? Et si il n y a pas d opérateurs? intentionnalité = pierre angulaire de la responsabilité. Comment penser la responsabilité du drone en zone d action? Jus in Bello -> l utilisation de drones renforce l esprit asymétrique de la guerre problème d égalité morale entre les combattants (droit de tuer p.q. moi aussi je prends le risque de mourir) Autonomie demande de travailler : la notion de responsabilité, et le droit appliqué pour les robots.

4 Travail sur l éthique de la guerre : il y a ceux qui l élaborent et ceux qui sont contre débat entre le drone Terminator et la vision idyllique du robot Question : pour avoir une guerre juste, faut-il éradiquer l humain? - L homme est irrationnel, sujet à la fatigue => peut faire des entorses au droit de la guerre - Avocats : pas assez d informations pour décider quoi faire (législation, responsabilité) - Les robots sont-ils utilisés pour des questions d intelligence? Le développement des robots se fait-il pour la surveillance? Si on avait un robot avec une éthique parfaite, aurait-on une guerre juste? Question du sacrifice : l homme fait des actes héroïques, pas possible pour un robot. Robots tueurs / Robots qui aident : problématiques parce qu ils permettent aux conflits de se prolonger (ceux-ci s arrêtent quand il y a eu trop de pertes humaines, mais si on envoie des robots, ils ne s arrêteront plus Il suffit de fabriquer plus de robots ) Comment arrêter la guerre? Penser au Jus post bellum -> c est à ce moment qu on juge si une guerre a été juste ou pas La guerre devient scindée en deux. Il faudrait un droit de la guerre plus exigeant. Problématique : Machette contre drone -> est-ce-que ça va faire s effondrer le droit de la guerre? Réponse de Ganascia : Responsabilité : Question centrale Personne morale associée à cette hypothèse? Si la responsabilité est pénale, il y a une sanction, mais quelle sanction? Quel est le devenir de la responsabilité quand on a à faire à des robots? Complexe : ni le possesseur ni le constructeur ne peuvent tout maîtriser il y a une part d imprévisibilité On est tous, techniciens ou citoyens, désemparés devant les évolutions actuelles. LA science fiction est devenue actuelle!!! Autres questions posées : que dire du rapport entre guerre juste et robots éthiques? Cela n a pas de sens, il faut penser aux dissymétries. Il y a des parties qui se sentent tous les droits parce qu elles sont écrasées par la technologie. Il faut penser aussi que le drone est très bon marché

5 Il y a plusieurs gammes de drones (surveillance, localisation, action à distance ) Les guerres dans le cyber espace sont de nouvelles formes de guerre qui se mettent en œuvre. Notion de sacrifice : on a une guerre démocratique, plus chevaleresque (reconduction d une question plus ancienne datant de 1914) on a voulu créer une nouvelle décoration militaire pour les manipulateurs de drone Réaction : contre p.q. insulte à tous les morts de guerre Question de la frontière : - Equiper sensoriellement les robots pour qu ils soient capables de distinguer les migrants/trafiquants? - Consortium? Postulat d universalité : militaires différents des civils Automatisation de la décision dans un processus collectif? Ou est-ce-que c est pas précisément pour éliminer ça qu on automatise? Automatisation du champ de bataille? (plus de questions morales que d éthique ) Il faut savoir choisir => systèmes de recommandations multiples Sur la vie privée : questions d images centrales : certifier des logiciels d automatisme Notion de vie privée en train de changer Trilemne : transparence, sécurité, vie privée? Autre question sur l automatisme : il y a un moment où l automate doit être capable d arrêter l homme (accidents de bateaux provenant de mauvaises décisions humaines) La discrimination entre civils et militaires n est pas facile, et les lois de la guerre sont inapplicables car la reconnaissance des formes est très difficile L arme atomique a mis fin à la 2 e GM La robotique n a pas cet objectif Il y a aggravation de la dérégulation -> bombe dans l édifice? Conflits morale / éthique : réfléchir à l éthique avec des outils moraux Danger : créer des frustrations dans les populations Afghanistan drones de surveillance très mal perçus Tradition de la guerre juste illusoire en ce moment : temps qui manque ne pas remettre en question le système traditionnel, car ce serait une remise en question de l armée Le droit de la guerre n est pas de l éthique Responsabilité collective