ÉVALUATION PRIMAIRE D UN SYSTÈME D AIDE AU CONTRÔLE AÉRIEN EN ROUTE

Proceedings of the SELF-ACE 001 Conference Ergonomics for changing work ÉVALUATION PRIMAIRE D UN SYSTÈME D AIDE AU CONTRÔLE AÉRIEN EN ROUTE CELLIER JEAN-MARIE Laboratoire Travail et Cognition (LTC), UMR CNRS 5551,Maison de la Recherche, Université de Toulouse Le Mirail, 31058 Toulouse Cedex 01. Cellier@univ-tlse.fr AMALDI PAOLA Centre for HCI Design, School of informatics, City University, London CARRERAS OPHÉLIE Laboratoire Travail et Cognition (LTC), UMR CNRS 5551 BOUDES NICOLE Centre d'etudes de la Navigation Aérienne et LTC Résumé Face à l'augmentation des exigences cognitives du contrôle aérien, une réponse possible est de proposer des aides au travail aux contrôleurs aériens. ERATO est un système d'aide intelligent reposant sur un modèle cognitif de l'activité. Notre analyse porte sur une des fonctions d'aide proposée par ERATO : la fonction de filtrage de l'information présentée sur le scope radar. Pour réaliser cette analyse nous avons comparé l'activité de filtrage opérée par des contrôleurs et par le système ERATO. Il ressort de l'analyse des résultats que le système d'aide opère un filtrage de l'information réel mais plus large que celui des contrôleurs. Le deuxième résultat important est qu'il existe un fort degré d'accord entre le filtrage émanant du système d'aide et celui provenant des contrôleurs. Ce résultat nous permet de conclure à la compatibilité de l'aide au travail avec l'activité de traitement des contrôleurs. Mots clés : Aides au travail, Contrôle aérien, filtrage de l'information INITIAL EVALUATION OF AN AIDING TOOL FOR EN ROUTE AIR TRAFFIC CONTROL Abstract Given the challenge represented by the increase in cognitive demands of the Air Traffic Control, (ATC) domain, a possible solution is the design of aiding tools for air traffic controllers (ATCOs). ERATO (En Route Air Traffic Organiser) is an expert system based on a cognitive model of the activity. Our analysis concern one of the functions included in the ERATO system: the filtering of information presented on the radar screen. The output of the information filtering generated by the controllers has been compared to the output generated by ERATO. Results indicate that the filtering of information done by ERATO is realistic but its scope is wider than that of the filtering operated by controllers. The second important finding is the strong agreement between the filtering performed by the system and that carried out by controllers. These results support the hypothesis that the aiding tool is compatible with the information processing of controllers. Key words : Aiding tool, ATC, filtering of information 80

Proceedings of the SELF-ACE 001 Conference Ergonomics for changing work POSITION DU PROBLÈME Le contrôle aérien en route se caractérise par une grande dynamicité du processus à contrôler et de hautes exigences de sécurité. L ambition des années 80 de parvenir à une automatisation quasi-totale du trafic (projet américain AERA I et II) a disparu. Pour faire face à l accroissement du trafic aérien (+ 5 % par an) tout en maintenant ou même en améliorant la sécurité du contrôle, l option d assurer une meilleure assistance à l opérateur est actuellement privilégiée. Les outils d assistance aux contrôleurs doivent s intégrer dans une situation partiellement automatisée. En effet, une partie de la fonction d acquisition d information (9) est appliquée automatiquement et les résultats sont présentés sur le scope radar et sur les strips. Malgré cette assistance, les exigences mentales restent élevées et de nouvelles aides au travail sont recherchées. Le projet ERATO (En Route Air Traffic Organizer), développé par le CENA (Centre National de la Navigation Aérienne) sous la direction de M. Leroux (8), a pour objectif de fournir des informations pré-traitées aux contrôleurs (8). Il s agit d un système d aide intelligent reposant sur un modèle cognitif de l activité élaboré à partir de multiples analyses, soit en situation réelle de travail (7), soit en situation simulée (, 3, 4, 5, 6). La philosophie de conception d ERATO (8) est de proposer des aides à la décision. Deux fonctions principales ont été retenues. La première a pour objectif d'aider au traitement de l'information par un filtrage de l information présentée afin de ne retenir que l information pertinente à un contexte donné. La seconde fonction fonction agenda est une aide à la planification. Elle permet de visualiser sur une fenêtre les problèmes à résoudre dans le futur immédiat. Dans le cadre de cette communication, nous nous limiterons à la fonction de filtrage (cf. 1, ). La fonction de filtrage permet, à la demande de l opérateur, de mettre en sous-brillance les avions qui sont non pertinents pour le problème traité (évaluation des risques de conflits entre un avion cible et les autres avions évoluant dans le même secteur aérien). Cette fonction est sous la maîtrise du contrôleur qui, par un clic sur l étiquette de l avion cible, met en évidence les avions susceptibles d interférer avec celui-ci. Une évaluation primaire d une telle fonction consiste à étudier quelle est la compatibilité entre la fonction de filtrage exercée par un opérateur humain et celle exercée par un automate intelligent (ERATO). L hypothèse sous-jacente est que s il y a compatibilité entre les deux, l aide au travail sera pertinente et dans le cas contraire elle sera vraisemblablement peu utilisée. Les données traitées dans ce travail ont fait l objet d une analyse approfondie visant à définir un modèle de diagnostic nécessaire à l évaluation de la qualité du système d aide proposé (1). La question originale du travail actuel est une comparaison quantitative des réponses de contrôleurs avec les réponses d ERATO. Cette comparaison vise à évaluer quantitativement le degré d accord entre opérateurs et entre les opérateurs et le système. MÉTHODOLOGIE Afin de pouvoir assurer une comparaison entre automate et contrôleurs, nous avons fait le choix de travailler sur simulateur. Les scénarios de trafic ont été sélectionnés par des contrôleurs des Centres de Contrôle Régional (C.C.R.). Ces scénarios devaient comporter les conflits entre avions les plus courants ainsi que des conflits plus exceptionnels. La durée de chaque scénario était de 40 minutes. Cinq scénarios ont été sélectionnés. Un binôme de contrôleurs «a joué» le scénario (contrôle du trafic sur simulateur). Un enregistrement de la simulation a permis sa revisualisation ultérieure par les contrôleurs «expérimentaux». Notre analyse porte sur un seul scénario et 10 contrôleurs d un même Centre régional. Pendant la revisualisation, la simulation était stoppée à des moments préalablement choisis, pour 81

Proceedings of the SELF-ACE 001 Conference Ergonomics for changing work pouvoir interroger le contrôleur sur une liste d avions (avions de référence ou avions cibles) préalablement déterminée. Il y avait 6 interruptions. Au final, chaque contrôleur a été interrogé sur 5 avions de référence. Les interrogations portaient sur : a) le comportement prévisible de l avion ; b) les conflits dans lesquels cet avion pouvait intervenir et éventuellement c) les solutions envisageables, et pour chacune de ces solutions, la liste des avions susceptibles d interférer. Les réponses des contrôleurs étaient enregistrées et ont fait l objet d une totale retranscription. L analyse des protocoles verbaux a permis de dégager pour chaque contrôleur et pour chaque avion de référence : a) les avions interférents (notés comme avions primaires) ; b) les avions susceptibles d être interférents (notés comme avions conditionnels) ; c) les avions à ne prendre en considération que si l avion de référence doit changer de niveau (notés «niveau»). Dans une deuxième phase, la simulation était analysée par ERATO. À l issue de cette analyse par le système ERATO, nous disposions pour chaque avion de référence des avions pris en considération dans tous les cas et des avions pris en considération uniquement si l avion de référence devait changer de niveau de vol. Ainsi, nous disposions, pour un avion de référence donné, des éléments suivants : - Avions "primaires" (conflit hautement probable) considérés par tel ou tel contrôleur. - Avions "conditionnels" (conflit possible si modification de la trajectoire) considérés par tel ou tel contrôleur - Avions "niveau" (avions en évolution verticale) considérés par tel ou tel contrôleur. - Avions primaires considérés par ERATO - Avions "niveau" considérés par ERATO. L analyse a consisté, tout d'abord, à évaluer la réalité du filtrage opéré par les contrôleurs et le système ERATO. Cette évaluation du filtrage a été réalisée d'une part globalement et d'autre part par rapport aux exigences de la situation. Les exigences de traitement sont appréhendées par le nombre d'avions présent sur le scope radar au moment de l'interruption. Deux niveaux d'exigences ont été distingués : situations "peu chargées" (entre 1 et 4 avions sur le scope radar), "situations chargées" (entre 8 et 33 avions). Dans une deuxième phase, nous avons évalué si le filtrage opéré portait sur les mêmes avions. Pour cela nous avons comparé pour chaque avion de référence les résultats de l évaluation de la situation par chaque contrôleur et par ERATO [C1-C ; C1-C3 ; C10-ERATO] sans distinguer à ce niveau d'analyse si l'avion était un avion "primaire", "conditionnel" ou "niveau". Un Indice de l Accord de Traitement (I.A.T.) a été calculé. IA T = [Nombre d accords partagés + Nombre d oublis partagés]/ Nombre total d avions où, dans le nombre total d avions, nous considérons l ensemble des avions ayant été pris au moins une fois en considération (soit par un contrôleur, soit par ERATO). 8

Proceedings of the SELF-ACE 001 Conference Ergonomics for changing work RÉSULTATS Filtrage de l'information L'examen du tableau 1 montre qu'erato se caractérise par un filtrage de l'information moins sévère que les contrôleurs. Sur l'ensemble des avions cités comme pouvant interférer avec les avions cibles, ERATO en retient 67 % alors que la moyenne des contrôleurs est de 41 % (maximum 63 % ; minimum 3 %). Cette tendance se retrouve lorsqu'on analyse le filtrage opéré par rapport au nombre total d'avions sur le scope radar. En effet, ERATO retient 1 % des avions alors que la moyenne des contrôleurs est de 1 % (maximum 19,5, minimum : 7,1). L'augmentation du niveau d'exigence de traitement se traduit pour ERATO et les contrôleurs par un filtrage plus sévère. Tableau 1 : Filtrage de l'information (en %) par les contrôleurs et ERATO et niveau d'exigences des situations ("chargées", "peu chargées") Contrôleurs ERATO Pourcentage d'avions pris en Globalement 41 % 67 % considération par rapport au Situations "peu chargées" 44 % 81 % nombre d'avions cités Situations "chargées" 39 % 58 % Pourcentage d'avions pris en Globalement 1 % 1 % considération par rapport au Situations "peu chargées" 14 % 6 % nombre total d'avions sur le scope Situations "chargées" 11,5 % 17 % Compatibilité du filtrage entre les contrôleurs et ERATO L'analyse du tableau qui synthétise les résultats de l'indice d'accord de Traitement montre que : - ERATO a un fort degré d'accord avec les traitements opérés par les contrôleurs. - Les contrôleurs ont un comportement relativement homogène à l'exception des contrôleurs C3, C7 et C9 qui présentent des écarts avec leurs pairs plus conséquents. Le croisement de l'indicateur IAT et du degré de filtrage révèle la position particulière de C9 qui se caractérise par un degré de filtrage moins sévère et un degré d'accord avec les autres contrôleurs et ERATO plutôt moyen. Tableau : Indice d Accord de Traitement entre contrôleurs et ERATO C1 C C3 C4 C5 C6 C7 C8 C9 C10 ERATO C1 0,75 0,71 0,70 0,75 0,66 0,60 0,70 0,61 0,66 0,76 C 0,75 0,67 0,77 0,77 0,70 0,60 0,70 0,5 0,76 0,75 C3 0,71 0,67 0,56 0,64 0,60 0,35 0,69 0,63 0,63 0,66 C4 0,70 0,7 0,56 0,76 0,67 0,59 0,67 0,53 0,69 0,73 C5 0,75 0,77 0,64 0,76 0,73 0,6 0,71 0,57 0,59 0,76 C6 0,66 0,70 0,60 0,67 0,73 0,56 0,65 0,5 0,5 0,71 C7 0,60 0,60 0,35 0,59 0,6 0,56 0,59 0,60 0,57 0,56 C8 0,70 0,70 0,69 0,67 0,71 0,65 0,59 0,55 0,69 0,67 C9 0,61 0,5 0,63 0,53 0,57 0,5 0,60 0,55 0,49 0,5 C10 0,66 0,76 0,63 0,69 0,69 0,66 0,57 0,69 0,49 0,71 ERATO 0,76 0,75 0,66 0,73 0,76 0,71 0,56 0,67 0,5 0,71 83

Proceedings of the SELF-ACE 001 Conference Ergonomics for changing work CONCLUSION Les résultats de notre étude font apparaître que l'aide apportée par ERATO au filtrage de l'information remplit sa fonction. En effet, le filtrage est réel bien que moins sévère que celui opéré par les contrôleurs. De plus ce filtrage est plus conséquent dans les situations les plus chargées, ce qui correspond à l'aide attendue. L'analyse du degré d'accord dans le choix des avions interférents (ou non interférents) par rapport à un avion cible montre une forte cohérence entre les propositions du système d'aide et les choix des contrôleurs. Il apparaît donc que le système ERATO, dans sa fonction de filtrage de l'information, est compatible avec l'activité de traitement de l'information du scope radar des contrôleurs. Cette première évaluation devra être complétée par une évaluation prenant en compte toutes les nouvelles fonctionnalités dans un contexte opérationnel. En effet, une aide au travail peut être pertinente en soi mais se révéler de peu d'utilité dans une situation opérationnelle où les contraintes sont sensiblement différentes d'une simulation aussi réaliste que possible. RÉFÉRENCES (1) AmaldiI, P. (1999). Le rôle d un modèle du diagnostic dans l évaluation d un système d aide à la décision dans le contrôle aérien : le cas ERATO. Thèse de doctorat Nouveau Régime en Ergonomie, Université de Toulouse le Mirail, 55p. () Amaldi, P., Boudes, N., Cellier, J.M. (1996). Information processing strategies in air traffic controllers. In Proceedings of the 0 th Congress of International Council of the Aeronautical Sciences (ICAS) pp. 036-045. (3) Boudes, N., Amaldi, P., Cellier, J.M., Leroux, M. (1995). Foreseeing judgment in an informationally rich environment : the case of air traffic control. In L. Norros (Ed.), Proceedings of the Fifth European Conference on Cognitive Science Approaches to Process Control, pp. 76-88 (Helsinki, Finlande, 30 août-1er septembre). (4) Boudes, N., Amaldi, P., (1997). Memory performance and diagnostic processes in air traffic control. In S. Bagnara, E. Hollnagel, M. Mariani, & L. Norros (Eds.), Proceedings of the Sixth European Conference on Cognitive Science Approaches to Process Control, pp. 04-08 (Baveno, Italie, 0-4 septembre) (5) Boudes, N., Cellier, J.M. (1998). Étude du champ d'anticipation dans le contrôle du trafic aérien. Le Travail Humain, 61 (1), 9-50. (6) Boudes, N., Cellier, J.M. (000). Accuracy of estimations made by air traffic controllers. International Journal of Aviation Psychology, 10 (), 07-5. (7) Leroux, M. (199). How to define a philosophy of automation in ATC. Note CENA/N9738. Toulouse : CENA. (8) Leroux, M. (1997). ERATO. Une aide au contrôleur aérien. Control, n 85. (9) Parasuraman, R., Sheridan,T.B. et Wickens, C. D. (000). A model for types and levels of human interaction with automation. IEEE Tansactions on systems, man, and cybernetics part A : Systems and humans, Vol. 30, N 3, pp. 86-97. 84