INF8007 Langages de script

Transcription

1 INF8007 Langages de script Introspection et parsage 1/27 INF8007 Langages de script Introspection et parsage Michel Desmarais Alexandre Spaeth Génie informatique et génie logiciel École Polytechnique de Montréal Hiver, 2013

2 INF8007 Langages de script Introspection et parsage 2/27 Introspection et parsage 1 L introspection 2 Parseur HTML 3 Utilitaire pour arborescences XML 4 JSON

3 INF8007 Langages de script Introspection et parsage 3/27 Visibilité des attributs d un objet Les bases de l introspection Les attributs d un objet sont nommés On peut obtenir une référence à l attribut à partir du nom Permet un très haut niveau de dynamisme Affichage de l API d un objet Aiguillage (dispatching) basé sur des mots-clés dont certaines librairies font usage unittest utilise la nomenclature test <nom méthode>

4 INF8007 Langages de script Introspection et parsage 4/27 La fonction getattr >>> li = [] >>> dir (li) [' add ', ' class ',... ' str ', 'append ', 'count ',... ] >>> getattr (li, 'append ') < built - in method append of list object at 0x6c2ab8 > >>> callable ( getattr (li, 'append ')) True >>> callable ( getattr (li, ' doc ')) False >>> f = getattr (li, 'append ') >>> f(2) >>> li [2]

5 INF8007 Langages de script Introspection et parsage 5/27 Utilisation de l introspection Un exemple d utilisation de getattr() pour l aiguillage consiste à définir des méthodes qui suivent une nomenclature. Par exemple : Une classe générique est créée, foo, et comporte une méthode de défaut pour imprimer print default handler() On dérive une classe de foo, la classe bar, qui comporte des méthodes nommées selon la méthode de défaut On suit la nomenclature : print <nom> On définit un mécanisme pour associer un appel à la méthode spécifique si elle existe, sinon on appelle la méthode de défaut du parent. Quelques détails sont donnés dans le transparents suivant et la librairie SGML démontre une utilisation réaliste de ce mécanisme.

6 INF8007 Langages de script Introspection et parsage 6/27 L instrospetion à l oeuvre >>> class foo () :... def print_default_handler ( self ) : print ('foobar ' >>> class bar ( foo ) :... def print_abc ( self ) : print ('abc ') >>> foo_inst = foo () >>> bar_inst = bar () >>> f = getattr ( foo_inst, ' print_abc ', foo_inst. print_default_handler ) >>> f() foobar >>> f = getattr ( bar_inst, ' print_abc ', foo_inst. print_default_handler ) >>> f() abc >>>

8 INF8007 Langages de script Introspection et parsage 8/27 Le parsage Dans leur grand classique Structure and interpretation of computer languages, Sussman et Abelson soutiennent que tout programme de moindre envergure doit créer ses propres abstractions linguistiques. Fichiers de configuration Règles (ex. règles d affaires ; règles de composition d images) Traitement de la langue naturelle

9 INF8007 Langages de script Introspection et parsage 9/27 Parseur HTML de html.parser HTML est un langage de balises issus de SGML HTML n a cependant pas la même exigence de rigueur qu un langage SGML normal XML est aussi un dérivé de SGML XML sert toutefois à la définition d autres langages, tout comme SGML Le parseur html.parser définit des méthodes selon le type de balises trouvé http ://docs.python.org/3/library/html.parser.html

10 INF8007 Langages de script Introspection et parsage 10/27 Exemple basique Le parseur HTML HTMLParser from html. parser import HTMLParser class MyHTMLParser ( HTMLParser ): def handle_starttag (self, tag, attrs ): print (" Balise ouvrante :", tag ) def handle_endtag (self, tag ): print (" Balise fermante :", tag ) def handle_data (self, data ): print (" Des données :", data ) > > > parser = MyHTMLParser () >>> parser. feed ('<html ><head >< title >Test </ title > </ head '<body ><h1 > Parse me! </h1 > </ body > </ html >')

11 INF8007 Langages de script Introspection et parsage 11/27 ExtracteurLiens La gestion du début d une balise normale est faite par handle starttag Exemple avec un programme qui extrait les URL : class ExtracteurLiens ( HTMLParser ): def init ( self ) : # constructeur HTMLParser. init ( self ) self. links = [] # liste des liens def handle_starttag (self, tag, attrs ): if tag == 'a' : for attr in attrs : if attr [0] == " href " : self. links. append ( attr [1])

12 INF8007 Langages de script Introspection et parsage 12/27 ExtracteurLiens La méthode handle starttag sera appelée dès qu une balise HTML normale <A...> sera rencontrée. Il s agit alors de vérifier si le nom de la balise (dans tag) est bien celui désiré

13 INF8007 Langages de script Introspection et parsage 13/27 Les données entre les balises Il y a d autres types de handler selon le type de balises (commentaires, déclarations SGML, les caractères spéciaux, ou autres). On peut récupérer les données entre une balise comme : <P> Le texte d un paragraphe </P> avec la méthode handle data On peut récupérer les commentaires entre une balise comme :  avec la méthode handle comment def handle_data (self, data ): print ('Données : ', data ) def handle_comment (self, data ): print ( Commentaire : ', data )

14 INF8007 Langages de script Introspection et parsage 14/27 Utilisation with open ('fichier. html ', 'r') as f : text = f. read () parseur = ExtracteurLiens () parseur. feed ( text ) parseur. close () # Termine la lecture links = parseur. get_ links () # retourne self. links print ('Liens trouvés :') print ( links )

16 INF8007 Langages de script Introspection et parsage 16/27 Utilitaire pour structure XML Les structures XML sont très utilisées et des utilitaires existent en Python pour les modèles DOM et SAX Pour une utilisation simple, comme la gestion d un fichier de configuration, xml.etree.elementtree est fort pratique : elementtree.html

17 INF8007 Langages de script Introspection et parsage 17/27 Exemple > > > from slideshow import document >>> print ( document ) < slideshow > < title > Demo slideshow </ title > < slide >< title > Slide title </ title > < point > This is a demo </ point > < point > Of a program for processing slides </ point > </ slide > < slide >< title > Another demo slide </ title > < point >It is important </ point > < point >To have more than </ point > < point > one slide </ point > </ slide > </ slideshow >

18 Exemple Extraction INF8007 Langages de script Introspection et parsage 18/27 Extractions des noeuds point sous les noeuds slide : > > > from xml. etree import ElementTree > > > e = ElementTree. fromstring ( slideshow. document ) >>> for i in (e. findall ('slide ')) :... for j in i. findall ('point ') :... print ('Point : %s' % ElementTree. tostring (j)... point : < point > This is a demo </ point > point : < point > Of a program for processing slides </ poi point : < point >It is important </ point > point : < point >To have more than </ point > point : < point > one slide </ point >

19 Exemple Texte d un noeud INF8007 Langages de script Introspection et parsage 19/27 Extraction du texte des noeuds point >>> for i in (e. findall ('slide ')) :... for j in i. findall ('point ') :... print 'point : %s' % j. text... point : This is a demo point : Of a program for processing slides point : It is important point : To have more than point : one slide

20 INF8007 Langages de script Introspection et parsage 20/27 Manipulation de l arbre etree Les paquetages TreeBuilder et XMLTreeBuilder permettent de créer des structures d arbre En combinant XMLTreeBuilder avec une classe comme TreeBuilder, on peut notamment gérer des structures sur mesure ou qui ne respectent pas la syntaxe utile pour extraire des éléments d un fichier HTML qui ne ferme pas les balises! write permet d écrire la structure XML dans un fichier et ElementTree.tostring() écrit dans une string

21 INF8007 Langages de script Introspection et parsage 21/27 Construction d un fichier XML > > > from xml. etree import ElementTree >>> a = ElementTree. Element ('a') >>> b = ElementTree. SubElement (a, 'b') >>> c = ElementTree. SubElement (a, 'c') >>> c. text = " Élément c" >>> d. set (" attribut "," Enfant ") > > > d = Elemtree = ElementTree. ElementTree ( a) >>> ElementTree. dump (a) >>> tree = ElementTree. ElementTree (a) >>> tree. write (" test. xml ")

23 INF8007 Langages de script Introspection et parsage 23/27 Introduction Les structures JSON sont de plus en plus utilisées, puisqu elles permettent de faire communiquer des applications dans un environnement hétérogène. Un document JSON ne comprend que deux éléments structurels : des ensembles de paires nom / valeur ; des listes ordonnées de valeurs. Les valeurs peuvent être : des tableaux, des booléens, des nombres, des chaînes, null Python intègre des libraires pour gérer le JSON : { } "a": 1, "b": [1,2,3,4]

24 INF8007 Langages de script Introspection et parsage 24/27 json.dump json.dump permet de transformer les objets Python simples et les écrits dans un fichier JSON json.dumps permet de transformer les objets Python simples et donne une chaîne de caractère au format JSON. >>> import json >>> json. dumps (['foo ', {'bar ': ('baz ', None, 1.0, 2)}] '[" foo ", {" bar ": [" baz ", null, 1.0, 2]}]' >>> print ( json. dumps ({'a':1,"b":[1,2,3]}, indent =4)) { "a": 1, "b": [ 1, 2, 3 ] }

25 INF8007 Langages de script Introspection et parsage 25/27 json.load json.load permet de décoder un document JSON en objet Python. json.loads permet de décoder une chaîne de caractère JSON en objet Python. >>> import json >>> json. loads ('[" foo ", {" bar ":[" baz ", null, 1.0, 2]}] ['foo ', {'bar ': ['baz ', None, 1.0, 2]}] >>> a = json. loads ('[" foo ", {" bar ":[" baz ", null, 1.0, >>> a[1][" bar "][3] 2

26 INF8007 Langages de script Introspection et parsage 26/27 Objets non encodables par défaut Dans le cas d objets non simples, on peut préciser la méthode d encodage et de décodage >>> import json >>> obj = complex (1,3) >>> json. dumps ( obj ) [... ] TypeError : ( 1 + 3j) is not JSON serializable > > > class ComplexEncoder ( json. JSONEncoder ):... def default (self, obj ):... if isinstance ( obj, complex ):... return {' complex ':True, 'real ': obj... return json. JSONEncoder. default ( self, obj )... >>> json. dumps (2 + 1j, cls = ComplexEncoder ) '{" imag ": 1.0, " complex ": true, " real ": 2.0}'

27 INF8007 Langages de script Introspection et parsage 27/27 Décodage personnalisé d objets >>> import json >>> a = '{" imag ": 1.0, " complex ": true, " real ": 2. >>> json. loads (a) {'imag ': 1.0, ' complex ': True, 'real ': 2.0} >>> def as_complex ( dct ):... if ' complex ' in dct :... return complex ( dct ['real '], dct ['imag '])... return dct >>> json. loads (a, object_hook = as_complex ) (2+1j)