Python : exploitation de données

Transcription

1 Python : exploitation de données Toutes les fonctions de ce TP devront être documentées et testées. 1 Le fichier des naissances Le fichier CSV des naissances en France métropolitaine est adapté d un fichier INSEE edit#gid=0 et contient les nombres de naissances en France, pour chaque jour de 1968 à Recopiez ce fichier dans votre répertoire de travail. Ouvrez-le avec un éditeur de texte standard (ou l éditeur de Python) et examinez sa structure. Vous constatez qu après quelques lignes d en-têtes, il est structuré en lignes contenant les données suivantes : 1968,Juin,70 355,2 359,2 237,2 215,2 206,2 323,2 412,2 329,2 255,2 243, 2 284,2 347,2 321,2 301,2 303,2 404,2 337,2 394,2 441,2 461,2 394,2 224, 2 338,2 209,2 402,2 423,2 447,2 475,2 444,2 497,2 330, Chacune de ces lignes contient le millésime (numéro) de l année, le nom du mois, le total des naissances de ce mois, puis, jour par jour, le nombre des naissances quotidiennes. En fin de fichier, quelques lignes contiennent également des informations générales sur le fichier (contexte, source). 1/7

2 2 Récupération des données par Python Pour lire le contenu du fichier et le stocker dans une variable chaîne de caractères, utilisez la syntaxe suivante : # naissances.py # 20/01/2016 JCG pour ISBS nom_fichier = "naissances_france_1968_2010.txt" 1 fic = open 2 (nom_fichier, encoding 3 ='utf8') texte = fic.read() 4 fic.close() 5 N affichez pas l intégralité du texte, mais par exemple les cent caractères du caractère n o 500 au caractère n o 600. Avec : print(texte[500: 600]) vous devriez obtenir ceci :,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,, 1968,Janvier,70 409,2 080,2 319,2 335,2 338,2 319,2 212, 3 Extraction des données pertinentes Le texte est structuré en lignes, terminées par des caractères retour ligne ( '\n' ). à rendre À partir de la chaîne texte, créez la liste des lignes du fichier des naissances que vous référencerez par le nom listenaissances. Aide : pour créer la liste des lignes d un texte, on peut utiliser la méthode split de la classe str. Par exemple : """ligne1 ligne2 ligne3""".split('\n') donnera ['ligne1', 'ligne2', 'ligne3'] N en affichez pas l intégralité, mais par exemple de 100 en 100. Avec : print(listenaissances[ : : 100]) vous devriez obtenir (le caractère '\xa0' est l espace insécable) : [',,DONNÉES QUOTIDIENNES DU MOUVEMENT NATUREL DE 1968 À 2010,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,,', '1975,Mai,71\xa0894,2\xa0146,...,2\xa0294,2\xa0166 ', '1983,Septembre,61\xa0396,2\xa0085,...,2\xa0100,2\xa0134, ', '1992,Janvier,61\xa0964,1\xa0381,...,2\xa0136,2\xa0163 ', '2000,Mai,67\xa0324,1\xa0740,...,2\xa0341,2\xa0371 ', '2008,Septembre,67\xa0820,2\xa0311,...,2\xa0406,2\xa0425, '] 1. la chaîne contient le nom du fichier texte sur disque. Il faut mettre le chemin complet si ce fichier n est pas dans le même répertoire que le programme que l on écrit. 2. open tente d accéder au fichier sur disque et retourne un objet permettant d agir sur ce fichier 3. encoding spécifie le format des données du fichier(utf8, ascii, cp1252) 4. read charge sous forme de texte (str) l intégralité du fichier disque 5. close libère les ressources utilisées pour accéder au fichier 2/7

3 à rendre Nettoyez la liste listenaissances de manière ne conserver que les lignes pertinentes (celles commençant par un millésime d année). Aide : Dans une boucle inversée ( for i in range(len(listenaissances)-1, -1, -1): ) si la ligne i ne commence pas par un chiffre, supprimez-la ( listenaissances.pop(i) ). à rendre Modifiez la liste listenaissances pour que chaque élément de la liste soit une liste [année, mois, total, jours], p. ex. pour janvier 1968 : ['1968', 'Janvier', 70409, [2080, 2319, 2335, 2338, 2319, 2212,...,2303]] Aide : vous pouvez utiliser une boucle for i in range(len(listenaissances)): puis pour chaque listenaissances[i], créer et initialiser les références année, mois (de type str ) et total (de type int ), puis la référence jours (de type list ) contenant la suite des nombres de naissances du jour (de type int ) et enfin réaffecter à listenaissances[i] la liste (année, mois, total, jours). Aide : pour transformer en int une chaîne de caractères contenant des espaces (comme 2 311, qui contient le caractère espace insécable de code Unicode 160 ou A0 en hexadécimal), on pourra utiliser la fonction suivante : def str_to_int(txt): liste_composants = txt.split() txt_sans_espaces = ''.join(liste_composants) try: n = int(txt_sans_espaces) except Exception as e: print("problème en tentant de convertir en entier la chaîne '"+txt+"'") raise e return n print(str_to_int('2\xa0311 ')) 2311 ou utiliser le module locale et sa fonction atoi : import locale locale.setlocale(locale.lc_numeric, '') print(locale.atoi('2\xa0311 ')) Sélection de données Les naissances en 1995 à rendre Écrivez les instructions permettant de répondre aux questions suivantes : - Combien y a-t-il eu de naissances le 27 juillet 1996? - Quel jour de 1996 a vu le moins de naissances? - Quel jour de 1996 a vu le plus de naissances? Les cumuls par mois sur la période à rendre Écrivez les instructions permettant de répondre aux questions suivantes : 3/7

4 - Sur la période considérée (de 1968 à 2010), quels sont les cumuls par mois? - Quels sont les deux mois ayant vu le plus de naissance? - Quels sont les deux mois ayant vu le moins de naissances? Aide : Pensez à créer un dictionnaire avec comme clé le mois et comme valeur le cumul des naissances vues ce mois. Les cumuls par jour sur la période à rendre Écrivez les instructions permettant de répondre aux questions suivantes : - Sur la période considérée (de 1968 à 2010), vérifiez que personnes sont nées un 22 mai. - Quelles sont les 10 dates d anniversaire les plus fréquents? - Quelles sont les 10 dates d anniversaire les moins fréquentes? Aide : Pensez à créer un dictionnaire avec comme clé le couple (jour, mois) et comme valeur le cumul des naissances vues ce jour. Les informations cachées On peut remarquer que parmi les jours voyant le moins de naissance se trouvent le 29 février (évidemment) mais aussi les jours fériés fixes. En effet, de plus en plus d accouchements sont programmés, et les dates choisies sont des jours ordinaires (il y a moins de personnel les jours fériés). Il y a également les jours de congé : le samedi et le dimanche. à rendre Comment déduire pour une année donnée les samedis et les dimanches? Les jours de Pâques, de l Ascension (39 jours plus tard) et de la Pentecôte (49 jours plus tard) sont mobiles. L Ascension tombe toujours un jeudi, et les lundis de Pâques et de Pentecôte sont fériés. à rendre Comment déduire pour une année les dates de Pâques, de l Ascension et de la Pentecôte? La date de Pâques est fixée au premier dimanche suivant la première pleine lune de printemps. à rendre Peut-on déduire à partir des données des naissances de 1968 à 2010 les phases de la lune sur cette période? # graphique des naissances d'une année entre 1968 et 2010 # récupération des données des naisances import urllib.request naissancesurl = " D9D519duKxsLu3ovXXyOjHge6P0y2ZVp7Q3GqedaiUc/"\ "export?format=csv&id=1 D9D519duKxsLu3ovXXyOjHge6P0y2ZVp7Q3GqedaiUc&gid=0" 4/7

5 naissancescsv = urllib.request.urlopen(naissancesurl) naissancestxt = naissancescsv.read().decode('utf8') naissancescsv.close() # utilitaires NOMS_DES_MOIS = "janvier février mars avril mai juin juillet août septembre octobre novembre décembre".title().split() DICO_NUMMOIS_VERS_NOMMOIS = dict((i+1,m) for i,m in enumerate(noms_des_mois)) DICO_NOMMOIS_VERS_NUMMOIS = dict((x[1],x[0])for x in DICO_NUMMOIS_VERS_NOMMOIS. items()) def str_to_int(s): return int(''.join(s.split())) # traitement d'une chaîne de la forme # """1968,Juin,70 355,2 359,2 237,2 215,2 206,2 323,2 412,2 329,2 255,2 243, # 2 284,2 347,2 321,2 301,2 303,2 404,2 337,2 394,2 441,2 461,2 394,2 224, # 2 338,2 209,2 402,2 423,2 447,2 475,2 444,2 497,2 330,""" # pour créer la liste : # [1968, 6, 70355, [2359, 2237, 2215, 2206, 2323, 2412, 2329, 2255, 2243, # 2284, 2347, 2321, 2301, 2303, 2404, 2337, 2394, 2441, 2461, 2394, 2224, # 2338, 2209, 2402, 2423, 2447, 2475, 2444, 2497, 2330] def traite(t): if t and t[0].isdigit(): l = [x.strip() for x in t.split(',')] l[0] = str_to_int(l[0]) l[1] = DICO_NOMMOIS_VERS_NUMMOIS[l[1]] l[2] = str_to_int(l[2]) l[3] = [str_to_int(x) for x in l[3:] if x and not x.isspace()] l[4:] = [] return l else: return None # création de la liste des naissances # naissancesliste[i]==[année, mois, cumul, [listes des naissances par jour]] # naissancesliste[0] == [1968, 1, 70409, [2080, 2319, 2335, 2338, 2319, 2212, # 2083, 2252, 2261, 2295, 2233, 2284, 2168, 2166, 2366, 2368, 2331, 2267, 2286, # 2301, 2139, 2268, 2290, 2345, 2254, 2324, 2303, 2232, 2335, 2352, 2303]] naissancesliste = [x for x in map(traite, naissancestxt.split('\n')) if not x is None] # création du dictionnaire des naissance # naissancesdico[annee, mois, jour] == nombre de naissances du jour naissancesdico = {} for l in naissancesliste: for i,x in enumerate(l[3], start=1): naissancesdico[l[0],l[1],i]=x # calendrier des naissances de l'année def annee(a=1996): import numpy as np import matplotlib.pyplot as plt # attention : suppose l'existence de naissancesdico, DICO_NUMMOIS_VERS_NOMMOIS fig, ax = plt.subplots(ncols=3,nrows=4) mois = list(range(1,13)) 5/7

6 for m in mois: lst = [0] for j in range(1,32): if(a,m,j) in naissancesdico: lst.append(naissancesdico[a, m, j]) else: lst.append(0) jours = list(np.arange(len(lst))) jm = jours[1:2]+jours[5::5] axe = ax[(m-1)//3][(m-1)%3] axe.bar(jours, lst) axe.set_xlim([0,33]) axe.set_ylim([1200,2900]) axe.set_title(dico_nummois_vers_nommois[m],fontsize=13,y=0.85 ) width = 1 axe.set_xticks([x+width/3 for x in jm[:]]) axe.xaxis.set_ticks_position('none') axe.set_xticklabels(jm,fontsize=10,y=0) axe.set_yticks([y for y in range(1200,2900,300)]) axe.set_yticklabels(range(1200,2900,300),fontsize=10,x=0) fig.suptitle("naissances en "+str(a), fontsize=14, fontweight='bold', y=0.95) fig.tight_layout() fig.subplots_adjust( left = 0.05, # the left side of the subplots of the figure right = 0.95, # the right side of the subplots of the figure bottom = 0.05, # the bottom of the subplots of the figure top = 0.9, # the top of the subplots of the figure wspace = 0.1, # the amount of width reserved for blank space between subplots subplots ) plt.show() annee(1996) hspace = 0.25, # the amount of height reserved for white space between 6/7

7 7/7