Projet PYTHON. Étape 3: Mise en place de la base de données en SQL

Transcription

1 Projet PYTHON Étape 3: Mise en place de la base de données en SQL CREATE USER STESIO IDENTIFIED BY STESIO; GRANT CONNECT TO STESIO; GRANT RESOURCE TO STESIO; Création de la table SALARIES CREATE TABLE SALARIES( num NUMBER(4) NOT NULL PRIMARY KEY, nom VARCHAR(50) NOT NULL, prénom VARCHAR(50) NOT NULL, adresseip VARCHAR(15) NOT NULL ); Création de la table salariés INSERT INTO "STESIO"."SALARIES" (NUM, NOM, PRÉNOM, ADRESSEIP) VALUES ('1', 'DUPONT', 'MARIE', ' ') INSERT INTO "STESIO"."SALARIES" (NUM, NOM, PRÉNOM, ADRESSEIP) VALUES ('2', 'DUBOIS', 'PAUL', ' ') INSERT INTO "STESIO"."SALARIES" (NUM, NOM, PRÉNOM, ADRESSEIP) VALUES ('3', 'DURANT', 'QUENTIN', ' ') INSERT INTO "STESIO"."SALARIES" (NUM, NOM, PRÉNOM, ADRESSEIP) VALUES ('4', 'LEJAUNE', 'LAURENCE', ' ') Création de la table PROXY CREATE TABLE PROXY( num NUMBER(38) NOT NULL PRIMARY KEY, adresseip VARCHAR(15) NOT NULL, jour DATE NOT NULL, heure VARCHAR(50) NOT NULL, URL varchar2(4000) NOT NULL ); Création de la séquence CREATE SEQUENCE SEQUENCE_PROXY START WITH 1 INCREMENT BY 1;

2 Etape 4 : analyse des fichiers de login 11:42: GET Heure de Adresse IP du poste Commande Lien du site WEB consultation du voulant consulter le http utilisée consulté site site WEB O K Étape 5 : Réalisation des requêtes de validation du jeu d essai REQUETES SQL : Les sites les plus visités : nombre d utilisateurs par site en ordre décroissant: SELECT COUNT(*) AS NUM, URL FROM PROXY P INNER JOIN SALARIES S ON P.ADRESSEIP = S.ADRESSEIP GROUP BY URL ORDER BY NUM DESC ; La liste des utilisateurs les plus consommateurs: nombre de lignes du fichier de log par utilisateur ordre décroissant : SELECT S.NUM, S.NOM, S.PRENOM, COUNT(*) AS NBLIGNES INNER JOIN PROXY P ON S.ADRESSEIP = P.ADRESSEIP GROUP BY S.NUM, S.NOM, S.PRENOM ORDER BY NBLIGNES DESC; Qui a consulté tel site, tel jour, à telle heure?: Qui a consulté le site de l équipe entre 7h02 et 7h03, le 16/01/2014 : SELECT S.NUM, S.NOM, S.PRENOM, S.ADRESSEIP, PR.URL, PR.HEURE INNER JOIN PROXY PR ON S.ADRESSEIP = PR.ADRESSEIP WHERE HEURE > '07:02' AND HEURE < '07:03' AND JOUR = '16/01/2014' AND URL LIKE '

3 Étape 6 : Réalisation du script Ce programme lit la liste des enregistrements du proxy dans le fichier texte "log_proxy_yyyy-mmdd.txt" pour générer un fichier de script SQL nommé "insert_yyyy-mm-dd.sql" contenant les commandes SQL nécessaires pour créer la table PROXY. Dans un premier temps, l utilisateur saisira uniquement la date du fichier de log au format yyyy-mm-dd (exemple : ). Le programme générera les noms des fichiers à partir de cette saisie. from os import chdir chdir("/media/sf_f_drive/projetpython") # on défini le répertoire de travail datefich=input("saisir la date sous le format yyyy-mm-dd : ") #demande de saisie à l'utilisateur print(datefich) nfich="log_proxy_"+datefich+".txt" #définition du fichier de log qui sera interogé print(nfich) #Ouverture du fichier de log interogé en lecture f=open(nfich,'r') #Ouverture du fichier SQL en Ecriture fichier_sql=open(datefich+".sql",'w') #traitement ligne par ligne for ligne in f : #On explose les mots dans un tableau Tmots=ligne.split() #Définition des variables et insertion adresseip=tmots[1] Tdate=dateFich.split('-') date_format_sql=tdate[2]+"/"+tdate[1]+"/"+tdate[0][2]+tdate[0][3] heure=tmots[0] url=tmots[4] #Generation du fichier sql base_ligne_sql="insert INTO PROXY (NUM, ADRESSEIP, JOUR, HEURE, URL) VALUES (SEQUENCE_PROXY.nextval," ligne_sql=base_ligne_sql+"'"+adresseip+"',to_date('"+ date_format_sql +"', 'DD/MM/RR'), '"+heure+"',"+"'"+url+"');" print(ligne_sql) #insertion du sql dans le fichier fichier_sql.write(ligne_sql+"\n") print("\n") #fermeture des fichiers f.close() fichier_sql.close()

4 Étape 7 : Test du script Après avoir rempli la table PROXY d'après les fichiers log_proxy_ txt, log_proxy_ txt, et log_proxy_ txt nous testons des différentes requêtes. Liste des sites les plus visités : nombre d utilisateurs par site, en ordre décroissant. SELECT COUNT(*) AS NUM, URL FROM PROXY P INNER JOIN SALARIES S ON P.ADRESSEIP = S.ADRESSEIP GROUP BY URL ORDER BY NUM DESC ; On obtient la liste des sites les plus visités, le nombre de fois qu ils ont étés consultés en ordre croissant. La liste des utilisateurs les plus consommateurs : nombre de lignes du fichier de log par utilisateur, en ordre décroissant. SELECT S.NUM, S.NOM, S.PRENOM, COUNT(*) AS NBLIGNES INNER JOIN PROXY P ON S.ADRESSEIP = P.ADRESSEIP GROUP BY S.NUM, S.NOM, S.PRENOM ORDER BY NBLIGNES DESC;

5 On obtient la liste des utilisateurs qui ont consultés le plus de sites (avec le nombre de pages consultés) en ordre décroissant. La liste des utilisateurs (nom, prénom, date et heure) ayant consulté un site, à une date donnée, entre telle heure et telle heure. SELECT S.NUM, S.NOM, S.PRENOM, S.ADRESSEIP, PR.URL, PR.HEURE INNER JOIN PROXY PR ON S.ADRESSEIP = PR.ADRESSEIP WHERE HEURE > '07:02' AND HEURE < '07:03' AND JOUR = '16/01/2014' AND URL LIKE ' On obtient la liste des utilisateurs qui on consultés le site lequipe le 16/01/2014 entre 07 :02 et 07 :03. Étape 9 : Première évolution de l application Mettre au point une nouvelle version du script Python : seul le nom du fichier de log sera saisi par l utilisateur, la date en sera extraite par le programme. Exemple : l utilisateur saisit le nom de fichier log_proxy_ txt ; la date extraite est

6 Code python : #Définition du répertoire courant import os os.chdir("/media/sf_f_drive/projetpython") #Demande de saisi du nom du fichier de log souhaité nfich = input("saisir le nom du fichier de log : \n") #Extraction de la date écrite dans le nom du fichier log date=nfich[10:20] print (date) #Ouverture des fichiers de log en lecture ainsi que du script sql qui va etre écrit log = open("log_proxy_" + date + ".txt", "r") script = open("scriptsql" + date + ".sql", "w") Tdate=date.split('-') date=tdate[2]+"/"+tdate[1]+"/"+tdate[0][2]+tdate[0][3] #On parcours chaque ligne du fichier de log puis on place chaque mot dans les colonnes d'un tableau for ligne in log: TMot = ligne.split() #Définition des variable Hre = (TMot[0]) #Le jour et l'heure, premiere case IP = (TMot[1]) #L'adresse ip, deuxième case du tableau URL = (TMot[4]) #L'URL du site enregistré dans la 5ème case du tableau #Ecriture du script SQL ligne par ligne script.write("insert INTO PROXY (NUM, JOUR, HEURE, ADRESSEIP, URL) VALUES (SEQUENCE_PROXY.nextval, TO_DATE('"+ date +"', 'DD/MM/RR'), '" + Hre + "', '" + IP + "', '" + URL + "');\n") print ("INSERT INTO PROXY (NUM, JOUR, HEURE, ADRESSEIP, URL) VALUES (SEQUENCE_PROXY.nextval, " + date + ", " + Hre + ", " + IP + ", " + URL + ");\n") La nouvelle version de notre programme s exécute correctement.

7 Les lignes ont étés insérées avec succès.