Système d information sur les pesticides pour la sécurité des utilisateurs.

Transcription

1 INSTITUT SUPERIEUR D INFORMATIQUE DE MODELISATION ET DE LEURS APPLICATIONS Campus des Cézeaux BP Aubière Cedex CEMAGREF 24 avenue des Landais BP Aubière Cedex Rapport de projet Système d information sur les pesticides pour la sécurité des utilisateurs. Présenté par : Hicham Doghmi (3 ème année F2) Nicolas Perrin (2 ème année F3) Responsable : M. Gil De Sousa Durée : 100h Année : 2009

2 Remerciements Nous remercions notre chef de projet M. Gil De Sousa, à la fois présent et disponible, il nous a encouragés et aidés tout au long de la réalisation de ce projet. 2

3 Table des figures Figure 1 : Le menu de WAMP Figure2 : La fonction «submit_pass()» Figure 3 : La fonction «CheckUser()» Figure 4 : L utilisation des sessions Figure 5 : Un exemple d utilisation de l auto-complétion Figure 6 : L architecture de l application Figure 7 : La partie de la base de données contenant les informations pour l utilisateur Figure 8 : Les droits d accès aux données des tables suivant le profil de l utilisateur Figure 9 : La partie de la base de données dédiée au fonctionnement Figure 10 : La fonction «get_html()» Figure 11 : Un premier test de l extraction de données Figure 12 : Le code source d une page HTML simple Figure 13 : Le résultat de l extraction de données sur une page HTML simple Figure 14 : Le code source d une page HTML complexe Figure 15 : Le résultat de l extraction de données sur une page HTML complexe Figure 16 : Un exemple de page HTML complexe avant extraction des données Figure 17 : Un affichage de la table «toxico» après extraction des données Figure 18 : Un affichage de la table «produit» après extraction des données Figure 19 : Un exemple de page d accueil d une session Figure 20 : Un exemple d une page d authentification Figure 21 : Un exemple de page «mon profil» Figure 22 : Un exemple de page «produits consultés»

4 Résumé La thématique des pesticides est actuellement très présente comme l atteste le plan ECOPHYTO L objectif de ce plan est de réduire fortement l utilisation de ces types de produits. En parallèle, des actions doivent être menées sur l utilisation correcte des pesticides et assurer la sécurité des utilisateurs. Notre projet a ainsi consisté à concevoir et développer une application Web, capable de renseigner sur l utilisation des pesticides, en fournissant des informations en adéquation avec le profil et les connaissances de l utilisateur. Cette application est couplée à une base de données qui contient toutes les informations utiles à mettre à disposition des utilisateurs. Ces informations peuvent être extraites à partir de base de données Web comme celle disponible sur le site «e-phy». Mots-clés : application Web, système d information, extraction de données. Abstract The theme of pesticides is currently very discussed as it is shown by the ECOPHYTO 2018 plan. The purpose of this plan is to reduce strongly the use of these kinds of products. In the same time, actions must be made in order to establish good practices on the use of pesticides and to preserve user health. Thus, our project consists in the design and the development of a Web application, being able to instruct on the use of pesticides, by providing information relevant to the profile and the education of the user. This application is associated to a database which contains all the information useful to users. This information can be extracted from Web databases such as the one available on the e-phy website. Keywords: Web application, Information system, data extraction. 4

5 Table des matières Remerciements... 2 Table des figures... 3 Résumé... 4 Abstract... 4 Table des matières... 5 Introduction... 7 A. Présentation du projet... 8 I. Contexte de l étude... 8 II. Objectif du projet... 9 II.1. Réalisation d une interface Web configurable... 9 II.2. Récupération de données à partir d un site Internet... 9 III. Outils utilisés III.1. WAMP III.2. JavaScript et AJAX B. Réalisation de l application I. Interface graphique I.1. Etapes de la mise en place de l interface I.2. Authentification I.3. Gestion des sessions : permanence des informations I.4. Gestion des profils I.5. Auto-complétion I.5.1. Pourquoi utiliser l auto-complétion I.5.2. Mise en place de l auto-complétion II. Modèle relationnel II.1. Couplage de l interface avec la base de données II.2. Structure de notre base de données II.2.1. Tables de la base de données à destination de l utilisateur II.2.2. Tables de la base de données d aide au fonctionnement III. Extraction de données III.1. Présentations des méthodes existantes III.1.1. La méthode Curl III.1.2. Utilisation des sockets sous le langage PHP III.2. Réalisation de l extraction de données III.2.1. Principe de l extraction de données III.2.2. Problèmes rencontrés au niveau de l extraction de données III.3. Application de l extraction de données III.3.1. Premier essai sur un exemple simple III.3.2. Mise en application sur un site Web

6 C. Résultats et améliorations possibles I. Résultats II. Améliorations possibles II.1. Création d un forum II.2. Point d actualités II.3. Ajout automatique d éléments par extraction de données Conclusion Références

7 Introduction Dans le cadre de notre scolarité à l ISIMA, nous avons eu l occasion de réaliser ce projet sous l encadrement de M. Gil De Sousa. Notre projet a pour but de concevoir et de réaliser une interface Web qui permet de mettre à disposition de l utilisateur de pesticides, une liste d informations sélectionnées suivant son profil et ses connaissances. Cette interface Web sera, par la suite, associée à une base de données regroupant un ensemble étendu d informations disponibles sur les pesticides. Les sources de données alimentant cette base de données seront de différentes natures. Les données disponibles sur le site Web pourraient en faire partie. Nous présenterons dans ce rapport, divisé en trois grandes parties, le travail réalisé. La première constitue une présentation détaillée du projet. La seconde est centrée sur la conception et la réalisation de notre application, de l interface graphique à notre base de données en passant par l extraction de données. Finalement, nous établirons un bilan de nos réalisations. 7

8 A. Présentation du projet I. Contexte de l étude Ce projet s intègre dans une démarche globale visant à une meilleure utilisation des produits phytosanitaires ou pesticides. L origine de celui-ci provient d une action à mener dans le cadre de l axe 4 du «plan ECOPHYTO 2018 de réduction des usages de pesticides» intitulé «Former à la réduction et à la sécurisation de l utilisation de pesticides» [1]. De manière globale, ce plan établit une synthèse sur les enjeux futurs au niveau de l utilisation des pesticides. Celle-ci a permis d atteindre un certain degré de sécurité alimentaire et sanitaire. Cependant, l impact de ces types de produit sur les organismes vivants, l environnement et la santé humaine ne peut pas être mis de côté. Ainsi, dans le cadre du Grenelle de l environnement, l engagement n 129 vise à un «objectif de réduction de moitié des usages des pesticides en accélérant la diffusion des méthodes alternatives et sous réserve de leur mise au point» [1]. Cet objectif doit pouvoir être atteint dans un délai de dix ans. Par conséquent, des méthodes ou techniques innovantes doivent, d une part, être élaborées pour réduire voire supprimer l utilisation des pesticides tout en maintenant voire en augmentant la productivité actuelle. D autre part, de nouvelles approches doivent être étudiées de manière à améliorer de la sécurité de l utilisateur de pesticides. Celle retenue, dans le cadre de ce projet, est la mise à disposition d informations ciblées et pertinentes sur les précautions et les bonnes pratiques à respecter dans le cadre de l utilisation des pesticides. 8

9 II. Objectif du projet II.1. Réalisation d une interface Web configurable Le sujet du projet consiste à l élaboration d une interface Web configurable. Différentes sources de données viennent alimenter un système d information global et ainsi fournir un certain nombre d informations sur les produits existants. Cependant, trop d informations sont contenues dans une même page et il n est pas facile de trouver celles qui intéressent plus particulièrement l utilisateur. Notre interface va adapter l accès aux informations d un utilisateur selon son profil. Ainsi ce dernier accèdera aux données qu il souhaite de façon rapide et mieux adaptée à sa demande. Par exemple, si un agriculteur désire avoir des informations sur un produit, il pourra savoir quelle dose utiliser, sur quelle plante et pour quelle utilisation. En connaissant bien l utilité et la dose adaptées à tel produit, cela lui permettra de ne pas utiliser deux produits aux fonctions identiques et de ne pas en appliquer en excès. Cet exemple illustre bien le souhait de notre projet de se rattacher à l objectif du plan ECOPHYTO Deux autres profils, en plus de celui d «agriculteur», existent : «étudiant» et «expert». II.2. Récupération de données à partir d un site Internet Notre projet vise également au recueil et à l extraction de données utiles pour, ensuite, les intégrer dans la base de données associée à notre interface. Les informations répertoriées dans le site internet « sont utilisées pour appliquer et illustrer les méthodes d extraction élaborées. 9

10 III. Outils utilisés III.1. WAMP Nous commençons par la mise en place de l environnement de développement. Nous avons eu besoin d un serveur Web, dont le rôle est de mettre à disposition des pages de contenu statique, du HTML [2]. Le serveur Web va distribuer des pages HTML. Notre choix s est porté sur le plus connu : Apache. Nous avons choisi d utiliser une solution complète au profit d une installation manuelle d Apache et de PHP car cette dernière peut s avérer très complexe. L avantage d utiliser une solution complète est qu elle embarque un grand nombre de fonctionnalités. Les trois outils de ce type les plus répandus sur Internet sont EasyPHP, WAMP et XAMPP. Notre choix s est porté sur WAMP 2.0. Cette version comporte les applications suivantes : Apache (version ). PHP (version 5.2). MySQL. phpmyadmin. Cette solution ou plateforme de développement permet de configurer rapidement un environnement de développement simple qui présente les avantages suivants : Installation en concurrence de deux versions du langage PHP (version 4 et version 5). Possibilité de gérer des scripts PERL. Possibilité d ajouter un module Zend Optimizer pour accélérer les performances du serveur. Possibilité d ajouter un générateur de statistiques sur l utilisation du serveur nommé WebAlizer. Une autre force de cette solution réside dans sa simplicité d installation et de configuration. En effet, l application «WAMP» et chacun de ses modules supplémentaires se présentent sous la forme d un fichier exécutable sur lequel il suffit de double-cliquer pour lancer l installation. Après celle-ci, deux services sont crées «wampapache» pour Apache et «wampmysql» pour MySQL. Le support d utilisation du langage PHP est maintenant préconfiguré sur Apache. Il n est ainsi plus nécessaire de modifier les fichiers de configurations comme pour une installation manuelle. De plus, la base de données MySQL présente dans l application WAMP fait partie des systèmes de gestion de bases de données (SGBD) libres les plus populaires, grâce à sa fiabilité et sa simplicité d utilisation. Une illustration de ce phénomène est l utilisation de MySQL par de nombreuses sociétés à la fois importantes et en forte croissance telles que Google, Nokia et Youtube, notamment pour leurs sites Web. 10

11 L arborescence de la solution WAMP est claire et simple : Un répertoire pour Apache. Un répertoire pour MySQL. Un répertoire pour PHP. Un répertoire pour les fichiers temporaires. Un répertoire «www» pour les sites web. En outre, l administration est centralisée dans un menu situé à l intérieur d une icône système assez ergonomique (voir Figure 1) : Figure 1 : Le menu de WAMP III.2. JavaScript et AJAX Le langage JavaScript est un langage de programmation de script orienté objet, utilisé pour la création de sites Web. Il a été crée en 1995 et il est actuellement à sa version 1.7. Il est inspiré de nombreux langages, notamment du langage Java. [3] La solution AJAX (Asynchronous Javascript And XML,) est une méthode de développement d applications Web, basée sur l utilisation conjointe des technologies suivantes : HTML et CSS pour la présentation. DOM (Document Object Model) pour la représentation en objets des pages Web. Javascript et en particulier l'objet XMLHTTPRequest pour manipuler des requêtes et des réponses. 11

12 B. Réalisation de l application I. Interface graphique I.1. Etapes de la mise en place de l interface La mise en place de l interface s est faite en plusieurs étapes. Tout d abord, nous avons commencé par nous documenter sur les langages qui nous permettrons d établir un site Web, tels que les langages PHP et HTML. Ensuite nous avons commencé la programmation. Notre application prend en compte la gestion des profils des utilisateurs qui veulent y accéder. Nous avons donc prévu à cet effet une page d authentification. L utilisateur doit impérativement être muni d un login et d un mot de passe pour pouvoir accéder aux fonctionnalités de l application. Ensuite nous avons réfléchi à la notion de session, puis à la mise en place de profils qui seront essentiels pour réaliser nos objectifs. Pour améliorer notre interface, nous avons, par la suite, intégré une méthode d auto-complétion et des fichiers codés en CSS pour le design. Pour finir nous avons réalisé deux exemples d extraction de données du site ephy, permettant d alimenter notre base de données. I.2. Authentification Nous utilisons pour l authentification l algorithme MD5 (Message Digest 5) [4]. Celui-ci est une fonction de hachage cryptographique qui calcule, à partir d'un fichier numérique, son empreinte numérique, en l'occurrence une séquence de 128 bits ou de 32 caractères en notation hexadécimale. Cet algorithme génère, avec une forte probabilité, des empreintes différentes pour des messages différents. Le risque de collision, au niveau du cryptage, est donc assez faible. Pour obtenir un niveau de sécurité plus élevé, d autres méthodes de cryptage pourraient être utilisées basées, par exemple, sur l algorithme SHA-1 (Secure Hash Algorithm). Au niveau de notre application, sur la première page de connexion, figure un formulaire permettant à l'utilisateur d'entrer son login et son mot de passe. Le champ caché MD5 contient la signature du mot de passe, et c est ce dernier qui sera transmis. Le script appelé par la fonction «submit_pass()» récupère le mot de passe entré et calcule le MD5 dans le champ caché du formulaire d authentification. Il efface ensuite la valeur du mot de passe pour qu il ne soit pas transmis (voir Figure 2) [4]. Lorsqu on valide le formulaire, les informations sont envoyées à la page «auth.php» par la méthode «POST». Celle-ci est plus sécurisée que la méthode «GET». Ensuite, la fonction «CheckUser()» vérifie si l'utilisateur peut accéder aux données. Pour cela on accède à la base de données «projet» pour savoir si l'utilisateur est autorisé ou non à avoir accès aux données. Le cryptage MD5 des mots de passe, et non les mots de passe eux-mêmes, est stocké dans la table «users». La fonction «CheckUser()» retourne valeur booléenne «true» ou «false». 12

13 function submit_pass() { pass=document.forms['log'].passwd.value; document.forms['log'].passwd.value=""; buf=md5(pass); document.forms['log'].md5.value=buf; return true; } Figure2 : La fonction «submit_pass()» Si l utilisateur n a pas fourni les bonnes informations, celui-ci est redirigé vers la page de connexion «login.php». Si celles-ci sont fournies, l identité de l'utilisateur est vérifiée au moyen de la fonction «CheckUser()» (voir Figure 3) [4]. Si l étape d authentification aboutit correctement, une session est créée. Ce point sera abordé plus en détails dans le paragraphe suivant (I.3.) qui suit. function CheckUser($login,$md5) { mysql_connect("localhost", "root", ""); //connexion à la base de données mysql_select_db("projet"); //sélection de la base projet $query = "SELECT * FROM `users` WHERE name = '$login' AND pwd = '$md5'"; $result = mysql_query($query); $nbresults = mysql_num_rows($result); echo $nbresults; mysql_close(); //déconnexion de la base de données if($nbresults) return true; } return false; Figure 3 : La fonction «CheckUser()» Si l utilisateur est autorisé à accéder à l application avec le bon login et le bon mot de passe, il est dirigé ensuite vers la page d accueil de l application «page.php». Celle-ci permet à l utilisateur de gérer son profil, de rechercher un produit dans la table des pesticides de la base de données, d accéder à sa liste de produits consultés, ou bien de se déconnecter, à partir du menu à l extrême gauche de la page d accueil. Nous avons prévu de vérifier l'identité de la personne connectée pendant qu elle navigue dans l application. La protection, par suivi d authentification, des pages de navigation de l application est possible en faisant référence, pour chacune d elles, à la page «authcheck.php». Dans notre cas, les variables de sessions sont les premières testées. Si 13

14 l authentification échoue à un moment donné, l utilisateur est redirigé vers la page «login.php» pour qu il puisse s identifier. I.3. Gestion des sessions : permanence des informations Lorsqu'un utilisateur navigue sur un site Web, le passage des informations de page en page n est pas aisé mais est possible grâce à la fonctionnalité, présente dans le langage PHP, définie sous le nom de «session». La création d une session génère un «cookie» ou témoin qui permet d identifier l utilisateur tout au long de son processus de navigation. Les variables de session utilisées sont : La variable «last_access» permet d effectuer une fermeture automatique d une session dans le cas où l utilisateur n effectuerait aucune navigation durant un temps prolongé. La variable «ipaddr» stockent l'adresse IP de l utilisateur La variable «user» contient le nom ou l identifiant de l'utilisateur. L ouverture d une session se fait par le biais de la fonction «session_start()» (voir Figure 4). La variable tableau «$_SESSION» stockent un ensemble d informations relatives à la création d une session. Les fonctions «unset()» ou «isset()» sont utilisées respectivement pour détruire ou tester la définition ce type de variable [4]. I.4. Gestion des profils session_start(); $_SESSION['variable']="valeur"; unset($_session['variable']); session_destroy(); Figure 4 : L utilisation des sessions Dans notre application, la notion de profil est très importante. Chaque utilisateur qui se connecte doit impérativement avoir un profil. Nous distinguons parmi les utilisateurs trois profils de base : «étudiant», «agriculteur» et «expert». Selon son profil, l utilisateur aura accès à plus ou moins de données sur le produit qu il recherche. Ainsi, pour chaque profil, des types d informations susceptibles d intéresser les utilisateurs ont été définis. A titre d exemple, un utilisateur de profil «agriculteur» ne s intéressera pas forcément à tout ce qui relève du domaine de la toxicologie d un pesticide. Il n aura donc pas accès, au départ, à ce type d information. Après le choix du profil de base, chaque utilisateur peut restreindre encore plus la liste d informations dont il a accès. Ainsi, son profil peut être affiné via le menu «définir son profil» de notre application. Ce menu est créé dynamiquement dans la page «profil.php» en se basant sur le profil de base de l utilisateur courant. Cette information est disponible grâce à la table «state» de notre base de données. En effet, celle-ci répertorie les attributs associés à chaque profil de base. L utilisateur se retrouve donc devant un formulaire avec une liste 14

15 d attributs à cocher ou à décocher suivant ses besoins. Il construit ainsi, de manière précise, son profil. Une table de la base de données a été créée pour stocker les profils propres de chaque utilisateur. Ainsi, quand l utilisateur décide soit de chercher un produit via le menu «chercher produit» dans la base de données de notre application, soit d accéder à la liste des produits déjà consultés via le menu «produits consultés», ne sont affichées que les informations qu il a choisi grâce à son profil propre. Celui-ci peut, toutefois, être identique à celui de base associé à l utilisateur. I.5. Auto-complétion I.5.1. Pourquoi utiliser l auto-complétion L auto-complétion est une aide à la saisie. En effet, elle consiste à afficher des propositions de mots commençant par les caractères tapés afin d'aider l'utilisateur dans ses choix. Durant sa navigation, l utilisateur voit alors s afficher un menu déroulant qui lui permet de trouver plus rapidement ce qu il recherche. Ce procédé permet d éviter les fautes d orthographes puisqu un mot mal écrit ne figurera pas dans les propositions du menu déroulant. Mais, l auto-complétion a une autre utilité que d améliorer la recherche de l utilisateur. Sans auto-complétion il faudrait passer l'ensemble des informations aux navigateurs clients dès le chargement de la page Web. Le volume que cela représenterait saturerait le serveur très rapidement. Pour éviter cela, nous avons utilisé la solution Ajax afin d obtenir une méthode d auto-complétion. Celle-ci permet d'effectuer des requêtes vers notre serveur sans que celui-ci n ait besoin de recharger la page en maintenant une communication entre le serveur et le client. L auto-complétion de notre interface est en partie tirée d un exemple donné par l internaute «rubiks10» du forum CodeS-SourceS [5]. Cette auto-complétion est utilisée pour faciliter la recherche d un produit. Elle va s appuyer sur notre base de données pour alimenter le menu déroulant. I.5.2. Mise en place de l auto-complétion Cinq pages sont dédiées à la réalisation de l auto-complétion. La première contient tous les paramètres de connexion au logiciel MySQL plus ceux utiles pour la recherche dans la base de données tels que, par exemple, le nom de la table où va se trouver l attribut produit de la recherche. Cette page est référencée dans les autres. Cela permet de changer facilement les paramètres de base si besoin est, sans parcourir chaque page Ensuite, nous en avons une deuxième qui contient la structure de la page de recherche qui possède le menu déroulant. La recherche renvoie l identifiant «ID» du produit cherché. Si ce dernier n existe pas dans la base de données alors on revient à la page initiale. Toutes les autres pages sont conçues autour de celle-ci. Cette deuxième page va être liée à une troisième nommée «autocompletion_lib.js», codée en langage JavaScript qui contient toutes les fonctions dont celles développées en technologie AJAX. Ainsi, dans la deuxième page, un objet évènement courant est créé. Celuici va prendre en paramètres les différents mots tapés par l utilisateur. Chaque action de 15

16 l utilisateur entraîne l appel d une fonction de la page codée en langage JavaScript. Par exemple, s il relâche une touche de son clavier préalablement enfoncée, l évènement «KeyUp» appelle une fonction qui contrôle les actions à réaliser. La fonction relative à «KeyUp» va en appeler une autre utilisant la bibliothèque AJAX qui va permettre de ne pas recharger la page, grâce à la fonction «XMLHttpRequest», dans le cas où l utilisateur appuie sur la touche «Entrée». Cette dernière action va faire appel à notre quatrième page qui comporte les fonctions de connexion et de déconnexion à la base de données. Une requête de type MySQL va être lancée et va rechercher, dans la base de données, un nombre de produits définis commençant par la chaîne de caractère tapée par l utilisateur. Ces informations vont être réunies dans une variable sous la forme suivante : «ID=>nom_produit.». Le résultat va être converti à l aide du codage «utf8_encode» qui réduit la taille des chaînes de caractères, puis envoyé à la dernière page. Celle-ci, mise en forme à l aide d une feuille de style CSS, affiche le résultat à l utilisateur. La Figure 5 présente un exemple d utilisation de l auto-complétion. Figure 5 : Un exemple d utilisation de l auto-complétion 16

17 II. Modèle relationnel II.1. Couplage de l interface avec la base de données Notre interface est couplée à une base de données contenant les informations que les utilisateurs viendront chercher dans notre application. Pour afficher les données sur une de nos pages, nous irons les chercher dans notre base de données pour ensuite les exploiter dans cette page à l aide du langage PHP. La figure 6 présente l architecture de notre application avec le liaison entre l interface et la base de données. Figure 6 : L architecture de l application Ce schéma présente un exemple de ce qui peut se passer lorsque le serveur a reçu une demande d'un client : 1) Le serveur utilise toujours notre interface graphique en langage PHP, il lui fait donc passer le message. 2) L interface effectue les actions demandées. Il se peut qu elle ait besoin de la base de données MySQL pour enregistrer ou demander une information. Dans ce cas, l interface transmet les tâches à effectuer au logiciel MySQL. 3) Le logiciel MySQL renvoie, à l interface, une donnée, ou lui indique simplement que la tâche a bien été réalisée. 4) L interface graphique renvoie au serveur que le logiciel MySQL a bien fait ce qui lui était demandé. Les données que nous allons intégrer doivent être adaptées aux besoins des utilisateurs. Ayant réalisé pour notre part une maquette, nous n avons pas créé la base de données finale qui, elle, sera élaborée par les chercheurs du CEMAGREF. Nous avons inséré, de façon cohérente, assez d informations pour pouvoir créer des profils. 17

18 II.2. Structure de notre base de données Nous pouvons distinguer deux types de tables dans notre base de données Celles qui vont contenir les informations que nous allons fournir aux utilisateurs. Celles qui permettront le fonctionnement de l interface. II.2.1. Tables de la base de données à destination de l utilisateur La Figure 7 présente le schéma relationnel de la partie de la base de données contenant les informations pouvant intéresser l utilisateur. toxico 0,n action_produit_plante - toxicologie - nom_produit 0,n produit_phyto - type_action - type_plante - dose - nom_produit 0,n - date_retiré - date_ref - nom_produit - societe - formulation - ID 0,n 0,n substance 0,n organisme - nom_orga - famille_orga -utilite - nom_produit - nom_substance - autorise_en_france - famille_sub - type_sub 0,n 0,n 0,n effet_substance - nom_substance - effet_subst - nom_orga - nb_analyse - delai_notation - nom_produit 0,n Figure 7 : La partie de la base de données contenant les informations pour l utilisateur La table «action_produit_plante» contient quatre types d informations : le nom du produit phytosanitaire, le type de plante sur lequel ce produit peut avoir une action, le type d action observé et la dose à appliquer. Un exemple de tuple pour cette table est : un produit 18

19 désherbant pour abricotier avec pour dose 10L/HA. Cette table contient les informations disponibles avec le profil «agriculteur». Le profil «étudiant» rend disponible les informations des tables «toxico» «substance» et «action_produit_plante». La table «toxico» donne la toxicologie de chaque produit comme, par exemple, sa nocivité. La table «substance» nous informe sur les différentes substances qui composent le produit. Pour chaque substance, cette table va nous dire si elle est autorisée ou non en France, nous donner sa famille et son type. Le profil «expert» va mettre à disposition les informations des tables que nous avons déjà présentées ainsi que trois autres tables : «effet_substance», «produit_phyto» et «organisme». La première «effet_substance» va contenir d une part l effet des substances sur des organismes tels que les coccinelles ou les acariens, en notant le nombre d analyses qui ont été réalisées pour arriver à cette conclusion, et, d autre part, le temps qu il faut attendre pour voir l effet apparaître. Ensuite, la table «produit_phyto» renseignera sur la société de création du produit, sa formulation (c est-à-dire s il est liquide ou en poudre, ), sur sa date de création et, dans certains cas, sur la date à partir de laquelle l utilisation du produit pourrait être interdite. Enfin, la table «organisme» contient la famille des organismes et nous dit s ils sont nocifs ou non. Le produit phytosanitaire est l objet principal de l interface. En effet l utilisateur va rechercher un produit puis récupérer les informations relatives à celui-ci. Le produit est donc présent dans toutes les tables pour en faciliter l accès. Table/Profil Agriculteur Etudiant Expert «action_produit_plante» X X X «toxico» X X «substance» X X «produit_phyto» X «effet_substance» X «organisme» X Figure 8 : Les droits d accès aux données des tables suivant le profil de l utilisateur Selon le profil sélectionné, l utilisateur aura accès à plus ou moins de données. Ainsi, si celui-ci désire plus d informations, il lui suffit de modifier son profil. II.2.2. Tables de la base de données d aide au fonctionnement La Figure 9 présente le schéma relationnel de la partie de la base de données contenant les informations utiles à son fonctionnement. 19

20 champs 1,1 1,1 etat_profil profil - ID - nom_attribut 1,n - id_profil - id_champs - etat 1,n - id_profil - nom_profil produit_consulte - ID - nom_produit users - name - pwd - profil - id Figure 9 : La partie de la base de données dédiée au fonctionnement La table «users» est remplie lors de l ouverture d une session. Elle contient le mot de passe, le nom, le profil et l élément «ID», qui est un nombre correspondant au rang d inscription, de l utilisateur. La table «produit_consulte» est une énumération de tous les produits consultés que les utilisateurs veulent garder en mémoire. Chaque ligne contient le nom d un produit et un «ID» de la table «identifiant» appartenant à l utilisateur qui souhaite mémoriser ce produit. La table «profil» contient et numérote chaque visiteur. Elle est initialisée à «1» pour «agriculteur», à «2» pour «étudiant» et à «3» pour «expert». L utilité de cette table sera indiquée par la suite. La table «champs» comporte tous les noms de champs des tables que nous avons présentées précédemment. Un nouvel identifiant «ID» est attribué pour chaque champs. Par exemple : «ID : 1 = champs : nom_produit» «ID : 2 = champs : date_ref.» Enfin la table «etat_profil» est liée aux deux tables précédentes. Elle indique les attributs de la table «champs» qui intéressent l utilisateur en question. Cette table comporte tout d abord l attribut «ID» de la table «profil» pour désigner l utilisateur, ensuite l attribut «ID» de la table «champs» pour désigner l attribut qui nous intéresse et, enfin, l état qui nous informe sur l accès de l utilisateur à un attribut («true» lorsqu il y a accès, «false» dans le cas contraire). Les profils «agriculteur», «étudiant» et «expert» sont initialisés avec les attributs qui leur correspondent. Toutefois, un utilisateur peut modifier ses préférences avec la page «définir son profil» de l interface (s il désire ne plus avoir l information d un attribut, l état passera de «true» à «false»). 20

21 III. Extraction de données III.1. Présentations des méthodes existantes L objectif principal de l extraction est de remplir la base de données couplée à notre interface. Cette base de données est constituée de l ensemble des informations qui seront fournies aux utilisateurs de notre site. Ces informations, nous allons les extraire à partir du site Web De plus, la méthode d extraction que nous avons mise en place nous permet de parcourir chaque page de ce site à l aide de boucles imbriquées et ainsi d y extraire rapidement de très nombreuses données sans avoir à les recopier manuellement une à une dans notre base de données, ce qui prendrait beaucoup de temps. Nous présentons ci-dessous deux méthodes d extraction de données à partir d un site Web. Nous avons retenue la deuxième méthode pour la collecte d informations pour notre application. III.1.1. La méthode Curl L'application doit récupérer automatiquement le contenu d une page HTML. Elle va dialoguer en HTTP avec le serveur cible. La meilleure façon d'établir ce dialogue est d'utiliser la commande shell «CURL» (Client URL Request Library). Celle-ci est issue d un projet Open Source porté sous de nombreuses plates-formes, notamment Linux et Windows. Cet outil puissant permet d'effectuer de nombreuses opérations en ligne de commande shell. Il peut, par exemple, récupérer le contenu d'une page internet, un fichier sur un serveur FTP, utiliser le protocole SSL, l'authentification Apache, un proxy, poster des données sur un formulaire HTTP. Intégré dans un script, la commande «CURL» permet également d'automatiser des tâches récurrentes de sauvegardes. III.1.2. Utilisation des sockets sous le langage PHP Un socket est une interface permettant la communication interprocessus (IPC - Inter Process Communication) afin de permettre à divers processus de communiquer aussi bien sur une même machine qu'à travers un réseau TCP/IP. Le dialogue HTTP se passe en connexion TCP sur le port 80. Les données échangées sont du texte. Ce dialogue est aisément reproductible grâce à la commande «telnet», utilisée dans l exemple suivant avec une connexion au site Yahoo! : telnet 80 Puis sur la sortie standard, Il faut taper les trois lignes suivantes (<entrée> signifie que nous tapons sur la touche «Entrée» du clavier) : GET / HTTP/1.1 <entrée> Host: <entrée> Connection: Close <entrée><entrée> Le code source de la page HTML s'affiche sur la sortie standard et l application «telnet» se ferme. 21

22 La première ligne signifie que la connexion se déroule suivant le protocole «HTTP/1.1». La page demandée est la racine du site. Pour demander la page correspondant à l'adresse url la première ligne devient alors : GET /news/europ_news.html HTTP/1.1 <entrée> III.2. Réalisation de l extraction de données III.2.1. Principe de l extraction de données Le principe de l extraction des données d une page est de parcourir son code source en prenant les informations voulues. Pour cela, il faut noter que chaque information est entourée de balises HTML ou PHP qui lui sont propres. Ainsi, il nous suffira de passer de balise en balise (connaissant la structure d une page type) pour arriver à celles qui entourent l information à extraire. L astuce est de remarquer que les codes sources des pages contenant des informations de type identique (par exemple les pages contenant les informations sur les produits) ont la même structure. Ainsi, nous allons utiliser un seul algorithme pour toutes les pages qui sont constituées des mêmes types d informations en utilisant une boucle «tant que» qui prendra fin lorsqu il n y aura plus de pages de ce type. Ceci est très utile si leur nombre est important. Ensuite l extraction dans une variable de la donnée balisée se fait simplement à l aide de fonctions PHP. Les pages HTML de même type vont être mises dans une variable, les unes après les autres, le temps de l extraction (à l aide de sockets qui seront utilisées dans une fonction «get_html»). Cette variable sera celle que nous allons parcourir. La Figure 10 présente la fonction «get_html» permettant de remplir une variable du code source d une page internet dont l adresse url est «$url» passé en paramètre [5]. Cette fonction utilise les sockets La fonction «fsockopen()» permet de nous connecter à Internet en local, grâce aux sockets, pour une durée de quinze secondes. Puis avec une succession de trois appels à la fonction «fputs», nous allons sauvegarder la page désirée en local dans la variable «$fp». Enfin, nous allons remplir les lignes de «$fp» une à une dans une variable «$r» qui contiendra finalement une chaîne de caractères que nous pourrons parcourir. Le système est le même dans le cas où une page contient des adresses urls. Celles-ci sont également placées entre des balises. Ainsi, il nous suffit de les extraire pour accéder à leur contenu, ce qui se fait de la même façon. III.2.2. Problèmes rencontrés au niveau de l extraction de données Le principal problème de cette méthode intervient lorsqu une mise à jour du site source est réalisée car, dans ce cas, les codes source des pages ne sont plus les mêmes. Ainsi, cela peut poser problème lorsque l on parcourt ce code source de balise en balise. En effet, pour accéder à l emplacement de notre information, nous nous basions sur le type de balise précédant notre donnée. Dans le cas d une mise à jour, les balises peuvent être modifiées, entraînant un bouleversement de notre extraction. Cependant, ce n est pas l ajout d un ou plusieurs éléments sur le site qui importe étant donné que le nombre d éléments est géré par des boucles. Dans ce cas, la boucle serait juste rallongée. 22

23 // Fonction qui renvoie une chaîne de caractères comportant le code source de l adresse url donnée en entrée function get_html($url) { // si les 7 premiers caractères de la chaine de caractères, mis en majuscule, sont égaux à alors on la met dans la variable url if (strtoupper(substr($url,0,7))== ) $url=substr($url,7); $p = strpos($url,»/»); // $p contient la place du premier / // récupération du nom_domaine constitué de sans les // et les caractères après sont stockés dans $get if ($p===false) { $nom_domaine=$url; $get= / ; } else { $nom_domaine=substr($url,0,$p); $get=substr($url,$p); } $errno= ; $errstr= ; $r= ; // 15 est le temps maximal d attente en seconde, $domaine sert à la connexion à internet, 80 est le numéro du port // $errno contient le numéro de l erreur qui survient lors de la connexion // $errstr est le message d erreur, sous la forme d une chaîne de caractères // La commande fsockopen initie le dialogue avec le serveur //socket_set_timeout règle le temps de réponse maximum du serveur à 15 secondes //connexion et récupération du code source. Le dialogue HTTP se passe en connexion TCP sur le port 80. Les données échangées sont du texte. $fp = fsockopen($nom_domaine, 80, $errno, $errstr, 15); if($fp) { socket_set_timeout($fp, 15) ; Fputs($fp,»GET $get HTTP/1.1\r\n») ; // la connexion se déroule suivant le protocole HTTP/1.1 fputs($fp,»host : $nom_domaine\r\n») ; // on donne $nom_domaine qui est le chemin fputs($fp,»connection : Close\r\n\r\n») ; // on ferme la connexion $r=»» ; //on met le flux dans une variable ligne par ligne while(!feof($fp)) {$r.=fgets($fp,1024);} } } fclose($fp); return($r); return( ); Figure 10 : La fonction «get_html()» 23

24 III.3. Application de l extraction de données III.3.1. Premier essai sur un exemple simple Dans un premier temps, nous avons essayé cette méthode sur une page HTML que nous avons créée (voir Figures 11 et 12). Cette page contient un tableau. Figure 11 : Un premier test de l extraction de données Nous allons récupérer les informations de ce tableau. Nous avons commencé par une page simple de notre création pour faciliter l accession aux informations par les balises. En effet, le code HTML de cette page est simple et toutes les informations se situent entre des balises identiques <td> </td> et se situent toutes entre <tbody> </tbody>. Comme nous l avons présenté dans la partie précédente, nous allons mettre le code source dans une variable, puis nous allons parcourir cette dernière. Pour cela nous allons utiliser entre autre la fonction «php strpos()» qui donne la position d une balise. En sachant quelles sont les positions de début et de fin d une information, en utilisant la fonction «substr()», il est possible de renvoyer une chaine de caractères ne comportant que ce qui se situe entre ces deux positions. En utilisant la fonction «strip_tags()» qui enlève les balises HTML et PHP d une chaîne de caractères en les remplaçant par des blancs, puis en appliquant la fonction «trim()» qui enlève les blancs à gauche et à droite de la chaîne de caractère, on obtient l information désirée. Il reste donc à l insérer dans la base de données à l aide de requêtes de type MySQL grâce à la fonction PHP «mysql_query()». Nous allons afficher premièrement chaque donnée lors de son extraction et à la fin le contenu de la base de données qui a été remplie. La Figure 13 fournit le résultat obtenu qui illustre bien l extraction du tableau de la Figure

25 Figure 12 : Le code source d une page HTML simple Figure 13 : Le résultat de l extraction de données sur une page HTML simple 25

26 III.3.2. Mise en application sur un site Web Cet exemple nous ramène à la question de savoir s il est possible d extraire des informations à partir du site pour alimenter notre base de données. Cette application est plus compliquée que la précédente pour plusieurs points. Premièrement, l accès aux informations que l on souhaite est plus difficile par le fait qu il y a une multitude de balises différentes. De plus, pour accéder à une balise, il se peut que d autres du même type soient placées avant. On peut constater ceci sur la Figure 14. Figure 14 : Le code source d une page HTML complexe Deuxièmement, nous allons parcourir une page où se situent des morceaux d adresse url. Lorsque l on ajoute ces morceaux à la fin de l adresse de la base de données l adresse url obtenue nous dirige sur des pages comportant des informations sur des produits. Nous allons donc prendre les informations de chacune de ces pages qui ont la même structure de code source. Cela rajoute donc des boucles ce qui implique une difficulté au moment de récupérer l adresse url. Il faut être précis et ne prendre que ce qui est utile. De plus, il faut appeler la fonction «urlencode» sur le morceau extrait pour pouvoir l insérer dans l adresse url. Une dernière difficulté réside dans le fait que certaines pages peuvent contenir des informations à extraire que d autres de même structure n ont pas. Si dans une page, une information n est pas présente, il faut le vérifier et mettre une chaîne de caractère vide à la place. C est le cas, dans notre exemple, où la formulation n est pas présente dans chaque page. Le reste de l extraction suit les mêmes principes que dans l exemple précédent. La 26

27 Figure 15 est un exemple d utilisation de la méthode d extraction de données sur un nombre de produits égale à six (il est possible de faire varier ce nombre) et commençant par D. Figure 15 : Le résultat de l extraction de données sur une page HTML complexe La Figure 16 montre un bout de page du produit D ZERBAN 180 dont nous avons extrait des informations. Figure 16 : Un exemple de page HTML complexe avant extraction des données 27

28 Grâce à cette extraction de données, les tables «toxico» et «produit» de la base de données ont été remplies avec un certain nombre de tuples (Voir Figures 17 et 18). Figure 17 : Un affichage de la table «toxico» après extraction des données Figure 18 : Un affichage de la table «produit» après extraction des données Dans les illustrations proposées, nous n avons seulement extrait qu un petit nombre de données et visité un petit nombre de pages, ce qui ne remplirait pas la base de données de notre interface. Mais, il est possible, à l aide de cet exemple, de généraliser cette méthode sur toutes les pages. Nous avons montré que l objectif est réalisable. 28

29 C. Résultats et améliorations possibles I. Résultats Les Figures 19, 20, 21 et 22 donnent un aperçu des principales pages de notre interface. Figure 19 : Un exemple de page d accueil d une session Figure 20 : Un exemple d une page d authentification Figure 21 : Un exemple de page «mon profil» 29

30 Figure 22 : Un exemple de page «produits consultés» 30

31 II. Améliorations possibles II.1. Création d un forum Nous aurions pu ajouter un forum pour d une part recevoir des critiques et d autre part permettre aux utilisateurs de se poser des questions. Les gens aiment se renseigner auprès des autres pour profiter de leur expérience et de ce qu ils connaissent. Dans notre cas, ils auraient pu échanger leurs connaissances sur les produits. II.2. Point d actualités Nous aurions également pu créer une page d actualités sur laquelle figurerait une liste des nouveaux produits, des nouvelles utilisations ou législations. De plus, sur cette page, nous aurions pu trouver une énumération des produits les plus utilisés selon leurs fonctions et un classement des produits les plus appréciés (en établissant un système de notation sur chaque produit). II.3. Ajout automatique d éléments par extraction de données Enfin, nous aurions pu rajouter des fonctionnalités dans l algorithme d extraction. Il s agirait de faire une exécution automatique de l algorithme d extraction, à un intervalle de temps régulier (une fois par mois par exemple). A chaque appel de l algorithme d extraction, ce dernier vérifierait si des mises à jour ont été effectuées sur le site Web et si de nouveaux éléments ont été ajoutés. Si c est le cas, nous pourrions l insérer dans la base de données. En résumé, ce procédé permettrait de gérer automatiquement l insertion de nouveaux éléments. 31

32 Conclusion Dans le cadre de ce projet, nous avons réussi à réaliser une application permettant de fournir une interface Web qui gère la notion de profils d utilisateurs et procure rapidement à celui-ci des données adaptées à ses attentes. De plus, l algorithme d extraction de données que nous avons implémenté donne les résultats attendus. Ce projet nous a permis de découvrir l utilisation de plusieurs langages en développement Web et d approfondir nos connaissances en base de données. Nous avons appris à concevoir une interface Web, ce qui pourra nous être utile par la suite. Nous avons eu plusieurs difficultés. Premièrement, il a fallu apprendre les bases de la programmation Web qui nous était totalement nouveau. Ensuite, il nous a été difficile de trouver des méthodes, des outils pour résoudre nos problèmes, notamment pour l extraction de données. Par ailleurs, n étant pas dans la même filière ni dans la même année, il nous a été plus difficile de trouver des horaires pour travailler en groupe. 32

33 Références [1] Plan ECOPHYTO 2018 de réduction des usages de pesticides ( ) 10 septembre 2008 [2] [3] [4] Sécuriser son site en PHP [5] Apprenez AJAX pas à pas rubiks10 AJAX-AVEC-NAVIGATION-CLAVIER-SOURIS_39699.aspx 2006 [6] Extraction de données sur un site internet avec PHP, MySQL et XML Olivier Népomiachty