Introduction au langage R

Transcription

1 Les bases de la manipulation des objets Centre International d études pédagogiques Cogmaster, 2009.

2 Plan

3 La disponibilité Libre et gratuit Libre, cela signifie que le code est accessible et modifiable. Des projets annexes utilisent le code de R. Portable Il existe pour de nombreuses plateformes : Windows, MacOS X, Linux, BSD,... Extensible Autour d un bloc central, de nombreuses fonctions sont accessibles par le biais de paquets additionnels ou package.

4 Un langage de manipulation de données R et les bases de données Il est aisé, via des packages additionnels de manipuler directement des données provenant de base de données MySQL, PostgreSQL, SQLite, ODBC,... On peut également embarquer grâce à certains paquets du code SQL dans du code R (sqldf). Outils de manipulation Il possède par défaut et via des packages additionnels des formidables possibilités de manipulation de données : expressions régulières, fusion de tableaux,

5 Les inconvénients... R ne stocke pas les résultats dans une pile comme d autres logiciels. Pour permettre les analyses l ensemble des données doit se trouver un mémoire : cela pose un problème pour les gros volumes de données. Il y a une limite de taille des données (notamment en fonction des plateformes). De l ordre de 4Go à 8Go. C est un autre langage à apprendre. Le nombre de paquets est gargantuesque. La qualité des paquets (notamment de la documentation) peut être variable selon les paquets. Trouver la fonction que l on souhaite peut s avérer compliqué......

6 Pourquoi un langage plutôt qu un WYSIWYG? De l avantage d un langage... Après un bref apprentissage, son utilisation est plus rapide qu une interface graphique Un script est une trace de l analyse de A à Z : il permet sans ambigüité de retrouver ce qu on a fait six mois après... Voir d y apporter des corrections (pratique pour un article) Un script bien écrit permet de réaliser les mêmes traitements sur un autre jeu de données L automatisation et la création de fonctions propres est plus facile...

7 R est un langage comme les autres...(1) R est un langage de programmation comme les autres. Par conséquent il n est pas important mais primordial de respecter les conventions d écriture valable pour tous les langages. Le langage est casse-dépendant : que ce soit pour les noms de fonction, de variables ou le texte stocké dans les variables, la même lettre en minuscule et majuscule est considérée comme différente. On ne doit pas utiliser un nom de fonction interne pour nom de variable (sauf surcharge).

8 R est un langage comme les autres...(2) Il existe des restrictions pour nommer les variables et fonctions : obligatoires : les $, %, *,... sont interdits dans les noms de variables. conseillées : éviter le. qui a signification particulière. Le code doit être propre : indenté correctement, commenté correctement,... Eviter de trop utiliser les astuces de programmation pour la lisibilité du code.

9 Help! (dans R) Pour rechercher de l aide sous R il y a plusieurs solutions :?table ou?binomial : le point d interrogation suivi d une commande, d un thème ou d un opérateur permet d obtenir la documentation associée à la commande. Si la fonction est dans un paquet en mémoire alors il suffit de taper?commande. Si le paquet n est pas en mémoire il faut préfixer avec le nom du paquet : nomdupaquet : :nomdelafonction. help.search( mot-clef ) : cette commande est comparable à apropos sous UNIX. Elle cherche dans l aide des paquets installés le mot-clef. Elle répond en donnant la(les) commande(s) correspondantes. Les répondes sont sous la forme nomdupaquet : :nomdelafonction.

10 Help! (sur le web) Sur le site de R. le lien est sur la page de Christophe Pallier Les documentations annexes : en anglais, français,... Les liens sont sur la page de Christophe Pallier. Le moteur de recherche Rseek. Il permet de chercher sur les sites sur R et dans les newsgroup. A toute question il y a généralement une réponse : Rseek.

11 Les types de bases (1) A partir des types de variable simples énoncés ci-dessous on peut construire des ensembles plus complexes. De façon native comme cela vous a été expliqué les types simples sont des vecteurs. Ces types simples sont de plusieurs types : numerique (numeric). Ce sont des entiers ou des réels. C est le type à utiliser pour les variables quantitatives. variables qualitatives : Texte (character). Utilisable pour stocker du texte libre. Modalités (factor). Utilisable pour stocker les modalités (nombre fini) d une variable. Par exemple homme, femme. Modalités ordonnées(factor(x, ordered=t)). Utilisable pour stocker les modalités ordonnées d une variable. Par exemple passable, bien, très bien, excellent.

12 Les types de bases (2) Un booléen (boolean). Pour stocker vrai ou faux. Il existe d autres types de variables notamment les dates et les complexes. La gestion des dates est assez subtile et ne sera pas évoqué dans ce cours introductif.

13 Les fonctions associées aux types Certaines fonctions génériques sont associées aux types d objets : is.type : renvoie un booléen qui indique si l argument de la fonction est bien du type précisé. Par exemple : is.numeric(5) renvoie TRUE et is.numeric( A ) renvoie FALSE. as.type : essaie de convertir l argument dans le type précisé. La conversion est soit automatique si les deux types sont compatibles soit elle soulève une erreur (arrêt du script) ou un warning. Un warning n arrête pas l execution du script mais le résultat est souvent tout sauf ce que l on attend. On peut voir les derniers warnings en tapant warnings(). Ces fonctions génériques ne sont pas valables que pour les types simples. Elles sont utilisables pour les objets et les types composés. Il est donc important de les mémoriser.

14 Les valeurs particulières(1) Il existe quelques valeurs réservées qui ont un sens particulier dans R. Les valeurs logiques : TRUE et FALSE que l on peut raccourcir en T et F. Valeurs manquantes. Les valeurs manquantes sont codées NA. La comparaison ou l utilisation de NA dans un calcul renvoie la valeur NA. Souvent dans les fonctions les arguments na.omit ou na.action indique aux fonctions la façon de tenir compte des valeurs manquantes. La valeur NULL. Elle a le même sens qu en SQL. C est un objet vide. Alors que le NA est une valeur, NULL est une absence de valeur. Par conséquent une comparaison logique par exemple renvoie un vecteur vide (et non NA).

15 Les valeurs particulières(2) Si les booléens sont considérés comme des valeurs standards ce n est pas le cas de NA et NULL. En effet pour tester si toute ou partie d un vecteur comporte des valeurs manquantes, il faut utiliser la fonction is.na(variable) et pour is.null(variable) pour NULL.

16 Les opérateurs de comparaison(1) Les opérateurs de comparaison permettent de comparer deux vecteurs entre eux et renvoie un vecteur booléen. Les opérateurs sont les suivants : < : inférieur à <= : inférieur ou égal à > : supérieur à > : supérieur ou égal à == : égalité! = : différent de

17 Les opérateurs de comparaison(2) Comme à chaque fois il faut faire attention lorsqu on fait des comparaisons au recyclage des vecteurs. De plus il faut attention aux conversions implicites lors des comparaisons et du vecteur obtenu. Enfin il faut garder à l esprit que la comparaison est casse dépendante pour les variables caractères.

18 Noms des variables (1) Le nom des variables est assez libre dans R. Peut être même trop... Parmi les interdictions, il y a l utilisation des opérateurs tels que -, =, $, [, +,... Il y a peu d autres interdictions. Parmi ce qui est déconseillé il y a : L utilisation des caractères accentués. Selon les plateformes et la configuration de R l encodage des caractères change et on peut avoir de très grosses surprises en exécutant un script sur une autre machine. Utiliser un nom de variable d une fonction existante... Elle écrase la fonction originale. C est alors complexe d appeler la fonction originale et cela peut surprendre si l utilisateur n est pas l auteur du script.

19 Noms des variables (2) Utiliser les points dans les noms de variable. Cela peut poser problème car le point a une signification particulière dans certains sous R (langage S3) et pour les échanges avec les bases de données (le. est un caractère qui a une signification particulière en SQL). Choisir des noms de variables explicites. Bannissez toto, titi, tata, mickey, tmp, a, b,...

20 L affectation (1) L affectation dans R se fait très facilement par l opérateur <. L opérateur = est un équivalent. Prenez plutôt l habitude dès le départ d utiliser <. Par exemple : > a <- 5 > b <- 6 > a + b [1] 11 > c <- "Tip top moumouthe" > c [1] "Tip top moumouthe"

21 L affectation (2) Comme l indique l exemple, nous n avons pas besoin de spécifier le type de valeur que vont stocker les variables à l avance comme dans certains langages. Cela a ses avantages et ses inconvénients. Autre information à noter : certaines commandes ne renvoient rien comme les affectations par exemple. Par contre les opérations d additions, l appel d une variable (ici c) renvoie un résultat qui est affiché à l écran. En fait de façon sous-jacente, la ligne c est interprété par R comme la commande print(c). La commande print est beaucoup plus complexe et puissante qu elle n y parait au premier abord notamment à cause des langages objet S3 et S4.

22 Partie 1. Objets et opérateurs Partie 1 Copier et coller les commandes R dans la console pour voir le résultat des commandes. Pour plus de lisibilité copier/coller les lignes séparées par des blancs l une après l autre.

23 Les vecteurs(1) : création Chaque type simple peut en fait se comporter comme un vecteur c est-à-dire un tableau à 1 dimension. C est l opérateur c() qui permet d obtenir des vecteurs. Parfois l obtention du vecteur résulte d une fonction ou d un opérateur. Ici l opérateur 1 :6 signifie à R de renvoyer tous les entiers entre 1 et 6 par pas de 1. Tout les objets simples présentés ci-dessus sont des vecteurs. Pour R, il n y a pas de différence entre une valeur unique et un vecteur : une valeur unique est un vecteur de longueur 1.

24 Les vecteurs(1) : création > c(1,2,3,4,5,6) [1] > 1:6 [1] > c("homme","femme") [1] "Homme" "Femme" > rep( c(1,3), c(2,3) ) [1] > seq(2,10,2) [1]

25 Les vecteurs(2) : fonctions essentielles Dans la diapositive précédente deux fonctions de création de vecteurs ont été présentés : L opérateur a :b. Il crée une suite d entiers de a à b par pas de 1. La fonction seq. Elle permet de créer de suites. Elle prend pour argument dans l ordre la valeur de départ, la valeur finale et le pas. Au lieu du pas on peut spécifier par length.out la longueur du vecteur voulu. Pour créer des vecteurs il y a la fonction rep. Elle permet de répéter n fois une ou plusieurs valeurs. Pour créer des vecteurs de facteurs, il y a la fonction gl dont le fonctionnement est proche de seq.

26 Les vecteurs(3) : fonctions essentielles L autre fonction à connaître est length. Elle donne la longueur (le nombre de valeurs) contenues dans le vecteur. Enfin il y a la fonction names. Elle permet de donner un nom aux éléments d un vecteur. Par exemple : > ABCD <- c("a","b","c","d") > a <- 1:4 > names(a) <- ABCD > a A B C D > names(a) [1] "A" "B" "C" "D"

27 Les vecteurs(4) : l indexation L indexation des vecteurs se fait grâce à l opérateur [. L indexation peut être réalisée de plusieurs manières : Par numéro dans le vecteur. Par un vecteur logique. Les positions ayant pour valeur TRUE sont retournées, celle à FALSE ne le sont pas. Par noms d observations. Par numéro inversée.

28 Les vecteurs(4) : l indexation > LETTERS[c(2,4,6)] [1] "B" "D" "F" > (1:4)[c(F,T,F,T)] [1] 2 4 > a[c("b","d")] B D 2 4 > LETTERS[-c(2,4,6,10:26)] [1] "A" "C" "E" "G" "H" "I"

29 Partie 2. Les vecteurs Partie 2. Les vecteurs Copier et coller les commandes R dans la console pour voir le résultat des commandes. Pour plus de lisibilité copier/coller les lignes séparées par des blancs l une après l autre.

30 Les data.frame(1) : définition et création Les data.frame sont des tableaux à deux dimensions. Leur particularité est de pouvoir stocker des données hétérogènes selon les colonnes. C est le type d objet que vous utiliserez le plus. Une data.frame peut être créé par une fonction comme data() pour les données d exemple ou bien par une fonction comme read.table() que l on verra abondamment par la suite.

31 Les data.frame(1) : définition et création La création explicite d une data.frame se fait par la commande data.frame. On précise alors le nom de colonne (facultatif) puis les données sous forme de vecteurs. Si la longueur des données est insuffisante alors le vecteur est recyclé c est-à-dire que les données sont répétées. Si la longueur totale entre les vecteurs ne correspond pas alors un warning ou une erreur est levée. Si la conversion est possible on peut utiliser la commande as.data.frame pour transformer un objet en matrice.

32 Les data.frame(1) : définition et création Par exemple : > data.frame(a=1:4,b=c("a","b","c","d")) a b 1 1 A 2 2 B 3 3 C 4 4 D

33 Les data.frame(2) : l indexation Dans ce cas on fournit un vecteur pour l indexation des lignes puis un vecteur pour l indexation des colonnes le tout séparé par une virgule. On peut également indexer une data.frame par une matrice (un tableau à deux dimensions). Sélectionner une ligne : a[2,] renvoie la deuxième ligne de la matrice a. Sélectionner une ligne : a[,2] renvoie la deuxième colonne de la matrice a. Sélectionner une cellule : a[c(1,2),c(1,2)] renvoie une sous matrice. Sélectionner via une matrice : a[matrix(true,nrow(a),ncol(a))] renvoie toute la matrice.

34 Les data.frame(3) : l indexation Il existe d autres moyens un peu différent des autres langages pour sélectionner des colonnes. a$nomdecolonne avec pour résultat un vecteur. Avec un vecteur caractère pour sélectionner les colonnes avec leurs noms : a[,c( macolonne1, macolonne2 )] qui renvoit une data.frame.

35 Les data.frame(4) : les fonctions essentielles Parmi les fonctions essentielles : dim,nrow et ncol permettent respectivement d obtenir les dimensions (nombre de lignes et de colonnes dans un vecteur), le nombre de lignes et le nombre de colonnes. str : cette fonction retourne la structure de la data.frame. with(a,expression). Permet de réaliser des opérations en ne préfixant pas par le nom de la data.frame. attach et detach. La première commande permet d accéder directement aux vecteurs sans avoir à préfixer avec le nom de la data.frame. detach fait la fonction inverse d attach.

36 Les data.frame(5) : les fonctions essentielles Suite des fonctions essentielles : summary : il fournit un résumé basique du contenu de chaque contenu. Le résumé est dépendant du type de chaque colonne. rownames(data.frame) et colnames(data.frame) : ces fonctions ont un rôle dual. Soit elle renvoie sous la forme d un vecteur character le nom des lignes ou des colonnes. Soit elles permettent de définir le nom des lignes ou des colonnes en affectant une variable généralement de type character ou numeric....

37 Partie 3. Les data.frames Partie 3. Les data.frames Copier et coller les commandes R dans la console pour voir le résultat des commandes. Pour plus de lisibilité copier/coller les lignes séparées par des blancs l une après l autre.

38 Le répertoire de travail Le répertoire de travail est modifié en utilisant la commande setwd( MonDisque/MonRépertoire ). Sous Windows, les barres obliques gauches doivent être doublées. Ou bien on peut les modifier en /. Le répertoire courant est obtenu en utilisant la commande getwd().

39 Lire les données au format R On peut utiliser la GUI (si elle existe pour la plateforme) pour ouvrir un fichier de données au format R. Le suffixe utilisé est habituellement.rdata. Sans la GUI, il y a la commande load : load( MesDonnees.RData ). Le(s) objet(s) stocké(s) dans le fichier sont alors placé(s) en mémoire. Le format est un format compressé! Il tient beaucoup moins de place que des données texte brutes. Seul inconvénient, par défaut le ou les objets chargés ne sont pas indiqués. Il faut évaluer par exemple en mettant en parenthèses la commande pour avoir le nom des objets chargés en mémoire.

40 Ecrire les données au format R Si on ne veut sauvegarder un ou plusieurs objets spécifiques (matrice, data.frame, listes, fonctions,...) on utilise la commande save() dont la syntaxe est la suivante : save(objet1,objet2,file= NomDuFichier.RData ). Si on veut sauvegarder l ensemble des données contenues dans la mémoire à un instant donné on utilise la fonction save.image(). L appel de cette fonction sauvegarde (hors package) tous les objets en mémoire. C est cette fonction qui est appelé lorsque R propose de sauvegarder l environnement en quittant l application. S il existe un fichier appelé.rdata dans le répertoire de lancement de R, il est automatiquement chargé en mémoire.

41 Chargement de données de fichiers texte(1) Pour lire un fichier texte, on peux distinguer trois méthodes : Une méthode qui utilise le système de connexion qui est relativement complexe. Dans ce cas la lecture du fichier se fait ligne à ligne (cf. readlines). Une fonction qui permet de lire des fichiers texte dont les champs sont placés à des colonnes définies. Ce type de fichier est relativement rare désormais avant la disparition du FORTRAN. Il existe une fonction dédiée read.fortran(). La syntaxe est assez lourde. La lecture des fichiers dont les champs sont séparés par des caractères spéciaux. C est le format le plus courant qui sera vu ici.

42 Chargement de données de fichiers texte(2) La fonction de bas niveau pour le chargement de fichier texte est la fonction scan() que vous avez déjà vu. Sa syntaxe est lourde. Elle est conçue pour lire les fichiers ligne avec pour séparateurs entre les champs. La particularité est que l on doit notamment définir le contenu des champs. Elle ne sera pas vu en détail car il existe des fonctions de plus haut niveau plus pratique. Les fonctions de plus haut niveau ont la particularité de détecter le type de champs automatiquement. La fonction avec laquelle vous chargerez le plus souvent les données est la fonction read.table() ou un de ses alias.

43 Chargement de données via read.table(1) La fonction avec laquelle vous chargerez le plus souvent les données est la fonction read.table(). Elle permet de charger les fichiers texte dont les champs sont séparés par des caractères spéciaux. Le premier paramètre est le nom de fichier. Puis les arguments les plus importants sont :

44 Chargement de données via read.table(2) header : indique si la première ligne lue contient le nom des colonnes sep : la valeur indique le(s) charactère(s) qui sépare(nt) les champs. dec : indique si le charactère utilisé comme séparateur entre la partie entière et la partie décimale. quote : indique quel(s) caractère(s) indique(nt) avec quoi les champs texte sont délimités. na.strings : vecteur caractère qui indique comment sont codées les valeurs manquantes. skip : indique si les n premières lignes doivent être ignorées.

45 Chargement de données via read.table(3) Il existe plusieurs alias de cette commande. La seule différence entre ces fonctions sont les paramètres par défaut. read.table : lecture des fichiers avec comme séparateur un espace read.csv : lecture des fichiers CSV anglais read.csv2 : lecture des fichiers CSV français read.delim : lecture des fichiers avec la tabulation comme séparation (décimal anglaise) read.delim : lecture des fichiers avec la tabulation comme séparation (décimal française)

46 Sauvegarde de données via write.table il faut préciser comme un argument une data.frame puis le nom du fichier. La fonction prend les mêmes arguments que pour la lecture. Il existe deux alias de cette commande pour les fichiers CSV anglais (write.csv) et CSV français (write.csv2).

47 Partie 4. Chargement et sauvegarde Partie 4. Chargemenr et sauvegarde Copier et coller les commandes R dans la console pour voir le résultat des commandes. Pour plus de lisibilité copier/coller les lignes séparées par des blancs l une après l autre.