Gestion de la mémoire : le ramasse-miettes

Transcription

1 Gestion de la mémoire : le ramasse-miettes DLP : Développement d un langage de programmation Master STL, UPMC Antoine Miné Année Cours 10 1er décembre 2015 Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 1 / 25

2 Types de mémoire Trois grandes zones de mémoire accessibles à un programme : zone des données globales : variables globales et static, constantes ; taille et structure fixées au démarrage (segments.data et.bss du binaire) zone de la pile : variables locales, avec allocation implicite ; allocation explicite également possible (alloca en C) libération automatique au retour de fonction ; libération toujours dans l ordre inverse de l allocation ; zone du tas : allocation explicite, par malloc en C ; libération explicite, par free en C ; ordre arbitraire des allocations et libérations. Et quelques fonctions plus exotiques, spécifiques à certains systèmes, e.g., mmap en C. Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 2 / 25

3 Utilisation du tas L allocation dans le tas est utile quand : la quantité de mémoire nécessaire n est pas connue a priori ; exemple : charger un fichier complet en mémoire un bloc mémoire alloué dans une fonction doit survivre au retour de fonction. exemple : création de listes chaînées, d objets Problème : quand libérer la mémoire? Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 3 / 25

4 Exemple de structure de tas dynamique chaque bloc contient une en-tête : taille (en mots machine w) et nature du bloc (libre, alloué) ; free pointe sur une liste chaînée de zones libres ; (nécessaire car les zones non-allouées ne sont pas forcément contiguës après un free) malloc renvoie l adresse suivant l en-tête. (l en-tête est maquée au programme client) Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 4 / 25

5 Dangers de la gestion manuelle du tas Dangers de la libération manuelle avec free : fuites de mémoire : oublier de libérer des blocs mémoire = la mémoire est saturée, les allocations futures échouent ; pointeurs dans le vide! : un bloc est libéré, mais il reste des pointeurs sur ce bloc = un accès a ces pointeurs est une erreur. Effets possibles : double libération ; conflit avec un bloc réalloué ; vecteur d attaque pour les malware. Les conséquences de ces erreurs sont imprévisibles ; et peuvent se manifester bien après l erreur proprement dite. Avantage : contrôle total sur la gestion de la mémoire. utile dans des systèmes contraints en mémoire ou en temps d exécution, comme les systèmes embarqués Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 5 / 25

6 Libération automatique de mémoire Principe : Un bloc est vivant si il est accessible par les variables locales ou globales du programme. (directement ou en suivant un nombre arbitraire de pointeurs) Un bloc est libéré automatiquement quand le système détecte qu il n est plus vivant. Deux méthodes : le comptage de références ; le traçage des références. Toujours conservatif : ne libère jamais un bloc vivant ; mais peut oublier de libérer un bloc non vivant : à tout jamais (à éviter!) jusqu au prochain cycle de libération (à limiter). Note : si le programme laisse une variable globale pointer vers un bloc, celui ne pourra jamais être libéré, même si le bloc n est jamais utilisé! Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 6 / 25

7 Méthode 1 : comptage de références Comptage de références : reference counting. Exemples : nombreuses bibliothèques C, langages Perl et Objective-C. Principe : ajouter à l en-tête un compteur ; représente le nombre exact de pointeurs vers ce bloc ; quand le compteur atteint zéro, le bloc est libéré ; = nécessité de maintenir ce compteur : quand un bloc est alloué ; quand une variable pointeur globale ou locale change de valeur ; quand un champ pointeur d un bloc change de valeur ; donc également quand un bloc est libéré. Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 7 / 25

8 Exemple de comptage de références Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 8 / 25

9 Exemple de comptage de références b = alloc(); = E initialisation du compteur de E à 1 Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 8 / 25

10 Exemple de comptage de références b->i = a->g; incrémentation du compteur de D (b->i après initialisation) Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 8 / 25

11 Exemple de comptage de références a->f = b ; décrémentation du compteur de B (a->f avant affectation) incrémentation du compteur de E (a->f après affectation) Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 8 / 25

12 Exemple de comptage de références libération de B décrémentation du compteur de C (B->h avant libération) libérations en cascade, par exemple de toute une liste chaînée! Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 8 / 25

13 Exemple de comptage de références libération de C Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 8 / 25

14 Limitation du comptage de références : cycles Liste chaînée simple. Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 9 / 25

15 Limitation du comptage de références : cycles a -> next -> next -> next = a; création d un cycle = incrémentation du compteur de A Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 9 / 25

16 Limitation du comptage de références : cycles a = NULL; libération de a = décrémentation du compteur de A Le cycle n est plus vivant (plus accessible depuis les variables du programme) mais il ne sera jamais libéré (compteurs 1) = fuite de mémoire! Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 9 / 25

17 Comptage de références : résumé Avantage : simple à programmer, y compris dans une bibliothèque. (pas besoin d un support spécifique dans le langage) Inconvénients : sur-coût en mémoire (un mot pour le compteur) et en temps ; Toutefois, le coût en temps est réparti sur la durée du programme. De nombreux travaux de recherche sur comment éviter des paires incrémentation/décrémentation inutiles. le programmeur doit faire attention à mettre à jour le compteur ; fuites de mémoire pour les structures circulaires. Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 10 / 25

18 Méthode 2 : traçage de références Traçage de références : tracing garbage collector. Exemples : Java, OCaml,... et ILP! Principe : calcul exact des blocs accessibles par le programme à un instant donné ; utilisation d un parcours de graphe (en profondeur généralement) ; un seul bit supplémentaire est généralement nécessaire ; (dans l en-tête, le bit est partagé la taille pour économiser un mot) libération des blocs non accessibles, ou déplacement des blocs accessibles, ou un mélange des deux (nombreuses variantes) Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 11 / 25

19 Méthode 2.1 : marquage et balayage (1/3) Algorithme mark-and-sweep. Phase de marquage : départ des racines : variables globales, pile des locales, registres. en jaune sur le dessin Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 12 / 25

20 Méthode 2.1 : marquage et balayage (2/3) Algorithme mark-and-sweep. Phase de marquage : marquage blanc noir (bleu jaune sur le dessin... ) ; un parcours en profondeur limite la mémoire annexe nécessaire. Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 13 / 25

21 Méthode 2.1 : marquage et balayage (3/3) Algorithme mark-and-sweep. Phase de balayage : parcours séquentiel de tous les blocs du tas ; (de haut en bas, dans l ordre des adresses) les blocs blancs sont libérés ; (phase de consolidation pour fusionner les libres adjacents) les blocs noirs sont remis à blanc (en prévision du prochain balayage). Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 14 / 25

22 Marquage et balayage : résumé Avantages : libère également les cycles non accessibles ; efficace en mémoire (un bit au lieu d un mot). Inconvénients (et leur remède) : l algorithme interrompt le programme pour une longue durée = une version incrémentale est possible ; la libération laisse la mémoire fragmentée : l allocation de gros bloc devient impossible ; la vitesse d accès en mémoire en souffre ; (les caches mémoire du microprocesseur sont moins efficaces) = possibilité de compacter le tas ; nécessité de re-parcourir tout le tas y compris les blocs libres (lors du balayage) = méthode par copie possible. Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 15 / 25

23 Traçage de références incrémental But : éviter les pauses trop longues dans le programme. Principe : n effectuer qu une partie du travail à la fois ; interrompre le programme souvent, mais pour peu de temps ; (sacrifier un peu en vitesse pour gagner beaucoup en latence) éventuellement, effectuer le traçage de référence en concurrence avec le programme, dans une thread séparée. Difficulté : Le graphe de la mémoire évolue lors du parcours! des nouveaux blocs sont alloués ; solution : les noircir dès leur création pour les marquer accessible des blocs déjà parcours sont modifiés = des blocs accessibles peuvent être manqués ; solution : garder une trace de toutes les affectations entre deux tranches de travail Particulièrement difficile en cas d accès concurrents par d autres threads! = l algorithme est un peu plus complexe, mais c est possible et utile! Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 16 / 25

24 Compactage du tas = pendant le balayage, les blocs libres sont remontés ; la zone libre suit la zone allouée augmente la localité des données ; il est nécessaire de mettre à jour les pointeurs vers les blocs alloués. (nécessite de la mémoire supplémentaire) Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 17 / 25

25 Méthode 2.2 : arrêt et copie (1/3) Algorithme stop-and-copy. Deux tas sont utilisés : un tas A où les blocs sont alloués séquentiellement ; (pas de trou, la zone libre est à la fin) un tas B vide. Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 18 / 25

26 Méthode 2.2 : arrêt et copie (2/3) Algorithme stop-and-copy. Lors du parcours, les blocs trouvés accessibles sont directement copiés dans le tas vide B ; les pointeurs vers ces blocs sont mis à jour. Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 19 / 25

27 Méthode 2.2 : arrêt et copie (3/3) Algorithme stop-and-copy. À la fin, le nouveau tas B est utilisé, l ancien tas A est vidé. Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 20 / 25

28 Arrêt et copie : résumé Avantages : garde le tas compact à tout moment ; l allocation se réduit à incrémenter un pointeur ; (inutile de parcourir une liste de blocs libres : il n y a qu une zone libre contiguë) pas de balayage : seuls les blocs accessibles sont traversés. Inconvénients : nécessite deux tas, donc plus de mémoire ; une copie des blocs accessibles est nécessaire. Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 21 / 25

29 Traçage de références générationel : exemple d OCaml Principe : utiliser plusieurs algorithmes en même temps. Exemple : gestion mémoire en OCaml un tas mineur, petit ( taille du cache, 2 MB par défaut) ; contigu : allocation par incrémentation de pointeur ; génération récente ; un tas majeur, gros (peut remplir toute la mémoire) ; fragmenté : allocation par liste chaînée de blocs libres ; génération ancienne ; une allocation du programme se fait dans le tas mineur ; quand le tas mineur est plein, une tranche de travail est faite : les blocs accessibles du tas mineur sont copiés vers le tas majeur ; le tas mineur est complètement vidé ; une tranche de marquage ou de balayage du tas majeur est effectué. Justification : Niveau élevé d allocation de petits blocs de faible durée de vie = ils ne sont jamais promus dans le tas majeur. Les JVM de Java utilisent des techniques similaires, en plus complexe. Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 22 / 25

30 Marquage exact, marquage conservatif Deux types de langages : 1 contrôle total de l environnement sur les références ; exemples : OCaml, Java ; 2 pas de contrôle sur les références ; exemples : C, C++ = rien ne distingue en mémoire un pointeur d une autre valeur. Dans ce dernier cas, le marquage doit être conservatif. Toute valeur égale à l adresse d un bloc est considérée comme une référence vers ce bloc. (même si il s agit d un entier qui est, par hasard, égal à l adresse d un bloc) = peut considérer trop de blocs accessibles. Un traçage conservatif est aussi limité : à une méthode par balayage, sans copie ou déplacement possible ; pas non plus de compactage possible. Il ne faut pas changer la valeur d un entier sous pretexte qu il a été confondu avec une référence! Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 23 / 25

31 Exemple : Boehm GC Boehm GC : tracage de références pour C par marquage et balayage ; incrémental ; conservatif ; considère toutes les variables locales et les globales du programme comme des racines (parcours la pile et les segments.data et.bss) ; très facile à intégrer à un programme C existant même si il ne prend aucune précaution! (pas de restriction sur les structures utilisées, sur la position des pointeurs ou des racines) = le code compilé ILP utilise (en option) Boehm GC. Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 24 / 25

32 Interface Boehm GC ILP ilp.h #ifdef WITH_GC #include "include/gc.h" #define ILP_START_GC GC_init() #define ILP_MALLOC GC_malloc #else #define ILP_START_GC #define ILP_MALLOC malloc #endif int { } code généré main(int argc, char *argv[]) ILP_START_GC;... Très simple d utilisation ; il suffit de : se lier à la bibliothèque Boehm GC (option +gc de compilethenrun.sh) ; initialiser la bibliothèque (GC_init()) ; remplacer malloc par GC_malloc (et ne jamais faire free sur ces blocs). Cours 10 Gestion de la mémoire : le ramasse-miettes Antoine Miné p. 25 / 25