Critères comparatifs

Transcription

1

2 Sommaire Introduction 1. Evolution du stockage 2. NAS et SAN, deux options possibles 3. Convergence NAS/SAN 4. La disponibilité de l information 4.1. Les niveaux de RAID 4.2. Sauvegarde/restauration 5. Les plans de reprise de l activité 6. Glossaire Critères comparatifs 1. Environnement de stockage 1.1. Architecture locale 1.2. Architecture campus 1.3. Architecture distante 2. Type de données sur l architecture de stockage 2.1. Fichiers 2.2. Mode blocs (Type base de données) 3. Sécurité du stockage 3.1. Sécurité niveau disques 3.2. Sécurité au niveau baies 3.3. Sécurité réseaux de stockage 4. Redondance de l information 4.1. Redondance en local 4.2. Redondance en campus 4.3. Redondance en distant Réseaux de stockage guidescomparatifs.com Mai 2003 Page 2

3 1. Evolution du stockage Internet, décisionnel, gestion de la relation client, messagerie électronique, multimédia les nouvelles applications sont fortement créatrices de données numériques et engendrent un besoin croissant de volume, de sécurité et de fiabilité dans le stockage. Une étude réalisée en l an 2000 par l université de Berkeley aux Etats-Unis indiquait que 93 % des informations créées aujourd hui le sont sous forme numérique. Autre chiffre significatif, la quantité globale des données produites dans le monde en 2000 était évaluée à 3 Eo (2 puissance 60 octets) et devrait atteindre 100 Eo en En conséquence, le budget du stockage dans lequel la part liée à l administration des données augmente - représente une partie sans cesse croissante des dépenses informatiques. Le Gartner Group affirme que l ensemble des coûts liés au stockage représente aujourd hui 50 % du budget informatique, proportion qui devrait passer à 75 % d ici trois ans. En terme de capacité, le marché croît entre 30 et 50 % par an. Parallèlement, le coût du matériel de stockage suit les mêmes tendances que celui des unités centrales. Ainsi, le coût moyen d un Mo sur disque a connu une baisse constante passant de dollars en 1956 à moins de 0,15 dollar aujourd hui, cela grâce à une amélioration constante de la densité d enregistrement, évaluée à 60 % l an. Années Années Années 2000 Modèle Many to One One to One One to many Caractéristiques des architectures Larges systèmes centraux Stockage dédié Informatique orientée entreprise Technologie clé : le transistor Serveurs départementaux qui créent des îlots d information Informatique orientée applications Administration distribuée complexe Technologie clé : le microprocesseur Recentralisation et consolidation de serveurs Informatique centrée réseau Stockage partagé : apparition des architectures NAS et SAN Technologie clé : bande passante (Source : Horison Information Stratégies) Une grande majorité des systèmes de stockage est aujourd hui en attachement direct. Les réseaux de stockage sont en train de se développer. En France, entre 5 et 10 % des grandes entreprises auraient implémenté de tels réseaux. Architecture apparue il y a quelques années, les réseaux de stockage constituent une des tendances majeures des architectures informatiques. De systèmes directement attachés à un ordinateur et dépendant de lui pour nombre de tâches de gestion et d administration, le système de stockage acquiert de plus en plus d intelligence en local et s affranchit des serveurs. Il est en particulier capable d assurer des tâches d administration, de sauvegarde des données, d archivage Réseaux de stockage guidescomparatifs.com Mai 2003 Page 3

4 2. NAS et SAN, deux options possibles Dans le stockage en réseau ou stockage distribué, deux architectures complémentaires et remplissant des fonctions spécifiques sont apparues : le NAS (Network Attached Storage) et le SAN (Storage Area Network). Réseau Fonction des unités de stockage Protocole d echange NAS Réseau d entreprise existant (Ethernet, FDDI..) Serveur de fichiers Gestion multiprotocole Type message (TCI/IP ) SAN Réseau spécialisé (Fibre Channel ) Serveur de ressources de stockage Aide à la protection, au partage et au mouvement des données Type entrée/sortie (SCSI ) Bande passante Liée au réseau existant Avec Fibre Channel : n X 100 Mo/s Administration du stockage A travers le serveur Implique une administration directe (incluant l infrastructure réseau) Source : Solutions de Stockage Jacques Peping Editions Eyrolles) Bluefin, un standard pour les SAN Bluefin est une initiative lancée par une quinzaine de fournisseurs de système et logiciels de stockage qui a reçu l aval de la SNIA (Storage Networking Industry Association), la principale organisation de normalisation dans le domaine du stockage. Bluefin comporte une série de spécifications pour la description, la visualisation, la configuration et le contrôle de chaque élément d un réseau SAN. Bluefin devrait permettre à chaque fournisseur que ses interfaces soient reconnues par les concurrents. Plus précisément, un système compatible Bluefin pourra assurer les fonctions de base de l administration sans connaissance des API des autres systèmes. L utilisation de spécifications communes devrait faciliter le développement des éditeurs de logiciels. Et les plates-formes d administration couvriront plus de matériels. Le NAS est une unité de stockage qui communique sur les réseaux existants locaux et protocoles standards (Ethernet et TCP/IP par exemple). Un système assure la fonction de serveur de fichiers et supporte différents protocoles de partage : NFS (Network System File) pour les environnements Unix et CIFS (Common Internet File System) pour les environnements Windows. Ainsi, un système NAS peut servir différents environnements. De son côté, le SAN se connecte à une infrastructure sur fibre optique exclusivement réservée au stockage qui utilise un protocole particulier, le Fibre Channel. Cette technologie permet de transporter à haut débit (1 Gbits/s ou plus) différents protocoles (SCSI, Escon ou même IP) et fonctionne au niveau des blocs de données, autorisant ainsi un traitement plus rapide des échanges. Le réseau Fibre Channel possède ses propres équipements : cartes, câbles, commutateurs Le SAN est composé d un réseau dédié au stockage baptisé du même acronyme SAN (Storage Area Network) et d équipements ad hoc SAS (SAN-Attached Storage). Toutefois, c est l acronyme SAN qui est le plus souvent employé pour désigner l ensemble. Réseaux de stockage guidescomparatifs.com Mai 2003 Page 4

5 Un réseau Fibre Channel peut être configuré selon trois topologies : Des liaisons point à point qui font appel à des concentrateurs ou des commutateurs Fibre Channel. Une connexion de type FC-AL (Fibre Channel Arbitrated Loop) qui permet de connecter de 2 à 127 ports à des serveurs qui partagent alors la bande passante. Des connexions de port à port qui utilisent des commutateurs spécialisés appeler Switches Fabric ou encore Switches Directors. Les premiers sont des empilements de commutateurs, les seconds sont des matrices de commutations qui minimisent les temps de latence. Ces deux options, NAS d un côté et SAN de l autre répondent à des problématiques différentes. Le NAS permet de maximiser l infrastructure existante et s appuie sur une vision logique des données. Le SAN a été développé principalement pour répondre à des besoins en haut débit. Il procède d une vision des données au niveau physique. 3. Convergence NAS/SAN Certains fournisseurs sont tentés d apporter le meilleur des deux mondes : la simplicité et l approche orientée fichier du NAS, la souplesse et les performances du SAN. De fait, la convergence entre les deux types d architecture est en cours et permet de «réconcilier» les approches mode bloc et mode fichiers des deux mondes. Plusieurs solutions d intégration de serveurs à une architecture de réseau de stockage SAN sont proposées. Une passerelle NAS joue le rôle de serveur de fichiers, mais, contrairement aux systèmes NAS classique, les disques sont placés sur le réseau SAN. La passerelle va chercher les blocs de données (méthode SAN) et les reconstituent en fichiers (méthode NAS). Une autre solution consiste à doter un système de fichiers NAS d un attachement Fibre Channel. Toutefois, les communications entre les serveurs de production et le système NAS s appuient principalement sur le réseau IP ou utilisent une partie de l espace de stockage en dédié. Réseaux de stockage guidescomparatifs.com Mai 2003 Page 5

6 4. La disponibilité de l information 4.1. Les niveaux de RAID La technologie RAID (Redundant Array of Inexpensive Disks), permet de constituer une unité de stockage appelée grappe à partir de plusieurs disques durs. Cette technologie a été mise au point en 1987 par trois chercheurs (Patterson, Gibson et Katz) à l'université de Berkeley en Californie. En fonction de l architecture retenue, les technologies RAID sont destinées à privilégier, la performance, la sécurité ou les coûts d un système de stockage. Niveau RAID-0 RAID-1 RAID-2 RAID-3 RAID-4 RAID-5 Fonctionnalités Stripping Consiste à stocker les données en les répartissant sur l ensemble des disques de la grappe. Les données sont écrites par «bandes». Offre une vitesse de transfert élevée. Mirroring, shadowing Permet de dupliquer les données pour améliorer la sécurité. Relativement coûteuse dans la mesure où les données sont stockées en double. Striping with parity Obsolète dans la mesure où le contrôle d erreurs par code de Hamming est le plus souvent intégré dans les contrôleurs. Disk array with bit-interleaved data Les données sont stockées sous forme d octets, un des disques de la grappe est dédié au stockage d un bit de parité ce qui permet de reconstituer l information à partir des autres disques. Disk array with block-interleaved data Est très proche du niveau 3, la seule différence concerne le traitement de la parité qui est réalisé sur un secteur. Disk array with block-interleaved distributed parity Comme pour le niveau 4, La parité est calculée au niveau d un secteur mais répartie sur les disques de la grappe. Cela améliore les performances en lecture et en écriture Sauvegarde/restauration La mise en place d un réseau de stockage ne dispense de mettre en place un système de sauvegarde et de restauration des données. La sauvegarde qui ne doit pas être confondue avec l archivage et qui concerne la conservation des données pour les besoins internes à l'entreprise ou pour des raisons juridiques, fiscales, administratives ou sociales peut être classée en deux grandes familles : Les sauvegardes locales : les données sont stockées sur le site (dans un même bâtiment ou un bâtiment proche). Elles peuvent être récupérées à la suite d un incident mineur ou d un dysfonctionnement du système d information. Les sauvegardes à distance : concernent principalement les données stratégiques qui sont stockées sur un site distant. La sauvegarde peut être réalisée en interne ou externalisée chez un prestataire. Après un incident majeur, la restauration peut s effectuer sur le site de production ou sur le site distant. Réseaux de stockage guidescomparatifs.com Mai 2003 Page 6

7 5. Les plans de reprise de l activité Une enquête réalisée en 2002 par la société d analyse Macarthur Stroud International révélait que près de 20 % des entreprises de plus de 500 personnes ne disposaient pas de plan de reprise d activité (PRA) après sinistre et que 45 % n avaient pas révisé leur PRA au cours des 12 derniers mois. Au-delà des sinistres très médiatisés, aux conséquences humaines dramatiques et heureusement rares, les entreprises sont soumises à de très nombreuses sources d interruption de leur activité pouvant intervenir à tous niveaux et à tous moments. Aucune entreprise ne peut se permettre d ignorer les risques potentiels qui la menacent. Il est donc indispensable qu elle mette en œuvre un plan de continuité d activité (PCA) dont l objectif est de prévoir «les moyens techniques, contractuels, organisationnels et humains pour réagir face à une crise 1». Un PCA se compose de deux parties : Le plan de secours Le plan de reprise Le plan de secours qui, comme son appellation le suggère, consiste à définir les moyens nécessaires pour la reprise d activité après un sinistre. Le jour du sinistre, l objectif n est pas la reprise normale de l activité, mais plutôt la réactivation des fonctions vitales au sein desquelles le système d information est un élément essentiel. Une première réponse consiste à dupliquer les données du site de production sur un site de secours, le plus souvent distant. La distance est évidemment un facteur de sécurité, mais aussi de coût. Le plan de reprise dont l objectif est la mise en œuvre des moyens humains et techniques pour faire en sorte que l entreprise retrouve, le plus rapidement possible, une activité normale. Par nature, les réseaux de stockage sont particulièrement adaptés à la continuité d activité et à la récupération sécurisée des données en local. Ils permettent de limiter le coût de la gestion. D après Josh Krischer du Gartner Group «un administrateur peut gérer 250 à 300 Go avec un système de stockage distribuée, 400 à 600 Go avec un dispositif centralisé non consolidé et 1500 à 2000 Go dans le cadre d un système consolidé». Autrement dit, la gestion d un SAN est environ 6 à 7 fois moins lourde que celle d un sous-système de stockage attaché à un serveur. Mais l existence d un réseau de stockage n exempte évidemment pas de la conception et de la mise en œuvre d un plan de continuité. 1 Le Plan de Continuité d Activités (PCA) Franck Delbès et Philippe Prunier CSC Réseaux de stockage guidescomparatifs.com Mai 2003 Page 7

8 6. Glossaire Archivage DAS (Direct Attached Storage) ESCON (Enterprise Systems Connectivity) Fabric FCIA (Fibre Channel Industry Association) Fibre Channel FCIP (Fiber Channel sur IP) FC-AL (Fiber Channel Arbitrated Loop) FICON (Fiber Channel Connectivity) ifcp (Internet Fibre Channel Protocol) iscsi MAN (Metropolitan Area Network) Conservation des données pour les besoins internes à l'entreprise ou pour des raisons juridiques, fiscales, administratives. L archivage comporte trois fonctions : Transfert des données des disques de production vers des unités de stockage secondaires. Contrôle de l opération au niveau des données et des matériels utilisés. Récupération des archives. Topologie de stockage externe dans laquelle un système de stockage est attaché directement à un serveur. C est encore le type de stockage le plus répandu. Protocole de transmission spécifique aux technologies de stockage, utilisé pour relier des serveurs, des routeurs, des commutateurs, des librairies de sauvegardes et des baies de stockage. Escon est un protocole propriétaire d IBM utilisé dans le monde des mainframes. Architecture Fibre Channel utilisant un ou plusieurs commutateurs Fibre Channel. Consortium sur le Fibre Channel. Protocole de transmission spécifique aux technologies de stockage qui offre un débit de 1 à 2 Gbits/s sur une distance de 5 à 10 Km. Méthode d acheminement de lien Fibre Channel encapsulé dans des paquets IP. Type d architecture Fibre Channel où les équipements (jusqu à 126) sont connectés en boucle et partagent la même bande passante. Protocole résultant du rapprochement entre le Fibre Channel et l ESCON pour apporter les bénéficies du FC au monde mainframe. Protocole de communication qui permet d utiliser des infrastructures de type FC et des infrastructures de type TCP/IP. La différence avec le FCIP est que le FCIP utilise l IP comme un tunnel de transmission alors que le ifcp agrège certaines fonctionnalités de l IP et du FC. Connexion SCSI sur un lien IP. Permet ainsi le transfert des données sur des longues distances (sur un réseau longue distance ou sur Internet). Réseau métropolitain. Réseaux de stockage guidescomparatifs.com Mai 2003 Page 8

9 Mirroring NAS (Network Attached Storage) RAID (Redundant Array of Independant Disks) Réplication SAN (Storage Area Network) Sauvegarde SCSI (Small Computer System Interface) SNIA (Storage Networking Industry Association) Snapshot SRM (Storage Resource Management) Virtualisation Copie synchrone de données de disques de production sur des disques secondaires. Ce type de copie est notamment utilisé dans le cadre de données fortement critiques. Unité de stockage accessible sur un réseau d entreprise via des protocoles de partage de fichiers (NFS, CIFS, FTP, http...). Assemblage de disques unitaires, constituant un groupe sécurisé tolérant aux pannes. Les données sont stockées sur plusieurs disques, appelés «une grappe RAID», selon plusieurs méthodes de redondance et de tolérance aux erreurs. Plusieurs niveaux de RAID ont été définis en fonction des méthodes de redondance et de sécurité. Action consistant à copier des données sur un autre système et utilisée principalement pour des raisons de sécurité. La réplication peut être synchrone ou asynchrone. Réseau dédié au stockage de données (serveurs et périphériques de stockage) avec un accès direct aux disques. Copie des données sur un espace amovible, utilisé en cas d incident sur le stockage électronique, on parle alors de restauration. Protocole de communication entre un serveur et des périphériques. Consortium d industriels de l informatique sur le stockage en réseau. Fonctionnalité permettant d obtenir une image logique quasi-instantanée d'un ensemble d'enregistrements. La copie des données ainsi obtenue peut être utilisée à des fins de tests, de sauvegardes, etc. Moyens permettant de surveiller le niveau de service offert par les différentes ressources d un réseau de stockage. On parle plus volontiers de logiciels de virtualisation qui s apparentent à des systèmes d exploitation de ressources de stockage. A un serveur sont associés un ou plusieurs volumes de stockage de façon tout à fait indépendante du matériel. Certaines fonctionnalités du type réplication peuvent être associées à ces logiciels de virtualisation. Réseaux de stockage guidescomparatifs.com Mai 2003 Page 9

10 Sommaire Critères comparatifs 1. Environnement de stockage 1.1. Architecture locale 1.2. Architecture campus 1.3. Architecture distante 2. Type de données sur l architecture de stockage 2.1. Fichiers 2.2. Mode blocs (Type base de données) 3. Sécurité du stockage 3.1. Sécurité niveau disques 3.2. Sécurité au niveau baies 3.3. Sécurité réseaux de stockage 4. Redondance de l information 4.1. Redondance en local 4.2. Redondance en campus 4.3. Redondance en distant Réseaux de stockage guidescomparatifs.com Mai 2003 Page 10

11 1. Environnement de stockage 1.1. Architecture locale Ressources disque en attachement Direct : SCSI Fibre Channel ATA / S-ATA Ressources disque mutualisées : Réseaux Ethernet Réseaux Fibre Channel Ressources disque en environnement hétérogène : 1.2. Architecture campus Types d interconnexions entre les salles système : SAN TCP/IP Y a-t-il continuité de débit entre les salles? 1.3. Architecture distante Modes de liaisons : SAN étendu SAN sur WAN TCP/IP Débits de liaison : Inter SAN (Gigabit) ATM 622 ATM 155 Réseaux de stockage guidescomparatifs.com Mai 2003 Page 11

12 2. Type de données sur l architecture de stockage 2.1. Fichiers Serveurs de fichiers traditionnels Types d environnements : Unix Microsoft Mixte (Unix et MS) ou mixte : Volumétrie : < à 500 Go Entre 500 Go et 1 To Entre 1 To et 5 To Plus de 5 To Gestion de la sécurité / authentifications : Centralisé Mono environnement Centralisé Multi environnement Autonome Type de partage Types de protocoles réseaux supportés : CIFS Samba CIFS Windows Unix NFS Novell 2.2. Mode blocs (Type base de données) Bases de données : Access DB2 Informix MySQL Oracle POstgreSQL SQL Server Sybase GED & GroupWare (en mode blocs) : Lotus Notes Exchange FileNet Documentum Réseaux de stockage guidescomparatifs.com Mai 2003 Page 12

13 3. Sécurité du stockage 3.1. Sécurité niveau disques Type matériel : Disques JBOB RAID Logiciel RAID Matériel Critères logiciels Le logiciel permet-il la continuité de service sur perte d un disque? Si Oui, quels sont les niveaux de RAID supportés? RAID 1 RAID 3 RAID 4 RAID 5 RAID 0+1 RAID 1+0 Le logiciel permet-il la reconstruction automatique sur un disque de secours? Le logiciel permet-il le support des interventions à chaud? Le logiciel dispose t-il d un système d alerte intégré en cas de panne? Critères baies La (les) baie(s) permettent-elles la continuité de service sur perte d un disque? Si Oui, quels sont les niveaux de RAID supportés? RAID 1 RAID 3 RAID 4 RAID 5 RAID 0+1 RAID 1+0 Réseaux de stockage guidescomparatifs.com Mai 2003 Page 13

14 Peut on mélanger différents types de RAID au sein d une même baie? La (les) baie(s) permettent-elles la reconstruction automatique sur un disque de secours? La (les) baie(s) permettent-elles le support des interventions à chaud? La (les) baie(s) possèdent-elles un système d alerte intégré en cas de panne? 3.2. Sécurité au niveau baies Contrôleurs Matériel Le système de contrôle gère t-il la redondance? Si Oui, comment est gérée la redondance ou sécurité Matériel? Redondance des contrôleurs Redondances des liens (SCSI ; FC ) Commutation sécurisée Intégrité de la donnée La baie permet-elle un miroir des caches? Interventions à chaud La baie permet-elle l échange de contrôleurs à chaud? La baie permet-elle l échange des adaptateurs optiques (cas du FC) «Hot Swap»? La baie permet-elle l échange des alimentations Hot Swap? La baie permet-elle l échange de la ventilation HotSwap? Réseaux de stockage guidescomparatifs.com Mai 2003 Page 14

15 3.3. Sécurité réseaux de stockage Le commutateur gère t-il la sécurisation par zones? Si Oui, le Zoning est-il : Logiciel Matériel Le commutateur permet-il l interconnexion avec d autres commutateurs? Si Oui, peut-on «agréger» plusieurs liens? Si Oui, quel type d «agrégation» est utilisé? Round Robin Trucking par équilibrage de charge Le commutateur permet-il l échange des adaptateurs optiques (cas du FC) à chaud? Le commutateur possède t-il une alimentation redondante? Si Oui, peut-on les échanger à chaud? Le commutateur peut-il remonter des alertes? 4. Redondance de l information 4.1. Redondance en local Redondance Matériel Duplication (en interne de la baie) La baie gère t-elle la duplication synchrone? Duplication de volume RAID Duplication de LUN Réseaux de stockage guidescomparatifs.com Mai 2003 Page 15

16 La baie gère t-elle la duplication asynchrone? Duplication de volume RAID Duplication de LUN La baie gère t-elle la duplication à la demande? Duplication de volume RAID Duplication de LUN La baie intègre t-elle des fonctions avancées de mirroring? Si Oui, lesquelles : Miroir de volume RAID Miroir de LUN Réplication (entre deux baies) La baie permet-elle la réplication synchrone? La baie permet-elle la réplication asynchrone? La baie permet-elle la réplication à la demande? Réseaux de stockage guidescomparatifs.com Mai 2003 Page 16

17 Redondance Logiciel Duplication (en interne de la baie) Le logiciel permet-il la duplication? Le logiciel permet-il la duplication synchrone? Duplication de systèmes de fichiers Duplication de volumes Le logiciel permet-il la duplication asynchrone? Duplication de systèmes de fichiers Duplication de volumes Le logiciel permet-il la duplication à la demande? Duplication de systèmes de fichiers Duplication de volumes Réplication (entre deux baies) Le logiciel permet-il la réplication? Le logiciel permet-il la réplication synchrone? Réseaux de stockage guidescomparatifs.com Mai 2003 Page 17

18 Le logiciel permet-il la réplication asynchrone? Le logiciel permet-il la réplication à la demande? 4.2. REDONDANCE EN CAMPUS Redondance Matériel entre deux baies La baie gère t-elle la réplication synchrone? La baie gère t-elle la réplication asynchrone? La baie gère t-elle la réplication à la demande? Réseaux de stockage guidescomparatifs.com Mai 2003 Page 18

19 Redondance Logiciel entre deux baies Le logiciel permet-il le miroir synchrone sur deux baies ou plus? Miroir de systèmes de fichiers Miroir de volumes Le logiciel permet-il la réplication synchrone sur deux baies ou plus? Réplication de systèmes de fichiers Réplication de volumes Le logiciel permet-il la réplication asynchrone sur deux baies ou plus? Réplication de systèmes de fichiers Réplication de volumes Le logiciel permet-il la réplication à la demande sur deux baies ou plus? Réplication de systèmes de fichiers Réplication de volumes 4.3. Redondance en distant Redondance Matériel entre deux baies Type de liens inter sites? Propriétaire (EISCON, etc. ) Interconnexion Fibre Channel (< 10 ou 30 Km) Passerelle TCP/IP et interconnexion WAN La baie gère t-elle la réplication synchrone en mode distant? Réseaux de stockage guidescomparatifs.com Mai 2003 Page 19

20 La baie gère t-elle la réplication asynchrone en mode distant? La baie gère t-elle la réplication à la demande en mode distant? Redondance Logiciel entre deux baies Type de liens inter sites? Réseaux TCP/IP sur liens dédiés (lignes spécialisées, ATM, ) Réseaux TCP/IP sur Frame Relay Le logiciel permet-il le miroir synchrone sur deux baies ou plus en mode distant? Miroir de systèmes de fichiers Miroir de volumes Le logiciel permet-il la réplication synchrone sur deux baies ou plus en mode distant? Réplication de systèmes de fichiers Réplication de volumes Le logiciel permet-il la réplication asynchrone sur deux baies ou plus en mode distant? Réplication de systèmes de fichiers Réplication de volumes Réseaux de stockage guidescomparatifs.com Mai 2003 Page 20

21 Le logiciel permet-il la réplication à la demande sur deux baies ou plus en mode distant? Réplication de systèmes de fichiers Réplication de volumes Réseaux de stockage guidescomparatifs.com Mai 2003 Page 21

22