TESTING NETWORK HARDWARE

Transcription

1 Guillaume BARROT Nicolas BAYLE TESTING NETWORK HARDWARE The forward-plane way

2 Agenda Tester : inconvénients / avantages Des solutions de tests adaptées RFC 2544 / Quick Test Le forwarding : la première étape Test sur mesure : émulation PE Application réaliste Test d un IAD Small Business via une appliance physique de test Test d un IAD virtuel via une VM de test Conclusion 2

3 Tester : Inconvénients Freins Time to Market Budget Difficulté d utilisation 3

4 Tester : Avantages Bénéfices Validation technique (fonctionnelle) Validation technique (charge) QoS SLA 4

5 Des solutions de tests adaptées? Solution free / open source : Nemesis Packit Hping Etc Evidemment la solution soft existe mais : 1. Easy to use?? (debug / release...) 2. Rapports / Statistiques limités 3. Couverture protocolaire limitée

6 Des solutions de tests adaptées! Ixia Chassis Hardware-based traffic-gen Throughput until 100 Gbps time accuracy : nsec High price Shipping / delivery time Dedicated hardware IxVM Software-based traffic-gen Throughput until 10 Gbps Time accuracy : msec Low price Nothing to ship Shared Hardware IXIA XG12 vs IXIA in a VM 6

7 RFC 2544 Ethernet frame (layer 2 forwarding) IP / UDP (layer 3 forwarding) La norme RFC 2544 est : La méthode de facto qui décrit les tests nécessaires pour mesurer et prouver les critères de performance d un équipement de forwarding La méthodologie d'analyse comparative pour évaluer la performance des dispositifs de réseau en utilisant 4 métriques : Débit Back-to-back perte de trames tests de latence La méthodologie qui définit la taille des frames, durée de l'essai et le nombre d'itérations de test.

8 RFC 2544 / Quick Test

9 Le forwarding : la première étape 90% des routeurs d un parc SP 5-10% des plannings de tests Dépend totalement des cas de tests : o Dans certain cas, le forwarding seul est utile Test d un CPE client mono-attaché (une route par défaut sur lien xdsl ou fibre <1Gbit/s) Test d un switch avec features historiques L2 o Dans certain cas, le forwarding est le premier critère évident, mais le control plane devra être validé à posteriori (contraintes faibles) Test d un CPE client en double attachement + BGP (1000 route et une défaut, sur lien xdsl ou fibre <1Gbit/s) 10% du parc 90% des tests o Dans d autres cas le forwarding fait partie d un plan de tests complet Test d un nouveau PE, P, switch-routeur cœur DC etc

10 Le forwarding : la première étape Dépend totalement des cas de tests : o Dans certain cas, le forwarding seul est utile Test d un CPE client mono-attaché (une route par défaut sur lien xdsl ou fibre RFC2544 <1Gbit/s) Test d un switch avec features historiques L2 + Quicktest o Dans certain cas, le forwarding est le premier critère évident, mais le control + plane devra être validé à posteriori (contraintes faibles) Automatisation des tests Test d un CPE client en double attachement + BGP (1000 route et une défaut, sur lien xdsl ou fibre <1Gbit/s) o Dans d autres cas le forwarding fait partie d un plan de tests complet Tests sur mesure Test d un nouveau PE, P, switch-routeur cœur DC etc

11 Tests sur mesure : Emulation PE

12 Application réaliste

13 Case Studie Testing SMB IAD Hypothèses : Petit CPE entrée de gamme Rôle : routeur uniquement (aucune règle firewall) Control plane : 1 route par défaut statique Subnet client 100 mbit/s max default

14 Case Studie Testing SMB IAD Physical Logical 20 sec injection / taille paquet Taille de 64 à 9000 B IPv4 + IPv6 Metriques : - Throughput - Overall Latency DUT (Device Under Test)

15 Case Studie Testing SMB IAD > DUT Parameters / expected results Un faible nombre de paramètres peuvent influer sur le DUT : Version d OS Mode de forwarding Configuration générique «best practice fournisseur» Sera validée au passage Toute modification de conf nouveau bench Résultats attendus : Débit > 95Mbit/s (100Mbit/s - 5% de marge max) Latence < 0,5ms

16 Case Studie Testing SMB IAD > Results 120 CPE x / Version y / packet-based 0,5 0,43 0,45 THROUGHPUT (MBIT/S) ,37 78,8 0,3 66,3 92,8 92,8 86,5 86,5 0,23 0,19 0,18 0,19 96,24 96, ,5 98,5 98,7 98,7 0,31 0,28 0,25 0,31 0,27 0,26 0,2 0,4 0,35 0,3 0,25 0,2 0,15 LATENCY (MS) 20 0,1 0, PACKET SIZE (B) IPv4 throughput IPv6 throughput IPv4 Latency IPv6 Latency 0

17 Case Studie Testing SMB IAD > Conclusion Durée du test : Configuration du test : 30 min 1-2 min si automatisé Test : 15 min Analyse et exploitation des données : 15 min Hypothèse 1 : 100Mbit/s 0,5ms latency Débits non atteints (<95 mbit/s) pour Paquets < 512B Paquets > 1500 (non support jumboframe) Latence = ok pour tous paquets VOIP : VoIP DC 100Mbit/s (952 canaux G711 + SIP) KO Max = 66 mbit/s (628 canaux en G711 + SIP) Contre-hypothèse : 50Mbit/s 0,5ms latency Débit atteints sur toute la plage sauf jumboframe Latence = ok pour tous paquets VOIP : VOIP DC 50Mbit/s (476 canaux G711 + SIP)

18 Case Studie Testing Virtual IAD Hypothèses : VM de routage 2 vcpu, 2Go de RAM, full réservation, Intel E1000 Rôle : routeur uniquement (aucune règles firewall) Control plane : 1 route par défaut statique Subnet client 100 mbit/s max default

19 Case Studie Testing Virtual IAD Physical Logical 20 sec injection / taille paquet Taille de 64 à 9000 B IPv4 + IPv6 Metriques : - Throughput - Overall Latency DUT (Device Under Test)

20 Case Studie Testing Virtual IAD > DUT Parameters / expected results Un grand nombre de paramètres peuvent influer sur le DUT : Version d OS Mode de forwarding Configuration hardware VM Utilisation de feature avancées (SRIOV, IOMMU) Type d hyperviseur (Vmware / HyperV / KVM) Optimisation de la couche de forwarding hyperviseur OVS + DPDK vs Vmware Standard vswitch Configuration générique «best practice fournisseur» Sera validée au passage Toute modification de conf nouveau bench Résultats attendus : Débit > 95Mbit/s (100Mbit/s - 5% de marge max) Latence < 0,5ms

21 Case Studie Testing SMB IAD > Results ,5 0,46 0,45 THROUGHPUT (MBIT/S) ,42 0,36 0,31 0,36 0,29 0,32 0, ,33 0,34 0, , , , ,23 0,22 0,4 0,35 0,3 0,25 0,2 0,15 LATENCY (MS) PACKET SIZE (B) 0,1 0,05 0 IPv4 throughput IPv6 throughput IPv4 Latency IPv6 Latency

22 Case Studie Testing SMB IAD > Conclusion Durée du test : Configuration du test : 30 min 1-2 min si automatisé Test : 15 min Analyse et exploitation des données : 15 min Hypothèse 1 : 100Mbit/s 0,5ms latency Débit atteints sur toute la plage Latence = ok pour tous paquets VOIP : VoIP DC 100Mbit/s (952 canaux G711 + SIP) OK Aucun tunning special (next > next > deploy) et on respecte déjà l hypothèse de départ. Avec du tunning sur cette plateforme, on doit pouvoir atteindre des performances supérieures. En changeant de plateforme, on peut aussi augmenter les performances Solution à T0 ne pouvant que s améliorer.

23 Conclusions Pour un opérateur, les tests de forwarding sont déjà très utiles sur les équipements réseaux physiques : Validation des gammes CPE Offre VoIP Switchs entry level pour petites plateformes dédiées Etc Mais avec l arrivée d équipements réseaux virtuels, ces tests deviennent indispensables CPE virtuels Virtual Voice Gateway / Virtual SBC Impact des switchs virtuels Multiples paramètres pouvant varier (conf virtuelle, hyperviseur, etc.) L impact en terme de temps passé pour réaliser les tests doit être restreint au minimum Quicktest + tests standards Automatisation des tests L impact financier doit être le plus faible possible Solution d injecteurs en VMs pour les faibles débits

24 MERCI