TESTING NETWORK HARDWARE

Guillaume BARROT Nicolas BAYLE TESTING NETWORK HARDWARE The forward-plane way www.jaguar-network.com

Agenda Tester : inconvénients / avantages Des solutions de tests adaptées RFC 2544 / Quick Test Le forwarding : la première étape Test sur mesure : émulation PE Application réaliste Test d un IAD Small Business via une appliance physique de test Test d un IAD virtuel via une VM de test Conclusion 2

Tester : Inconvénients Freins Time to Market Budget Difficulté d utilisation 3

Tester : Avantages Bénéfices Validation technique (fonctionnelle) Validation technique (charge) QoS SLA 4

Des solutions de tests adaptées? Solution free / open source : Nemesis Packit Hping Etc Evidemment la solution soft existe mais : 1. Easy to use?? (debug / release...) 2. Rapports / Statistiques limités 3. Couverture protocolaire limitée

Des solutions de tests adaptées! Ixia Chassis Hardware-based traffic-gen Throughput until 100 Gbps time accuracy : nsec High price Shipping / delivery time Dedicated hardware IxVM Software-based traffic-gen Throughput until 10 Gbps Time accuracy : msec Low price Nothing to ship Shared Hardware IXIA XG12 vs IXIA in a VM 6

RFC 2544 Ethernet frame (layer 2 forwarding) IP / UDP (layer 3 forwarding) La norme RFC 2544 est : La méthode de facto qui décrit les tests nécessaires pour mesurer et prouver les critères de performance d un équipement de forwarding La méthodologie d'analyse comparative pour évaluer la performance des dispositifs de réseau en utilisant 4 métriques : Débit Back-to-back perte de trames tests de latence La méthodologie qui définit la taille des frames, durée de l'essai et le nombre d'itérations de test.

RFC 2544 / Quick Test

Le forwarding : la première étape 90% des routeurs d un parc SP 5-10% des plannings de tests Dépend totalement des cas de tests : o Dans certain cas, le forwarding seul est utile Test d un CPE client mono-attaché (une route par défaut sur lien xdsl ou fibre <1Gbit/s) Test d un switch avec features historiques L2 o Dans certain cas, le forwarding est le premier critère évident, mais le control plane devra être validé à posteriori (contraintes faibles) Test d un CPE client en double attachement + BGP (1000 route et une défaut, sur lien xdsl ou fibre <1Gbit/s) 10% du parc 90% des tests o Dans d autres cas le forwarding fait partie d un plan de tests complet Test d un nouveau PE, P, switch-routeur cœur DC etc

Le forwarding : la première étape Dépend totalement des cas de tests : o Dans certain cas, le forwarding seul est utile Test d un CPE client mono-attaché (une route par défaut sur lien xdsl ou fibre RFC2544 <1Gbit/s) Test d un switch avec features historiques L2 + Quicktest o Dans certain cas, le forwarding est le premier critère évident, mais le control + plane devra être validé à posteriori (contraintes faibles) Automatisation des tests Test d un CPE client en double attachement + BGP (1000 route et une défaut, sur lien xdsl ou fibre <1Gbit/s) o Dans d autres cas le forwarding fait partie d un plan de tests complet Tests sur mesure Test d un nouveau PE, P, switch-routeur cœur DC etc

Tests sur mesure : Emulation PE

Application réaliste

Case Studie Testing SMB IAD Hypothèses : Petit CPE entrée de gamme Rôle : routeur uniquement (aucune règle firewall) Control plane : 1 route par défaut statique Subnet client 100 mbit/s max default

Case Studie Testing SMB IAD Physical Logical 20 sec injection / taille paquet Taille de 64 à 9000 B IPv4 + IPv6 Metriques : - Throughput - Overall Latency DUT (Device Under Test)

Case Studie Testing SMB IAD > DUT Parameters / expected results Un faible nombre de paramètres peuvent influer sur le DUT : Version d OS Mode de forwarding Configuration générique «best practice fournisseur» Sera validée au passage Toute modification de conf nouveau bench Résultats attendus : Débit > 95Mbit/s (100Mbit/s - 5% de marge max) Latence < 0,5ms

Case Studie Testing SMB IAD > Results 120 CPE x / Version y / packet-based 0,5 0,43 0,45 THROUGHPUT (MBIT/S) 100 95 80 60 50 40 0,37 78,8 0,3 66,3 92,8 92,8 86,5 86,5 0,23 0,19 0,18 0,19 96,24 96,2 98 98 98,5 98,5 98,7 98,7 0,31 0,28 0,25 0,31 0,27 0,26 0,2 0,4 0,35 0,3 0,25 0,2 0,15 LATENCY (MS) 20 0,1 0,05 0 64 128 256 512 1024 1280 1518 9000 PACKET SIZE (B) IPv4 throughput IPv6 throughput IPv4 Latency IPv6 Latency 0

Case Studie Testing SMB IAD > Conclusion Durée du test : Configuration du test : 30 min 1-2 min si automatisé Test : 15 min Analyse et exploitation des données : 15 min Hypothèse 1 : 100Mbit/s 0,5ms latency Débits non atteints (<95 mbit/s) pour Paquets < 512B Paquets > 1500 (non support jumboframe) Latence = ok pour tous paquets VOIP : VoIP DC 100Mbit/s (952 canaux G711 + SIP) KO Max = 66 mbit/s (628 canaux en G711 + SIP) Contre-hypothèse : 50Mbit/s 0,5ms latency Débit atteints sur toute la plage sauf jumboframe Latence = ok pour tous paquets VOIP : VOIP DC 50Mbit/s (476 canaux G711 + SIP)

Case Studie Testing Virtual IAD Hypothèses : VM de routage 2 vcpu, 2Go de RAM, full réservation, Intel E1000 Rôle : routeur uniquement (aucune règles firewall) Control plane : 1 route par défaut statique Subnet client 100 mbit/s max default

Case Studie Testing Virtual IAD Physical Logical 20 sec injection / taille paquet Taille de 64 à 9000 B IPv4 + IPv6 Metriques : - Throughput - Overall Latency DUT (Device Under Test)

Case Studie Testing Virtual IAD > DUT Parameters / expected results Un grand nombre de paramètres peuvent influer sur le DUT : Version d OS Mode de forwarding Configuration hardware VM Utilisation de feature avancées (SRIOV, IOMMU) Type d hyperviseur (Vmware / HyperV / KVM) Optimisation de la couche de forwarding hyperviseur OVS + DPDK vs Vmware Standard vswitch Configuration générique «best practice fournisseur» Sera validée au passage Toute modification de conf nouveau bench Résultats attendus : Débit > 95Mbit/s (100Mbit/s - 5% de marge max) Latence < 0,5ms

Case Studie Testing SMB IAD > Results 1200 0,5 0,46 0,45 THROUGHPUT (MBIT/S) 1000 800 600 400 0,42 0,36 0,31 0,36 0,29 0,32 0,32 388 0,33 0,34 0,32 719 655 655 0,29 599 0,36 894895 0,31 995993 0,23 0,22 0,4 0,35 0,3 0,25 0,2 0,15 LATENCY (MS) 200 95 0 311 213 156 10099 10099 64 128 256 512 1024 1280 1518 9000 PACKET SIZE (B) 0,1 0,05 0 IPv4 throughput IPv6 throughput IPv4 Latency IPv6 Latency

Case Studie Testing SMB IAD > Conclusion Durée du test : Configuration du test : 30 min 1-2 min si automatisé Test : 15 min Analyse et exploitation des données : 15 min Hypothèse 1 : 100Mbit/s 0,5ms latency Débit atteints sur toute la plage Latence = ok pour tous paquets VOIP : VoIP DC 100Mbit/s (952 canaux G711 + SIP) OK Aucun tunning special (next > next > deploy) et on respecte déjà l hypothèse de départ. Avec du tunning sur cette plateforme, on doit pouvoir atteindre des performances supérieures. En changeant de plateforme, on peut aussi augmenter les performances Solution à T0 ne pouvant que s améliorer.

Conclusions Pour un opérateur, les tests de forwarding sont déjà très utiles sur les équipements réseaux physiques : Validation des gammes CPE Offre VoIP Switchs entry level pour petites plateformes dédiées Etc Mais avec l arrivée d équipements réseaux virtuels, ces tests deviennent indispensables CPE virtuels Virtual Voice Gateway / Virtual SBC Impact des switchs virtuels Multiples paramètres pouvant varier (conf virtuelle, hyperviseur, etc.) L impact en terme de temps passé pour réaliser les tests doit être restreint au minimum Quicktest + tests standards Automatisation des tests L impact financier doit être le plus faible possible Solution d injecteurs en VMs pour les faibles débits

www.jaguar-network.com MERCI