La norme réseau 10 Gigabit Ethernet IEEE 802.3 existe depuis 2002, et le matériel réseau la supportant est disponible également depuis de nombreuses années.
J’ai sauté le pas en mettant à jour deux réseaux locaux à cette norme, avec des applications différentes, et voici mon retour d’expérience en particulier sur le matériel.
Cas d’usage 1 : réseau local en centre serveur
La société loue depuis toujours une baie en centre serveur dans laquelle on trouve un réseau externe avec les adresses IP publiques, et un réseau interne totalement déconnecté d’internet sur lequel transite des protocoles privés : monitoring, bases de données, sauvegardes, etc.
Ce réseau interne n’est pas critique, en cas de panne je peux toujours re-router le trafic sur les interfaces externes, donc aucune redondance particulière n’est requise.
Choix du switch
Pour cette application j’ai opté pour un switch Netgear ProSAFE XS508M de 8 ports en 10 GbE / 5 GbE / 2,5 GbE / 1 GbE.
Après avoir utilisé plus d’une dizaine de modèles différents de cette marque au cours de ces dernières décennies, je n’ai du faire appel à la garantie qu’une seule fois, avec succès. J’ai donc confiance en ce produit.
Comme pour toute application critique, il est indispensable de n’employer que des modules SFP+ listés par le constructeur comme compatibles avec ce matériel. Lors de tests, j’ai remarqué que des câbles SFP+ DAC Twinax peu onéreux de marque Ipolex avaient le fâcheux inconvénient d’empêcher le switch de rebooter après une coupure de courant.
Atouts :
- Garantie à vie.
- Fonctionnement instantané après mise sous tension.
- Polyvalent 10 GbE / 5 GbE / 2,5 GbE / 1 GbE pour une éventuelle réutilisation domestique en fin de cycle de vie du produit.
- Un port SFP+ 10 GbE compatible SFP 1 GbE pour un uplink en connexion fibre si besoin, ou jouer le rôle temporaire de media converter en cas de besoin.
- Plug-and-Play sans fioritures nuisibles telles que le 802.3 Energy Efficient Ethernet (EEE) ou le Flow Control.
Atouts :
- Obligation d’acheter les modules SFP+ vendus par Netgear (cf. explication plus haut)
Choix des câbles
Le switch étant en RJ45, j’ai utilisé tout simplement des câbles réseau à paires torsadées Cat. 6 et Cat. 6E d’une longueur de 30 cm à 2m. La certification Cat. 6 va jusqu’à 55 mètres de longueur en 10 GbE pour rappel.
Choix des interfaces réseau
- HP 561FLR-T (LOM) à puce Intel X540-AT2 pour les serveurs HP Proliant DL360 Gen9.
- HP 562FLR-T (LOM) à puce Intel X550 pour les serveurs HP Proliant DL360 Gen10.
- Intel X540-AT2 OEM (genuine) pour les autres serveurs.
On remarque que les chipset Intel X540 supportent uniquement les vitesses 100 MbE / 1 GbE / 10 GbE, tandis que les chipset Intel X550 supportent également 2,5 GbE et 5 GbE. En l’occurrence je n’ai que faire de ces deux standards intermédiaires.
Bilan
Ce déploiement en 10 GbE a été simple à gérer parce qu’on se situe dans le meilleur cas possible.
Les cartes réseau sont certifiées par le fabriquant comme compatibles avec les serveurs dans lesquelles elles ont été installées, tant sur le plan logiciel que de la dissipation thermique avec un flux d’air important et une température contrôlée.
Ce déploiement ne fait pas intervenir de câblage dans les murs d’un bâtiment avec des longueurs importantes de câble et des embases qui doivent être au même standard, et mis en œuvre dans les règles de l’art.
Cas d’usage 2 : réseau local d’une entreprise
Le second déploiement du 10 GbE que j’ai entrepris concerne les locaux d’une entreprise. La box opérateur propose des débits supérieurs à 1 GbE, ainsi que du Wifi 7.
Là encore, ce réseau n’est pas critique et le passage au 10 GbE ne constitue qu’un simple confort.
Choix du switch
Pour cette application j’ai opté pour un switch Cisco Business CBS250-24FP-4X de 24 ports 1 GbE PeE, plus 4 ports SFP+ de 10 GbE. On ne présente plus cette marque qui est réputée pour sa fiabilité.
Avantages :
- Garantie à vie.
- Du PoE, même si ce n’est pas le sujet de cet article.
- Quatre ports SFP+ 10 GbE pour uplink, ou raccordement direct de serveurs ou de la box opérateur.
- La possibilité de s’exercer à des configurations avancées (LAG, LACP, …), ici dans un environnement non-critique.
Inconvénients :
- Au moins 45 secondes de délai entre la mise sous tension et le fonctionnement du switch.
- Chez Cisco, le coût des modules SFP est prohibitif (exemple : Cisco GLC-SX-MMD).
- Certains modules SFP Cisco ne fonctionnent pas, même après mise à jour du firmware du switch, malgré une compatibilité annoncée sur le site du constructeur (exemple : Cisco MGBSX1).
- Présence de technologies nuisibles comme le 802.3 Energy Efficient Ethernet (EEE), le Flow Control, etc, à désactiver.
Un switch Netgear ProSAFE XS508M lui a été adjoint avec un uplink 10 GbE via câble Netgear SFP+ DirectAttach 1m réf. AXC761. L’emploi d’un câble Ipolex est formellement déconseillé car cela empêche le switch Netgear de rebooter.
Une portion en bout de réseau utilise un switch QNAP QSW-2104-2T qui supporte bien 10 GbE dans les faits. Mais je ne connais pas la durabilité du matériel réseau de cette marque.
Choix des modules SFP+
Devant la rupture des modèles 10Gtek j’ai opté pour quelques modules 2.5/5/10G SFP+ RJ45 de la marque Ipolex distribuée sur Amazon. Ils ont la particularité d’être rétrocompatibles 2,5 GbE et 5 GbE et fonctionnent correctement. Comme indiqué sur la fiche produit, ils chauffent à plus de 60°C avec leur contrôleur Marvel 88X330, et consomment 2,5 W pièce. Cette surconsommation n’est pas négligeable.
Ces modules font le travail, mais pour exploiter les ports SFP+ je préfère tout de même les câbles directs DAC ou actifs AOC car ils chauffent moins.
Attention cependant, certains switchs comme le Netgear XS508M nécessitent des modules SFP+ listés comme compatibles par le constructeur, au risque d’empêcher le reboot en cas de coupure d’électricité.
Choix des câbles Ethernet
Les locaux ont été câblés avec du câble F/FTP Cat. 6A sur des longueurs de 1 à 20 mètres. Le F/FTP signifie qu’il y a un blindage par paires doublé d’un blindage global, c’est probablement le must, et la rigidité supérieure de ce type de câble n’a pas posé problème ici.
Choix des embases RJ45
Côté baie de brassage on a du Keystone Cat. 6A classe EA blindé, entièrement en métal, pour une bonne continuité du blindage. C’est un choix sûr.
Côté prises on retrouve des appareillages Efapel Cat. 6 UTP (non blindé) en modules 45x45mm, des embases Schneider Infraplus Cat. 6 STP dans les prises, et des embases Hager TN001S Cat. 5E FTP en modules pour rail DIN.
Là rien n’est harmonisé, mais au besoin de pourrais opérer les changements suivants :
- Prises Schneider Odace : on peut remplacer l’embase seule par un modèle supérieur.
- Prises Hager sur rail DIN : on peut remplacer l’embase seule, ou bien opter pour des modules Keystone sur rail DIN.
- Prises Efapel : leur prix est modique et leur remplacement est simple même si la Cat. 6 suffit pour l’instant.
Choix des interfaces réseau
Là j’ai testé différents produits, avec des déconvenues pour la plupart.
- Postes de travail peu puissant : TP-Link TX201 2,5 GbE à chipset RTL8125.
- J’obtiens bien 2,5 GbE avec iperf3 ou un transfert SCP, mais maximum 1,4 GbE avec des transferts Samba/CIFS depuis Debian 11 (module r8169 et r8125). C’est incompréhensible.
- Le pilote pour Windows doit être téléchargé chez Realtek au risque de ne pas disposer de tous les réglages dans le Gestionnaire de Périphériques et d’avoir des performances dignes du GbE.
- Le module pour Linux n’est pas r8169 mais r8125. A télécharger sur le site de Realtek et à compiler. Le paquet r8125-dkms existe à partir de Debian 12.
- Je déconseille ce modèle.
- Postes de travail haut de gamme : Asus XG-C100C à chipset Aquantia AQC107.
- J’obtiens bien 10 GbE en transferts Samba/CIFS.
- Un bon choix pour les postes de travail ainsi que les serveurs (sauf si virtualisation avancée du NIC).
- Sur les ordinateurs les plus anciens comme le HP z230, les ports PCIe x4 peuvent être câblés en PCIe 2.0 x1 (débit max 500 MB/s) alors que le minimum requis pour saturer un lien 10 GbE est PCIe 3.0 x1 ou PCIe 2.0 x2.
- Serveur : HP NC523SFP à chipset Qlogic. La sonde de température affiche 100°C dans un châssis tour correctement ventilé et 40°C avec adjonction d’un ventilateur 92 mm en 5V avec une fixation par équerre PCI. Même comme ceci j’obtiens des erreurs liées à IOMMU sur Debian 12 et la carte réseau ne fonctionne pas correctement pour l’instant. Je déconseille en-dehors de la liste de compatibilité fournie avec quelques serveurs HP.
- Serveur : Intel X550-T2 OEM (genuine). Le driver n’affiche pas la température de la sonde embarquée, mais je conserve le système de ventilation complémentaire car la carte est connue pour chauffer dans un châssis tour. Excellentes performances, mais je déconseille dans un châssis tour.
Le choix du matériel n’est finalement pas si simple.
Le NIC Asus XG-C100C à chipset Aquantia est peu cher et fonctionne correctement donc je le recommande.
Les NIC 2,5 GbE à chipset Realtek sont à fuir. J’ai pourtant souvenir que les cartes réseau 10/100 Mbps et 1 GbE de cette marque fonctionnaient correctement.
Les cartes Intel sont bien plus chères, et nécessitent une ventilation active dans un châssis tour. Difficile de recommander cette mise en œuvre.
Finalement la meilleure option semble de disposer d’une carte mère haut de gamme, ou gamme serveur, qui intègre directement un NIC 10 GbE.
Utilisation logicielle
Goulet d’étranglement CPU
Les plateformes serveur bi-processeur de chez Intel ne sont pas rafraichies aussi souvent que les plateformes desktop, si bien que bon nombre de processeurs Xeon d’ancienne génération et même actuels sont décriés pour leurs mauvaises performances mono-thread ainsi que pour les mitigations de bugs coûteux en performances CPU.
La conséquence directe avec le 10 GbE c’est que très peu de processeurs du marché sont capables de soutenir 10 GbE sur un flux chiffré (SSH, SCP, SFTP, FTPS, HTTPS, …). Dans une utilisation serveur avec plusieurs clients simultanés, l’utilisation de plusieurs cœurs facilitera la montée en débit.
Avec un parc de serveurs vieux de quelques années, les standards 2,5 GbE et 5 GbE semblent largement suffisants au regard de ce qu’ils peuvent supporter en débits chiffrés sur un flux.
Goulet d’étranglement stockage
On le sait, aucun disque dur à plateaux tournants ne permet d’atteindre des débits suffisants pour saturer un lien 10 GbE, a fortiori dans le cas d’accès concurrents qui feront augmenter la latence et diminuer les débits.
Un pool ZFS avec 4 disques récents en RAIDZ, et une bonne quantité de mémoire RAM, peut absorber 1 Go/s en écriture jusqu’à remplissage du cache en RAM, puis ensuite autour de 300 Mo/s, et proposer 600 Mo/s en lecture.
Beaucoup de SSD NVMe proposent des débits supérieurs à 1 Go/s en lecture et écriture.
Protocoles permettant d’atteindre 10 GbE
En réseau local, pour saturer un lien 10 GbE avec un transfert unique, il nous reste par exemple FTP, Samba/CIFS, NFS, et rsync en mode daemon (sans tunnel SSH).
Les applications NAS, iSCSI et FCoE peuvent naturellement tirer parti du 10 GbE.
Le 10 GbE reste toujours intéressant pour uplinker les switchs qui le permettent.
