La demande de serveurs et de GPU hautes performances a été initialement déclenchée par Chat GPT. Depuis cette année, 25% de la puissance de calcul du matériel a été utilisée pour gérer l'accès, et le 75% restant a été utilisé pour former des modèles. Cela est dû au fait que le volume d'accès quotidien n'est que de dizaines de millions à des milliards d'octets pour le moment. Il n'est pas impossible que le volume d'accès passe à des centaines de millions l'année suivante. Dans ce scénario, le rapport entre la puissance de calcul d'accès et la puissance de calcul de l'entraînement sera inversé, et il y aura également une augmentation des investissements dans les centres de données.
Selon les données historiques sur l'expérience d'investissement, pour environ 10 milliards de dollars américains investis dans les centres de données, 6 milliards de dollars américains seront utilisés pour les centrales, les équipements électriques et la climatisation; et les 4 milliards de dollars américains restants seront répartis comme suit: 16% seront utilisés pour l'interconnexion des centres de données; 77% sera utilisé pour acheter des serveurs; 4% sera utilisé pour acheter des commutateurs; et 3% sera utilisé pour acheter un émetteur-récepteur à fibre optique.
Nous devons décrire l'architecture du centre de données et les hypothèses de calcul avant le calcul. Une structure feuille-colonne vertébrale est utilisée dans l'architecture actuelle du centre de données. Serveur, interrupteur haut de crémaillère, commutateur de feuille, commutateur de colonne vertébrale sont les niveaux dans l'ordre croissant du plus bas au plus élevé. Il existe trois niveaux d'échange de données au sein de cette structure. L'émetteur-récepteur de fibre optique sur le serveur sont tous de courtes distances (moins de 100m) et un taux inférieur (moins de 100G), alors gardez à l'esprit que le plus proche du serveur, plus la quantité de données qui peuvent être échangées est petite.
Les branches ont une bande passante si élevée qu'il n'est pas nécessaire d'avoir le même débit de bande passante sur le commutateur que celui de l'agrégation de flux, nous ne pouvons donc pas utiliser l'émetteur-récepteur optique à fibre haute vitesse comme 400G et 800G à proximité du serveur.
Il y a 24 serveurs dans une seule armoire, chacun avec 4 interfaces de liaison montante, et ils utilisent tous 50G ou 100G 100m pour se connecter au commutateur ToR. Les ports de liaison montante et de liaison descendante ToR sont distribués dans un rapport 1:6 du commutateur ToR au commutateur de feuille. Avec 16 ports de liaison montante, il y a 96 ports de liaison descendante. En tant que liaison montante, il utilise un émetteur-récepteur optique à fibre 400G 100m. En utilisant 400 émetteur-récepteur optique à fibre G/800G 500m, le rapport de liaison montante et descendante du commutateur de feuille est 1:6, avec 48 ports de liaison descendante et 8 ports de liaison montante. 64 ports de liaison descendante utilisant l'émetteur-récepteur optique à fibre 400G/800G 500m/2km sur l'interrupteur de colonne vertébrale.
Différents opérateurs ont des architectures de centre de données différentes; il est impossible de prédire la demande d'émetteurs-récepteurs à fibres optiques avec un quelconque degré de précision sans accès aux dessins de conception de centres de données. À un ordre de grandeur, plus d'émetteurs-récepteurs à fibres optiques sont généralement présents que de serveurs, bien que cette différence ne soit pas toujours le cas.