L’IA fait beaucoup parler d’elle depuis semaines pour de multiples raisons. Elle permet également à certains acteurs d’avoir le sourire face à un contexte économique particulièrement morose.
En effet la demande en serveur équipé de GPU a explosé. Par exemple la startup Inflection AI est à l’origine d’une commande de 22 000 GPU H100 de Nvidia afin de construire un supercalculateur. Cette étape de connecter ses 22 000 GPU semble la plus facile. Pourquoi ? Dans le contexte actuel l’obtention de telle quantité de H100 est un véritable défit sachant que Nvidia est sollicité de partout en raison de l’énorme demande d’applications d’IA sur site et hors site.
Cette prouesse d’Inflection AI s’explique facilement. Nvidia a investi dans cette startup aux cotés de Bill Gates et Eric Schmidt . Le supercalculateur coûte environ un milliard de dollars et consomme 31 mégawatts d’énergie. Il sera le deuxième système le plus rapide du monde en FP64. Il va se constituer d’un peu près 700 armoires de serveurs avec quatre nœuds chacune composée d’un processeur Intel et de huit accélérateurs H100.
31MW pour 22000 accelerateurs, soit ~1,4kW par processeur ??? 😮
Y’a aussi tout le reste à prendre en compte, les CPU, la Ram, les CM, les supports de stockage… SSD, HDD, le système de refroidissement.
“un peu près 700 armoires”, sérieusement, “Un” peu près ?!
Bravo.