Peut-on refroidir un data center dans l'espace ?
Idée géniale pour certains, absurdité physique pour d'autres. Voyons un peu ce qu'il en est.
Il y a quelques jours, SpaceX a réalisé la plus grosse entrée en bourse de l’histoire. Après sa récente fusion avec l’entreprise xAI au début de l’année, une des principales promesses de SpaceX pour se justifier un avenir radieux est d’implanter des data centers en orbite.
Vous le savez sans doute, un des principaux problèmes des data centers — notamment ceux servant pour les modèles d’IA — c’est leur refroidissement. Mais est-ce que le fait d’être dans l’espace est un avantage pour ça ?
Intuitivement on se dit que l’espace, c’est quand même vachement froid (pas loin du zéro absolu, on le verra). Mais d’un autre coté, le refroidissement actuel repose de façon essentielle sur l’usage de l’eau...et de l’eau il n’y en a pas des masses en orbite ! Alors refroidir des data centers dans l’espace : coup de génie ou idée absurde ?
On va essayer de faire un peu la lumière sur ces questions.
Comme à mon habitude, mon but n’est pas tellement de vous apporter une réponse précise et définitive; c’est surtout un prétexte pour évoquer plusieurs des phénomènes physiques à l’oeuvre, et s’exercer à manipuler un peu les ordres de grandeur impliqués.
Refroidir un processeur sur Terre
Commençons par les bases : comment ça se passe sur Terre ? Quand un processeur fonctionne, il dégage de la chaleur. Il ne fait même presque que ça, puisque dans la mesure où il n’exerce aucune action physique sur son environnement, toute l’énergie qu’il consomme se retrouve in fine dissipée sous forme de chaleur.
Prenons un bon gros GPU, tels que ceux qui servent à faire tourner les modèles d’IA. Pour un modèle récent, on est typiquement sur une puissance d’environ 1000W. La surface de la puce elle-même est faible, plutôt de l’ordre du cm2. Si l’on raisonne en flux de chaleur qui doit s’évacuer par la surface, on obtient le chiffre énorme de 10 megawatts par mètre carré !
Pour évacuer de la chaleur d’une surface, la solution typique est d’utiliser la convection, c’est-à-dire de faire circuler un fluide à son contact, par exemple de l’air, comme les bons vieux ventilateurs de votre PC.
La capacité d’évacuation thermique d’un fluide dépend de la nature du fluide, de sa vitesse, de la nature de l’écoulement, et elle est proportionnelle à la différence de température entre le fluide et la surface à refroidir.
Pour de l’air à bonne vitesse, le coefficient de proportionnalité — dit coefficient de convection — est d’environ 100 W/(m2.K). Regardez bien l’unité, ce sont des « watts par m2 et par kelvin ». Si on a 10 MW/m2 à évacuer à la surface de la puce, vous pouvez faire la division, il faudrait en principe une différence de température d’au moins 100 000 degrés entre la surface et l’air ! Bien sûr ça ne marche pas.
La première chose à faire pour contourner ce problème, c’est d’augmenter la surface de contact avec le fluide. Pour cela on utilise un « radiateur », c’est-à-dire une pièce de métal conducteur de chaleur, en contact avec la surface du processeur, et qui va diffuser la chaleur vers des structures exposant une grande surface.
Pour des processeurs classiques, on va employer des structures en ailettes (comme ci-dessus). Mais pour les GPUs professionnels, on utilise des surfaces avec des mini-canaux permettant un gain de surface important, d’au moins un facteur 100. Au niveau de ces canaux, le flux de chaleur à évacuer n’est donc plus “que” d’environ 100 000 W/m2. C’est encore beaucoup trop pour le faire avec de l’air, mais ça devient envisageable avec un liquide comme de l’eau.
Pour de l’eau circulant dans des mini-canaux avec une vitesse suffisante (quelques mètres par seconde), on peut évacuer 100 fois plus de chaleur qu’avec l’air, disons environ 10 000 W/(m2.K). Puisqu’on a 100 000 W/m2 à évacuer, un écart de 10 degrés est suffisant pour faire le job. Avec des GPUs qui opèrent typiquement autour de 80°C, on voit que c’est largement faisable.
Évidemment, cette opération éloigne la chaleur du processeur, mais pour autant celle-ci n’a pas disparu. Elle est dans le fluide, et il faut l’évacuer pour de bon du data center. Le fluide en question circule en général dans un circuit primaire fermé, et en utilisant un échangeur on peut par exemple transférer la chaleur évacuée dans un circuit secondaire. Ce dernier peut fonctionner en prélevant de l’eau à l’extérieur, et en la rejetant soit plus chaude, soit carrément sous forme de vapeur (le refroidissement évaporatif dont j’ai déjà un peu parlé ici).
Je passe beaucoup de détails sous silence, toujours est-il que sur Terre ça fonctionne : on sait refroidir des data centers de GPU.
Bien maintenant envoyons notre data center dans l’espace. Comment ça se passe ?
Décollage immédiat
Vous voyez que le truc qui coince, ça n’est pas tellement le début du refroidissement, quand on éloigne la chaleur du processeur, mais bien l’évacuation définitive. Dans l’espace, il n’y a pas d’eau à évaporer ! Heureusement, il y a un autre phénomène qui va nous servir, le refroidissement par rayonnement.
Vous savez peut-être qu’il existe 3 formes de transfert de chaleur : la conduction (par exemple dans le métal du radiateur), la convection (qui permet d’évacuer la chaleur par le fluide), et le rayonnement, qui se caractérise par une émission d’énergie sous forme d’ondes électromagnétiques.
Le rayonnement est régi par la loi de Stefan-Boltzmann, qui dit qu’un corps à température T rayonne un flux de chaleur égal à
où σ est la constante de Stefan, et où la température T de la surface est élevée à la puissance 4. Détail important : il faut ici exprimer la température en kelvin.
Avec une dépendance en T4, on se dit que le rayonnement ça doit être super efficace pour refroidir ! Et pourtant dans notre quotidien sur Terre, ça n’est pas souvent lui le facteur principal de refroidissement, vous allez voir pourquoi.
Imaginez que vous vous teniez dans une pièce à 20°C. La surface de votre peau est à environ 35°C (donc 308 kelvins), et va donc rayonner selon la loi de Stefan-Boltzmann. Faites le calcul, ça fait environ 510 W/m2. Ca semble beaucoup, mais il manque quelque chose : les murs de la pièce dans laquelle vous vous trouvez vont eux aussi en retour rayonner vers vous. Il sont à 20°C et vont donc vous balancer environ 420 W/m2. Si on fait la différence, cela représente seulement une perte d’environ 90 W/m2 par rayonnement (et encore, je néglige plein de trucs, on ne parle ici que de peau exposée, etc.)
La morale de l’histoire, c’est que le refroidissement par rayonnement dépend de la température des objets qui nous environnent. Donc refroidir un GPU ou un data center terrestre par rayonnement, ça n’est pas très efficace.
Mais dans l’espace, c’est différent ! Il n’y a rien pour vous rayonner dessus, le rayonnement est une perte nette ! Bon, en réalité, il y a le rayonnement fossile dit «à 3 K», ce vestige du big bang qui baigne l’Univers d’onde électromagnétique correspondant au rayonnement qu’émettrait un corps dont la température serait de 3 kelvins. C’est ce qui fait généralement considérer que la « température de l’espace » se trouve à 3 degrés au dessus du zéro absolu, soit environ -270°C. Donc oui l’espace est très froid du point de vue du rayonnement…
…mais en contre partie, il n’y aucun air ou aucune eau à cette température pour évacuer la chaleur par convection. On ne peut donc compter que sur le rayonnement. Et est-ce que ça suffit pour refroidir un data center ?
Évacuer la chaleur dans l’espace
On va essayer de faire le calcul. Et la première chose qu’il faut réaliser, c’est que quand on parle de « data centers dans l’espace », c’est une image trompeuse. En entendant ce terme, on a très envie de se représenter ces énormes bâtiments parallèlépipédiques en train d’orbiter autour de la terre.
Mais comme vous allez le voir avec notre calcul, ça n’a aucune chance de se passer comme ça.
Au lieu d’un data center complet, considérons juste une seule grosse unité de calcul. On va prendre un NVIDIA GB300 NVL 72, un gros rack comprenant 72 GPUs. Ca a la taille d’une armoire, et on peut donc imaginer embarquer ça dans un satellite.
Cette unité consomme au max environ 150 kW, qui vont entièrement finir en chaleur. Ca veut dire qu’il va falloir en permanence évacuer de notre satellite jusqu’à 150 kW, et ce uniquement par rayonnement.
Puisque la puissance rayonnée est proportionnelle à la surface qui rayonne, de quelle surface a-t-on besoin pour faire ça ?
Soyons optimistes et supposons que la surface d’évacuation se trouve à 80°C (la température de fonctionnement typique des processeurs). La loi de Stefan Boltzmann nous donne à cette température une puissance rayonnée de 880 W/m2 (on suppose que la surface rayonne parfaitement, en pratique ce sera un peu moins car les surfaces ne sont pas parfaitement émissives).
Il va donc falloir une surface de 150 000 / 880 ~ 170 m2 pour espérer évacuer cette chaleur dans l’espace par rayonnement. Imaginons qu’à cet effet on déploie des panneaux pouvant rayonner sur leurs deux faces, et en prenant un peu de marge car j’ai été optimiste, je vous fait un prix à 100m2.
Il faut déployer 100m2 de panneaux radiants autour de notre satellite pour espérer évacuer la chaleur de cette unité de calcul contenant 72 GPUs. Ca n’est pas absurdement délirant comme idée, mais ça n’est quand même pas si simple ! Surtout pour quelque chose qu’on arrive à très bien faire sur Terre avec de la convection.
Du strict point de vue du refroidissement, le fait de se mettre dans l’espace est loin d’être un avantage.
Où mettre le satellite ?
Pour l’instant, on est restés à un niveau très théorique, mais il y a quand même plein de questions pratiques. Par exemple comment positionner notre satellite et ses panneaux rayonnants ? Un point absolument crucial est que ces panneaux ne doivent surtout pas recevoir les rayons du Soleil. En effet au niveau de la Terre (en dehors de l’atmosphère), le flux solaire est d’environ 1300 W/m2. Il faut donc à tout prix éviter que ce dernier ne vienne tomber sur nos panneaux radiants…car ceux-ci se transformeraient alors en panneaux absorbants !
Une solution serait d’essayer de rester dans l’ombre de la Terre, mais outre le fait que c’est difficile d’y être en permanence, cela priverait notre satellite de l’énergie solaire dont il a besoin pour fonctionner...eh oui car en plus des panneaux radiants, il va falloir y mettre des panneaux solaires !
On l’a dit, notre unité de calcul nécessite environ 150kW de puissance électrique à son maximum. Un bon panneau solaire situé dans l’espace et qu’on maintient perpendiculaire au soleil peut produire environ 300 W/m2. Ca nous met quand même à 500m2 de panneaux solaires pour alimenter la bête ! (A titre de comparaison, l’ISS en a environ 2500m2). Le design de notre satellite commence à devenir complexe.
Je résume le problème : on doit caser 500m2 de panneaux solaires qui doivent en permanence être face au soleil, ainsi qu’au moins 100m2 de panneaux radiants, qui eux — au contraire — doivent toujours faire face au vide immense de l’espace inter-sidéral. Techniquement c’est possible, mais il va falloir ruser un peu.
Une solution, c’est de mettre notre satellite sur la trajectoire de ce qu’on appelle le «terminateur». Ca sonne un peu effrayant, mais ce terme désigne simplement la ligne de partage jour/nuit sur la Terre.
Le terminateur est un cercle mouvant à la surface de la Terre, et si un satellite s’arrange pour orbiter en permanence à la verticale du terminateur, il a l’assurance d’avoir toujours une exposition au soleil pour ses panneaux solaires; alors que tout autre orbite l’oblige a être périodiquement privé du Soleil par l’ombre de la Terre. Si en plus, on place les panneaux radiants de façon orthogonale, tournés vers le « haut » et le « bas » (c’est-à-dire perpendiculaires au plan de l’orbite terrestre), on a alors la configuration qu’il nous faut.
Avec cet arrangement, les panneaux solaires ne voient que le Soleil en permanence, tandis que les panneaux radiants ne voient que le vide sidéral à 3 kelvins.
En réalité, le bilan n’est pas si simple. En effet, notre satellite devra être en orbite plutôt basse (Low Earth Orbit, à moins de 1000km de la surface), et donc les panneaux radiants seront en partie exposés au rayonnement terrestre !
Eh oui car notre bonne vieille Terre est à environ 15°C en moyenne, donc elle rayonne elle-aussi des infrarouges. Même bien orientés, la taille apparente de la Terre est si grosse en orbite basse que les panneaux radiants en capteront immanquablement une partie…ce qui va compliquer encore un peu plus leur bilan thermique.
Est-ce que tout ça vaut vraiment le coup ?
Si on met tout bout à bout, on voit que c’est techniquement faisable, mais vraiment pas simple du tout ! Rien que le bilan énergétique est à peine favorable, et encore j’ai simplifié tout un tas de choses sur les détails de l’évacuation de la chaleur vers les panneaux (il faudra un fluide, une pompe à alimenter…) Donc même en étant optimistes, cela s’annonce comme un sacré casse-tête d’ingénierie.
Et ce que l’on voit comme je l’expliquais plus haut, c’est que l’image du data center comme un gros hangar dans l’espace est trompeuse. Ici pour espérer y arriver à une capacité de calcul analogue à un data center terrestre, on parle plutôt d’une constellation de satellites embarquant chacun quelques dizaines à quelques centaines de GPUs.
Et je ne vous parle même pas de la maintenance (impossible), du recyclage (impossible), de la communication entre unités de calcul (bye bye la fibre optique) et des débris divers qui circulent en orbite et ne manqueront pas de taper et d’endommager les panneaux.
Bien sûr, la vraie grosse raison pour se mettre dans l’espace, c’est de bénéficier d’une énergie solaire abondante, gratuite et stable. A 150kW de puissance, la même unité de calcul sur Terre consommerait chaque année plus d’1 millions de kWh, pour une facture (au prix actuel) d’environ 150 000 €. Est-ce que ce gain est suffisant pour justifier l’effort ?
Car il faut ajouter le fait qu’il va falloir les lancer, ces satellites ! Le Falcon 9 de SpaceX lance et met en orbite des satellites pour environ 3000$/kg. Si notre satellite fait quelques tonnes, aujourd’hui ça semble rédhibitoire.
On voit que même en prenant encore compte le talent des équipes d’ingénierie de SpaceX, l’équation technico-économique est aujourd’hui quand même assez difficile à avaler.
Peut-être dans une ou deux décennies ? Mais personnellement, je me dis que quitte à faire tout ça dans un endroit lointain où l’eau est abondante et le refroidissement facile, autant se mettre au fond de l’océan !
Pour ceux qui veulent creuser, ce long papier fait l’analyse physique et technico-économique, et il estime (en prenant par exemple une unité d’1MW donc 6 fois ce que j’ai considéré) qu’il faudrait que les coûts de mise en orbite baissent d’un facteur 3 à 13 pour que l’option commence à être compétitive avec le fait de faire ça sur Terre.
Et donc au final, un énième coup de comm d'Elon Musk pour lever des fonds...
Merci pour l'article, dont la fin nous laisse... sur notre faim !
Vivement un prochain post sur les data centers sous-marins 👍
Formé en physique, j'avais fait quelques calculs simples avec justement la loi de Stephan pour un serveur orbital en une seule pièce / monolitique. C'était carrément impossible! Pour 1 GW, on parlait ~1 Km2 de radiateurs soit ~140 terrains de foot, pour les panneaux solaires c'était 2,5 à 3,5 Km2, ~500 terrains de foot. Par comparaison la station ISS fait environ la taille d'un seul terrain de foot.
Aussi, il fallait résoudre le cauchemar logistique de la maintenance du matériel dans l'espace, les problèmes de bande passante, les radiations et les horribles basculements de bit (bit-flips) qui imposent l'emploi de GPU blindés (mais aussi de mémoires et d'équipements de télécom blindés), les micrométéorites et débris (merci Starlink!), la trainée d'une telle mégastructure (l'espace circumterrestre n'est pas le vide absolu), les coûts de lancement proprement « astronomiques » et l'impact environnemental de milliers de fusées, etc.
Une constellation de satellites rend la chose moins impossible, mais cela reste un véritable cauchemar d'ingénierie. De plus, je soupçonne qu'il y a peut-être un « gros os » avec le calcul distribué.
En effet, le théorème CAP ou théorème de Brewer qui gouverne le calcul distribué vient beaucoup compliquer la chose. C'est la base de l'infonuagique (cloud computing). Il énonce qu'un système de calcul distribué ne peut garantir simultanément que deux de ces trois propriétés : Cohérence (C), Accès (A) et Tolérance au Partitionnement (P).
Dans l'espace, la tolérance aux partitions (P) est une obligation car il s'agit d'une constellation de nœuds de calculs qui bougent et qui échangent de l'information avec des lasers. L'entraînement d'un réseau de neurones repose sur la descente de gradient et les processeurs graphiques (GPU) doivent constamment synchroniser les poids (paramètres) du modèle. En première analyse, il faudrait opter pour un compromis CP (Cohérence et Partitionnement)
Le transfert de données entre GPU nécessaire pour l'entraînement de très gros modèles est de l'ordre du To alors que dans l'espace on est dans le Go. De plus, le temps de vol de la lumière entre des satellites espacés de centaines de kilomètres ajoute une latence incompressible. Enfin, le temps de pointage et de suivi entre satellites est typiquement de l'ordre de plusieurs secondes. En informatique distribuée, un délai de quelques secondes équivaut à une panne majeure.
Aussi, pour les gros modèles dont les paramètres ne peuvent tenir sur un seul GPU, on doit répartir le calcul sur plusieurs processeurs graphiques (GPU) grâce au parallélisme de tenseur (tensor parallelism), une technique que j'utilise. Cette technique, indispensable pour entraîner les très gros modèles, exige que les GPU s'échangent des paramètres quasi instantanément entre chaque couche du réseau. La latence des lasers interdit cette approche. Les modèles devront être découpés d'une manière sous-optimale, ce qui saturera la bande passante des lasers lors de la mise à jour des paramètres.
L'entraînement par descente de gradient d'un grand réseau de neurones en orbite avec découpage distribué et échanges de paramètres sur des liens laser n'est pas qu'un défi d'ingénierie, cela me semble en contradiction avec les prérequis mathématiques de la synchronisation de calcul pour l'entraînement des grands modèles d'IA actuels.
Évidemment, on m'objectera la possibilité d'inventer de nouveaux algorithmes d'entraînement et d'utiliser des GPU avec beaucoup plus de mémoire, mais bon cela devient de moins en moins réaliste... Il est plutôt évident que l'idée d'une ferme de serveurs en orbite relève davantage du fantasme que de la vision. Soyons probabilistes, pas possibilistes!
Étrangement, personne parle du problème du calcul distribué dans les articles que j'ai trouvés sur la Toile. Peut-être que je vois un problème où il n'y en a pas? Il faut que j'y réfléchisse davantage...
À mon avis, la seule application pratique à moyen terme du « calcul orbital » est l'IA proximale (edge AI) pour traiter et compresser des données satellitaires.
Claude COULOMBE
entrepreneur-chercheur
Ph. D. en IA (2020)