High-density computing: verder kijken dan het rack

Bij high-density computing neemt de rekenkracht per rack toe. Hiermee stijgen ook de eisen aan de koeling, stroomvoorziening en ondersteunende infrastructuur van het datacenter.

Deerns combineert multidisciplinaire engineering met internationale projectervaring om opdrachtgevers te helpen onderbouwde keuzes te maken. We brengen in kaart hoe keuzes voor koeling samenhangen met de stroomvoorziening, het ruimtegebruik, de milieuprestaties en de dagelijkse bedrijfsvoering. Met realistische aannames over de benodigde capaciteit en een haalbaar plan voor toekomstige aanpassingen kunnen opdrachtgevers met vertrouwen investeren in infrastructuur die de huidige rekenvraag aankan en ruimte biedt voor verdere groei.

Van rackdichtheid naar datacenterontwerp

Bij Deerns zien we regelmatig dat projecten beginnen met een gewenste rackdichtheid, nog voordat duidelijk is wat de locatie  en beschikbare infrastructuur daadwerkelijk aankunnen. Een kleinere serverzaal betekent immers niet automatisch dat de hele faciliteit minder ruimte nodig heeft. Ook bij een compact ontwerp kunnen omvangrijke installaties buiten het gebouw, aanzienlijke netcapaciteit en goed op elkaar afgestemde voorzieningen nodig zijn.

Voor eigenaren van en investeerders in datacenters is het daarom essentieel om naar de faciliteit als geheel te kijken. Geavanceerde koeltechnieken maken hogere rackdichtheden mogelijk, maar hun waarde hangt af van hoe goed ze aansluiten op de elektrische infrastructuur, de beperkingen van de locatie en de totale exploitatiestrategie. Het gaat dus niet alleen om hoeveel rekenkracht in een rack past, maar vooral om de vraag of het datacenter die capaciteit betrouwbaar en efficiënt kan ondersteunen.

Koeltechnieken voor high-density datacenters

Vloeistofkoeling  voert warmte dicht bij de bron af. Hierdoor kunnen ook hoge processorbelastingen worden gekoeld die met traditionele luchtkoeling moeilijk te beheersen zijn.

2 technieken verdienen extra aandacht:

• Direct-to-chip-koeling: koelvloeistof stroomt door koelplaten die direct op de processors zijn geplaatst. Zo wordt warmte efficiënt afgevoerd zonder dat de vloeistof in contact komt met de elektronica.
• Immersiekoeling:  geschikte IT-apparatuur wordt ondergedompeld in een elektrisch niet-geleidende vloeistof. Deze techniek stelt andere eisen aan de apparatuur en het onderhoud.

Welke oplossing het beste aansluit, hangt af van de apparatuur, de toepassing en de locatie. Bij onze projecten voor high-density datacenters in Brazilië wordt momenteel vooral gekozen voor direct-to-chip-koeling. Deze techniek sluit goed aan op de IT-apparatuur van fabrikanten en op de praktische eisen in de bedrijfsvoering. Immersiekoeling blijft een goede optie wanneer de toepassing en het onderhoudsmodel zich hiervoor lenen.

Vloeistofkoeling maakt luchtkoeling overigens niet per se overbodig. Andere servercomponenten en netwerkracks kunnen afhankelijk van de apparatuurmix nog steeds luchtkoeling nodig hebben. Het ontwerp moet daarom rekening houden met de verschillende warmtelasten binnen het datacenter. Een hybride koelstrategie, waarbij vloeistof- en luchtkoeling worden gecombineerd, is vaak de meest praktische manier om aan de uiteenlopende koelbehoeften te voldoen.

De volledige datacenterlocatie in kaart brengen

Hoe hoger de elektrische belasting in een serverzaal, hoe meer ondersteunende infrastructuur nodig is. Generatoren, onderstations, elektrische distributiesystemen en warmteafvoerinstallaties nemen ruimte in beslag. Daarnaast moet er voldoende ruimte zijn voor onderhoud en bereikbaarheid. Een compact gebouw is dus geen garantie voor een compacte locatie.

Onze ervaring met datacenterprojecten in Brazilië laat zien hoe bepalend lokale omstandigheden kunnen zijn. De beschikbaarheid en capaciteit van apparatuur kunnen bijvoorbeeld het aantal benodigde generatoren en bijbehorende elektrische systemen beïnvloeden. Ook moeten stroom en glasvezel op de gekozen locatie beschikbaar zijn. Voldoende energiecapaciteit in de regio staat niet automatisch gelijk aan een haalbaar project.

Voordat de capaciteit van het datacenter wordt vastgesteld, moeten 3 cruciale factoren duidelijk zijn:

• Hoeveel elektriciteit op de locatie kan worden geleverd en wanneer.
• Hoe de ondersteunende installaties en de benodigde ruimte voor onderhoud op het perceel passen.
• Of het lokale klimaat, de beschikbare waterbronnen en de connectiviteit geschikt zijn voor de geplande bedrijfsvoering.

Ontwerpen voor een realistische rackmix

De maximale rekencapaciteit per rack is niet hetzelfde als de gemiddelde rackdichtheid van een datacenter. Een AI-cluster omvat niet alleen rekenapparatuur, maar ook netwerkapparatuur, verbindingen en ruimte voor onderhoud. Als voor elke rackpositie het maximale rackvermogen wordt aangehouden, kan dit leiden tot een overschatting van zowel de benodigde stroomcapaciteit als de daadwerkelijk beschikbare rekencapaciteit.

Een hybride ontwerp maakt het mogelijk om vloeistofgekoelde en luchtgekoelde apparatuur te combineren. De verhouding moet wel aansluiten op de beoogde toepassingen en de geplande uitbreiding van het datacenter. Flexibiliteit betekent daarbij niet dat onbeperkte groei mogelijk moet zijn, maar dat de infrastructuur kan inspelen op realistische toekomstscenario’s. De stroomvoorziening en koelsystemen worden daarom afgestemd op geloofwaardige veranderingen in de capaciteitsbehoefte.

Ook de bedrijfszekerheid moet aansluiten bij hoe het datacenter gebruikt wordt. Een colocatiedatacenter met meerdere huurders kan bijvoorbeeld andere eisen stellen aan redundantie dan een datacenter dat door de eigenaar zelf wordt beheerd en waarbij capaciteit op andere locaties beschikbaar is. Daarnaast spelen extreme buitentemperaturen een rol in het ontwerp. Extra koelcapaciteit kan nodig zijn om de bedrijfszekerheid te waarborgen, maar leidt mogelijk ook tot een hogere stroomvraag, grotere installaties en hogere kosten.

Milieuprestaties beoordelen

De keuze voor een koelsysteem heeft direct invloed op het elektriciteitsverbruik, waterverbruik en de CO₂-uitstoot van een datacenter. Door minder water te gebruiken voor verdampingskoeling, kan de stroomvraag toenemen, terwijl waterkoeling onder bepaalde omstandigheden juist energie kan besparen. De uiteindelijke milieuprestaties hangen af van het lokale klimaat, de beschikbaarheid van water en de elektriciteitsvoorziening.

Om deze prestaties in samenhang en over verschillende seizoenen te beoordelen, zijn 3 indicatoren belangrijk:

• Power Usage Effectiveness (PUE): de verhouding tussen het totale energieverbruik van het datacenter en het energieverbruik van de IT-apparatuur.
• Water Usage Effectiveness (WUE): de verhouding tussen het jaarlijkse waterverbruik van het datacenter en het energieverbruik van de IT-apparatuur.
• Carbon Usage Effectiveness (CUE): de verhouding tussen de operationele CO₂-uitstoot en het energieverbruik van de IT-apparatuur.

Heldere communicatie met de omgeving vraagt om inzicht in zowel het totale energie- en waterverbruik als de piekbelasting. Zo ontstaat een realistisch beeld van wat een datacenter vraagt van de lokale infrastructuur en beschikbare hulpbronnen. Efficiëntiecijfers geven belangrijke informatie over de prestaties, maar de impact op de omgeving wordt pas echt duidelijk wanneer ook het absolute verbruik en de piekvraag worden meegenomen.

Van ambitie naar een haalbaar datacenter

De uitdaging is om te bepalen hoeveel rekencapaciteit een locatie betrouwbaar en verantwoord kan ondersteunen, binnen het beschikbare investeringsbudget. Door beperkingen en mogelijkheden vroegtijdig in kaart te brengen, kunnen opdrachtgevers weloverwogen beslissingen nemen voordat belangrijke keuzes over de locatie, apparatuur en indeling vastliggen.

Deerns kijkt naar het datacenter als geheel. Door stroomvoorziening, koeling, locatieomstandigheden en operationele eisen vanaf het begin op elkaar af te stemmen, zetten we ambities voor high-density computing om in robuuste, efficiënte en haalbare datacenters.