Rychlý rozvoj umělé inteligence v posledních letech výrazně zvýšil výpočetní náročnost v datových centrech. Školení velkých jazykových modelů, odvození umělé inteligence a vysoce výkonná výpočetní technika jsou hnací silou nasazení dalších serverů GPU.

Jak výkon serveru neustále roste, jeden praktický problém se stává stále důležitějším:

Jak může datové centrum odstranit velké množství tepla z výpočetního zařízení s vysokou hustotou stabilním a účinným způsobem?

Tradiční datová centra se spoléhala především na chlazení vzduchem. S rostoucí hustotou výkonu racku se však chlazení vzduchem obtížněji řídí.

Vyšší výkon racku vyžaduje větší proudění vzduchu, větší výkon ventilátoru a složitější konstrukci horké a studené uličky.

Z tohoto důvodu jsou v datových centrech s vysokou hustotou stále běžnější systémy chlazení kapalinou a chlazení na bázi vody.

Jakmile datové centrum začne používat velké systémy chlazené vody, nabývá na důležitosti další otázka: jak se vyrábí, skladuje a dodává chladicí kapacita.

Toto je místozásobníky chlazené vodya systémy akumulace tepelné energie začínají hrát větší roli.

Velké nádrže na chlazenou vodu přitom nepracují při jedné jednotné teplotě. Teplotní stratifikace se vyvíjí uvnitř nádrže, což vytváří potřebuvícebodové sledování teploty.

Proč servery AI zvyšují potřebu vodního chlazení?

Ve srovnání s tradičními servery mají servery AI obvykle mnohem vyšší hustotu výkonu.

Servery GPU mohou nepřetržitě generovat velké množství tepla během modelování a vyvozování.

V datových centrech s nižší hustotou může být chlazení často řešeno klimatizací místností, ventilátorovými systémy a řízeným prouděním vzduchu.

S rostoucím výkonem stojanu se však spoléhání pouze na vzduch stává méně účinným a obtížnějším ho řídit.

Voda a jiné kapaliny mohou přenášet teplo mnohem efektivněji než vzduch. To umožňuje přímé odvody tepla z CPU, GPU a dalších vysoce výkonných komponent.

Mezi běžné chladicí systémy používané v moderních datových centrech patří:

• chlazení kapalinou přímo na čip;
• jednotky distribuce chladicí kapaliny nebo jednotky CDU;
• vodní systémy zařízení;
• smyčky chlazené vody;
• chladicí věže;
• suché chladiče.

Teplo je nejprve odváděno z komponent serveru studenými deskami a chladicí kapalinou. Poté je přenesen přes jednotky CDU, výměníky tepla a systémy chlazené vody, než je vyřazen do vnějšího prostředí.

Z tohoto důvodu růst AI computingu nezvyšuje pouze poptávku po GPU a serverech.

Roste také poptávka po:

chladicí zařízení, výměníky tepla, systémy chlazené vody a systémy pro skladování tepelné energie.

Pokud má datové centrum již chladiče, proč je potřeba zásobník na chlazenou vodu?

To je častá otázka v projektech chlazení velkých datových center.

Chladič již dokáže produkovat studenou vodu.

Proč přidat velkou nádrž na chlazenou vodu?

Důvod je jednoduchý:

Chladicí energie nemusí být vždy vyráběna přesně ve chvíli, kdy je spotřebována.

Zásobník chlazené vody umožňuje zařízení vyrábět a skladovat chladicí kapacitu během období nižšího zatížení.

Toto akumulované chlazení pak může být použito později, když se požadavky na chlazení zvýší.

Jednoduše řečeno, systém skladování chlazené vody funguje jako forma skladování energie.

Baterie uchovává elektrickou energii.

Zásobník chlazené vody uchovává tepelnou energii ve formě chladicí kapacity.

1. Správa změn zatížení chlazení

Zatížení serveru AI není vždy konstantní.

Když velké skupiny GPU začnou současně trénovat nebo odvozovat pracovní zátěže, spotřeba energie IT se může rychle zvýšit.

Více elektrické energie znamená více tepla.

To znamená, že chladicí systém musí reagovat i na vyšší zatížení.

Pokud musí být veškeré chlazení v každém okamžiku zajišťováno přímo chladiči, může být nutné, aby chladiče, čerpadla a elektrická infrastruktura byly dimenzovány na vyšší špičkové zatížení.

S akumulací chlazené vody může systém používat:

chladiče + skladové chlazení

na podporu části špičkové poptávky po chlazení.

To poskytuje chladicímu systému větší flexibilitu při změně zatížení serveru.

2. Snížení výkonu chlazení během špiček

Velké chladiče spotřebovávají značné množství elektřiny.

Pokud servery AI již pracují na vysoký výkon, zatímco chladicí zařízení také běží na maximální výkon, zařízení může zaznamenat:

vysoká spotřeba IT + vysoká spotřeba chladícího výkonu

ve stejnou dobu.

Tepelný akumulační systém může produkovat chlazenou vodu během období nižšího zatížení.

Například:

energii na chlazení lze ukládat v noci nebo v obdobích nižší poptávky,

poté se vybíjí během období vyšší zátěže.

To může snížit část požadavku na chladicí výkon během špičkových provozních hodin.

U velkých datových center to může být užitečné pro správu energie a řízení špičkové poptávky.

3. Snížení špičkového kapacitního tlaku chladiče

Datové centrum může po většinu dne pracovat s mírnou chladicí zátěží, ale po kratší dobu zaznamenává vyšší požadavky na chlazení.

Pokud je všechna zařízení dimenzována pouze na maximální krátkodobou zátěž, může chladicí zařízení vyžadovat větší chladiče, čerpadla a elektrickou kapacitu.

Systém akumulace chlazené vody umožňuje chladičům zvládnout základní chladicí zátěž, zatímco akumulované chlazení podporuje část špičkové poptávky.

Skutečný návrh systému závisí na mnoha faktorech, včetně:

• profil zatížení IT;
• chladící zátěž;
• ceny elektřiny;
• požadavky na redundanci;
• úroveň návrhu datového centra;
• operační strategie.

Skladování chlazené vody není nutné pro každý projekt, ale může poskytnout dodatečnou provozní flexibilitu ve velkých centralizovaných systémech chlazené vody.

4. Poskytování kapacity chladicí vyrovnávací paměti

Datová centra AI vyžadují vysokou úroveň provozní kontinuity.

Servery mohou mít systémy UPS a záložní generátory, ale chlazení musí také zůstat dostupné.

Pokud napájení serveru zůstane k dispozici, když je chlazení přerušeno, mohou vysoce výkonné GPU pokračovat ve výrobě tepla.

Zásobník chlazené vody může poskytnout určité množství chladicího pufru během:

• přepínání zařízení;
• úpravy systému;
• částečná porucha zařízení;
• dočasné přerušení chlazení;
• krátkodobé změny chladicí zátěže.

Zásobník chlazené vody nenahrazuje kompletní záložní chladicí systém.

Může se však stát důležitou podpůrnou součástí celkové strategie chlazení.

Potřebuje každé datové centrum AI zásobník na chlazenou vodu?

Žádný.

Návrhy chlazení se v jednotlivých datových centrech výrazně liší.

Některé vysokoteplotní kapalinové chladicí systémy mohou odvádět teplo přes suché chladiče nebo jiné formy volného chlazení, čímž se snižuje závislost na konvenčních systémech s chlazenou vodou.

Bylo by proto nepřesné říkat, že každé datové centrum AI vyžaduje skladování chlazené vody.

Hodnota akumulace tepla je obecně vyšší u projektů, které mají:

• velká výpočetní zátěž AI;
• centralizované systémy chlazené vody;
• vysoká potřeba chlazení;
• znatelné kolísání špičkového zatížení;
• požadavky na řízení špičkové elektřiny;
• vysoké požadavky na kontinuitu chlazení;
• potřeba optimalizovat provozní plány chladičů.

Vzhledem k tomu, že datová centra AI se stále zvětšují, těmto typům aplikací bude pravděpodobně věnována větší pozornost.

Jakmile je zásobník chlazené vody v provozu, jedna důležitá otázka zní:

Kolik užitečného chladicího výkonu je ještě k dispozici uvnitř nádrže?

Velké akumulační nádrže chlazené vody se často spoléhají na přirozené tepelné rozvrstvení.

Za normálních provozních podmínek má nádrž obvykle tři hlavní zóny:

Horní část: teplejší voda

Střední část: termoklin

Spodní část: studenější voda

Protože se hustota vody mění s teplotou, správně navržené vstupní a výstupní systémy mohou pomoci udržet relativně stabilní oddělení mezi teplejší a chladnější vodou.

Toto teplotní rozvrstvení je důležité pro výkon akumulační nádrže.

Pokud se nadměrně mísí teplá a studená voda, může se snížit využitelný chladicí výkon nádrže.

Proč jeden snímač teploty nestačí?

Zvažte zásobník chlazené vody, který je vysoký 20 metrů.

Teplota vody na dně může být 5 stupňů.

Nahoře už může být 12 stupňů.

Pokud je v blízkosti dna instalováno pouze jedno teplotní čidlo, může potvrdit, že je stále přítomna studená voda.

Nemůže však ukázat, jak vysoko sahá vrstva studené vody.

Pokud je monitorována pouze horní část, stav spodní vrstvy studené vody zůstává neznámý.

Z tohoto důvodu poskytuje jediná hodnota teploty omezené informace.

Na čem opravdu záleží, je:

rozložení teploty od horní části nádrže ke dnu.

Co je termoklina v zásobníku chlazené vody?

Thetermoklinaje přechodová zóna mezi vrstvou studené vody a vrstvou teplejší vody.

V této zóně se teplota postupně mění s výškou.

Například:

Tento typ teplotního profilu jasně ukazuje teplejší horní část, chladnější spodní část a přechodovou zónu mezi nimi.

Během nabíjení a vybíjení se poloha termokliny pohybuje nádrží.

Sledování tohoto pohybu je důležité pro pochopení toho, jak úložný systém funguje.

Proč zásobník chlazené vody potřebuje vícebodové monitorování teploty?

Nejpřímějším účelem vícebodového monitorování je vytvoření vertikálního teplotního profilu akumulační nádrže.

Monitorováním teplot v různých výškách mohou operátoři pozorovat:

• výška vrstvy studené vody;
• výška vrstvy teplé vody;
• poloha termokliny;
• tloušťka termoklinu;
• proces nabíjení;
• proces vybíjení;
• nadměrné míchání;
• abnormální teplotní zóny.

Tato teplotní data mohou být také přenášena do PLC, BMS nebo SCADA systémů pro další analýzu a řízení.

Proč používat vícebodový kabel snímače teploty?

Pokud 20metrový nebo 30metrový zásobník chlazené vody vyžaduje monitorování teploty v mnoha různých výškách, může instalace samostatných teplotních sond vytvořit velké množství:

• senzory;
• kabely;
• konektory;
• montážní body;
• kabelové spoje.

Se zvyšujícím se počtem měřicích bodů je instalace a údržba složitější.

Praktickou alternativou je:

vícebodový kabel snímače teploty.

Více teplotních čidel je integrováno do jediného kabelu, který je instalován svisle uvnitř nádrže.

Například 20metrový teplotní kabel může být navržen s:

• 10 teplotních bodů;
• 15 teplotních bodů;
• 20 teplotních bodů;
• nebo jiné množství dle požadavků projektu.

Rozteč snímačů lze také přizpůsobit.

Typické možnosti mohou zahrnovat:

0.5 m / 1 m / 2 m

nebo jiné intervaly podle požadovaného rozlišení monitorování.

To umožňuje shromažďovat údaje o teplotě z různých výšek nádrže pomocí jediné kabelové sestavy.

1. Počet teplotních bodů

Požadovaný počet senzorů závisí především na:

výška nádrže;

očekávaná teplotní stratifikace;

požadavky na kontrolu;

požadované teplotní rozlišení.

Vyšší nádrž bude obecně vyžadovat více měřicích bodů.

2. Rozteč snímačů

Pokud projekt vyžaduje podrobné monitorování termokliny, může být vhodnější menší rozteč senzorů.

Pro základní sledování stratifikace může stačit větší rozestup.

Z tohoto důvodu musí kabely teploty zásobníku chlazené vody často podporovat přizpůsobené:

délka kabelu a množství snímače.

3. Vodotěsný výkon

Kabel může zůstat ponořen ve vodě po dlouhou dobu.

Mezi důležité faktory proto patří:

hydroizolace pláště kabelu;

těsnění snímače;

těsnění konektoru;

dlouhodobá stabilita ponoření.

4. Konzistence měření

Pro monitorování nádrže chlazené vody je důležitá přesnost každého jednotlivého senzoru.

Důležitá je však také konzistence mezi různými senzory.

Systém často porovnává teploty mezi sousedními výškami, aby vyhodnotil tepelné rozvrstvení.

Pokud mají jednotlivé senzory velké rozdíly v měření, může být termoklinová analýza méně spolehlivá.

5. Datová komunikace

Velká datová centra obvykle potřebují integrovat údaje o teplotě nádrže do centrálního monitorovacího systému.

V závislosti na projektu může systém sledování teploty podporovat:

RS485;

Modbus RTU;

jednotky pro sběr dat;

PLC;

BMS;

SCADA.

To umožňuje, aby se teplotní profil nádrže stal součástí celkového systému řízení chlazení.

Monitorování teploty?

Vztah je snazší pochopit, když se na něj díváme jako na součást chladicího řetězce datového centra.

Růst výpočetní techniky AI zvyšuje výkon serveru.

Vyšší výkon serveru vytváří více tepla.

Vyšší hustota tepla zvyšuje potřebu kapalinového chlazení a chladicích systémů na bázi vody.

Větší systémy chlazené vody vytvářejí větší požadavky na efektivní výrobu, distribuci a skladování chlazení.

Některá velká datová centra používají zásobníky chlazené vody pro:

• skladování energie chlazení;
• řízení špičkového zatížení;
• energetická optimalizace;
• kapacita chladicí vyrovnávací paměti.

Jakmile je zásobník chlazené vody v provozu, je nutné porozumět vnitřní teplotní stratifikaci.

Jediný teplotní bod nemůže plně popsat stav nádrže.

Z tohoto důvodu je sledování teploty ve více výškách stále cennější.

To je jeden z hlavních důvodůvícebodové kabely snímačů teploty pro zásobníky chlazené vodyse stávají relevantní pro moderní systémy chlazení datových center.

Vliv umělé inteligence není omezen na čipy a servery.

Jak se zvyšuje výpočetní kapacita datových center, musí se vyvinout také infrastruktura pro napájení, chlazení, kapalinové chlazení, systémy chlazené vody a skladování tepelné energie.

U datových center využívajících velké centralizované systémy chlazené vody mohou zásobníky chlazené vody podporovat řízení špičkového zatížení, kapacitu chladicí vyrovnávací paměti a flexibilnější provoz systému.

Velká akumulační nádrž však nemá rovnoměrnou teplotu.

Pro pochopení jeho skutečného provozního stavu je nutné sledovat teplotní profil od horní části nádrže ke dnu.

Vícebodový kabel snímače teploty může poskytovat údaje o teplotě v několika výškách pomocí jediné vertikální kabelové sestavy.

Tato data mohou pomoci operátorům monitorovat teplotní stratifikaci, pohyb termokliny, podmínky nabíjení a vybíjení a celkový výkon skladování chlazené vody.

Jak datová centra AI pokračují v pohybu směrem k vyšší hustotě výkonu,kapalinové chlazení datového centra, akumulace tepelné energie chlazené vody a vícebodové monitorování teploty nádržese pravděpodobně stanou stále důležitějšími součástmi podpůrné infrastruktury.

FAQ

1. Co je zásobník chlazené vody?

Zásobník chlazené vody uchovává chladicí energii ve formě nízkoteplotní vody.

Systém může produkovat chlazenou vodu během období s nižším zatížením a využít uskladněné chlazení později, když se požadavky na chlazení zvýší.

2. Proč datová centra AI používají vodní chlazení?

Servery AI, zejména servery GPU, mohou mít velmi vysokou hustotu výkonu.

Voda a jiné kapaliny mohou odebírat teplo účinněji než vzduch, díky čemuž je chlazení kapalinou vhodnější pro prostředí s vysokou hustotou výpočetní techniky.

3. Potřebuje každé datové centrum AI zásobník na chlazenou vodu?

Žádný.

Rozhodnutí závisí na architektuře chlazení, velikosti datového centra, zátěži chlazení, ceně elektřiny, požadavcích na redundanci a provozní strategii.

Skladování chlazené vody je obecně důležitější pro velká zařízení využívající centralizované systémy chlazené vody.

4. Proč jeden snímač teploty nestačí pro zásobník chlazené vody?

Velké zásobníky chlazené vody mají obvykle teplotní vrstvení.

Teplota vody v horní, střední a spodní části nádrže se může výrazně lišit.

Jediný senzor nemůže zobrazit výšku vrstvy studené vody nebo polohu termokliny.

Z tohoto důvodu je obvykle užitečnější vícebodové sledování teploty.

5. Co je termoklin?

Termočlína je zóna přechodu teploty mezi vrstvou studené vody a vrstvou teplejší vody uvnitř vrstvené skladovací nádrže.

Jeho poloha a tloušťka může pomoci indikovat provozní stav akumulační nádrže.

6. Lze kabel teploty zásobníku chlazené vody přizpůsobit?

Ano.

V závislosti na projektu lze upravit následující parametry:

celková délka kabelu;

počet teplotních čidel;

rozteč snímačů;

výstup signálu;

metoda získávání dat.

Například různé rozmístění senzorů lze navrhnout pro 20metrové, 30metrové nebo jiné výšky nádrže.

7. Lze data o teplotě nádrže připojit k PLC nebo BMS?

Ano.

Pomocí jednotky pro sběr teploty a průmyslových komunikačních rozhraní, jako je RS485 nebo Modbus, lze vícebodová data o teplotě přenášet do:

PLC systémy;

BMS platformy;

SCADA systémy;

další systémy řízení chlazení.