Centrum Informatyczne Świerk – chłodzenie superkomputera

Gorąca ciecz, wbrew logicznemu rozsądkowi jest znakomitym czynnikiem chłodzącym, a jej duża pojemność cieplna od lat jest wykorzystywana na świecie w reaktorach jądrowych typu PWR, a także w superkomputerze SuperMUC, który znajduje się w centrum obliczeniowym Leibnitza (LRZ) w Niemczech.

Główne zawory regulacyjne wymienników ciepła instalacji chłodniczej wody lodowej

Dostawcą systemu chłodzenia zastosowanego w Centrum Informatycznym Świerk jest Bull Polska Sp. z o.o., przedstawiciel Grupy Bull – jednego z największych dostawców systemów informatycznych na świecie. Główny obieg chłodzący został wykonany przez firmę Honeywell Sp. z o.o., będącą częścią Honeywell Building Solutions.

Rurociągi systemu chłodzenia z glikolem

Powierzchnia zaplecza odpowiadającego za chłodzenie zajmuje 220 m², a samej serwerowni jedynie 137 m². System wodny podzielony został na dwa obiegi: wewnętrzny, czyli nasza szafa obliczeniowa oraz zewnętrzny, czyli cała reszta:

Obieg wodny wewnętrzny obejmuje serwery blade, kolektory wewnątrz szafy, pompy wewnętrzne i wymiennik ciepła. Całość posiada budowę modułową i znajduje się wewnątrz szafy Rack. Wspomniany obieg wodny jest zaknięty i pracuje przy ciśnieniu ok. 1 – 1.5 Bara. Temperatura wody ze środkiem antykorozyjnym mieści się w przedziale 40 – 48 stopni Celsjusza.

Cały system jest projektowany dla niewielkich przepływów. Każdy serwer Blade generuje maksymalnie 375 Watów ciepła oraz wymaga do poprawnej pracy, przepływu na poziomie 1.5 litra na minutę (+/- 0.1 litra), przy zachowaniu różnicy temperatur ΔT = 5 stopni C.

Dla całej szafy przepływ projektowany jest na wartość nominalną 75 litrów / minutę czyli 4.5 m³ na godzinę. Przepływ ten jest stały i wymuszany przez jedną z dwóch pomp znajdujących się w modułach na dole szafy Rack. Pompy działają w trybie Active/Standby (tzn. zawsze pracuje jedna z nich) – jest więc to system redundantny.

Teraz omówimy budowę serwera kasetowego. Poniższy obrazek przedstawia poglądowy przekrój systemu chłodzenia:

Blade składa się z dwóch części: podzespołów i metalowej płyty zaopatrzonej w kanał z cieczą.

Kanał prowadzący ciesz jest tak wyprofilowany, aby odprowadzać ciepło z praktycznie każdego miejsca na płycie, ze szczególnym naciskiem na miejsca o zwiększonej emisji cieplnej. Metalowa płyta chłodząca jest tak wyprofilowana, że posiada kontakt z większością podzespołów wewnątrz serwera (tzn. jest dopasowana kształtem powierzchni do płyty głównej serwera) – nie jest zatem wymagane dodatkowe schładzanie ich powietrzem. Dodatkowo możliwe jest swobodne wymontowanie kluczowych podzespołów (CPU, pamięć, dysk) bez ingerencji w integralność systemu chłodzącego.

Sama ciecz jest doprowadzana do płyty poprzez system szybkozłączek oraz kolektor umieszczony w płycie montażowej szafy (backplane chassis). Wspomniane wcześniej szybkozłączki pozwalają na wyjęcie serwera z szafy w dowolnym momencie, bez obawy o wyciek cieczy chłodzącej. Działają one w sposób automatyczny, zamykając obwód zanim jeszcze serwer zostanie fizycznie usunięty z obudowy. Działa to w sposób mechaniczny, a więc niezależnie od zasilania szafy, czy też znajdujących się w niej serwerów.

Jedynymi niechłodzonymi cieczą elementami systemu są zasilacze pracujące na napięciu 230V (względy bezpieczeństwa). Zasilacze te znajdują się na szafie Rack (powyżej najwyższego punktu układu wodnego), natomiast samo zasilanie realizowane jest wewnątrz szafy instalacją niskonapięciową (ewentualny wyciek nie spowoduje tu zatem żadnego zagrożenia dla pracowników). Zasilanie stosowane w posiadanych przez nas systemach jest oczywiście redundantne.

Pompy obiegu zewnętrznego (glikolowego) instalacji chłodniczej wody lodowej

Obieg wodny zewnętrzny jest również w pełni hermetyczny. Obejmuje trasę od wymiennika ciepła wewnątrz szafy, poprzez orurowanie serwerowni, pompy tłoczące wodę, zawory sterujące oraz chłodnice adiabatyczne zainstalowane na dachu budynku chłodzące ciecz na zasadzie „free cooling’u” z dodatkowym wspomaganiem za pomocą zraszaczy wodnych.

Centrala wentylacyjna budynku głównej serwerowni z widocznym na pierwszym planie nawilżaczem parowym

System jest zaprojektowany do pracy przy ciśnieniach w zakresie do 3 Bar (ciśnienie zależy od miejsca w układzie) oraz całkowitym przepływie na poziomie do 22.5 l/sek (ciekawostka: dla instalacji zimnowodnej jaką również posiada Centrum Informatyczne Świerk podobny przepływ występuje dla pojedynczego chillera (jednego z dwóch), tu natomiast jest to przepływ dla całego układu. Obydwa układy mają podobną zdolność oddawania ciepła).

Agregat chłodniczy 430 kW, jednostki zewnętrzne klimatyzatorów UPS-ów, maszt z kamerami CCTV

Główny rozdzielacz hydrauliczny, kominy i przewody wentylacyjne kotłowni

Ciepło z układu odprowadzane jest przez dwie chłodnice zainstalowane na dachu budynku serwerowni. Każda z chłodnic posiada wspomaganie w postaci zraszaczy wodnych – wymagane ono jest tylko w przypadku bardzo wysokich temperatur na zewnątrz (niewystępujących zwykle w naszym klimacie) oraz przy jednoczesnym bardzo dużym obciążeniu sprzętu.

Główny rozdzielacz hydrauliczny

Całość dopełniają 3 pompy, pracujące również w trybie redundantnym (do poprawnej pracy systemu wymagane jest działanie co najmniej jednej z nich) oraz inteligentny sterownik, który na podstawie czynników takich jak: pobierana moc, warunki pogodowe, parametry wewnętrzne układu, etc, tak dobiera parametry pracy aby zapewnić temperaturę serwerów na wymaganym poziomie, ale zarazem powyżej punktu kondensacji pary wodnej wewnątrz sprzętu. Obieg zewnętrzny wykorzystuje w swojej pracy mieszankę glikolu etylenowego i wody.

Pompy obiegowe agregatu chłodniczego 430 kW

Pompy obiegowe agregatu chłodniczego 430 kW

Zalety instalacji:

• Oszczędność eksploatacji w porównaniu do instalacji zimnowodnych. W przypadku instalacji zimnowodnych zużycie energii na samo chłodzenie może wynosić nawet do 80% zużycia energii przez serwery (tzn. na każdą złotówkę wydaną na pracę serwerów należy dopłacić 80gr na ich schłodzenie). W przypadku instalacji ciepłowodnej koszty te oscylują na poziomie ok. 2% (1zł / 2gr).
• Dwuobiegowy system chłodzenia pokrywa zapotrzebowanie na 1700 kW. Pozwala to zaoszczędzić ponad 80% zużywanej energii elektrycznej, a w przypadku CIŚ oznacza to sumę 500 000 tysięcy złotych rocznie.
• Odpowiednio obliczone średnice rurociągów oraz systemów chłodzących, projektowane do pracy przy niskich ciśnieniach oraz niskich przepływach pozwalają na uproszczenie budowy, a tym samym ograniczenie kosztów produkcji i eksploatacji. Znacząco zmniejszają także awaryjność systemu w porównaniu do konkurencyjnych systemów pracujących przy wyższych ciśnieniach, lub też mających wyższe wymogi co do czystości środków chłodniczych.
• Wydajność odprowadzania ciepła na poziomie 80kW/szafa Rack przy wspomnianym wcześniej przepływie na poziomie 75l/minutę i różnicy temperatur pomiędzy wyjściem, a wejściem tylko 5 – 8 stopni Celsjusza. System posiada więc bardzo wysoką sprawność w przekazywaniu ciepła z komponentów IT do cieczy.
• Redundancja systemu chłodniczego na każdym z jego poziomów – tzn. redundantne są instalacje wewnętrzna (np. pompy, sterowniki) oraz zewnętrzna (np. pompy, chłodnice).
• Chłodzenie praktycznie wszystkich podzespołów serwera za pomocą cieczy (poza zasilaczami szafy Rack). Dla porównania: często spotykanym w świecie HPC rozwiązaniem jest chłodzenie tylko kluczowych elementów cieczą natomiast reszty powietrzem.
• Za sprawą dość wysokiej temperatury pracy cieczy chłodzącej (45 st. C), możliwość ponownego wykorzystania wygenerowanego ciepła np. do celów grzewczych.

Rurociągi obiegu zewnętrznego (glikolowego) w izolacji termicznej na dachu budynku

Aktualnie nie jest możliwe ponowne wykorzystanie wygenerowanego ciepła, ze względów czysto technicznych, tj. konieczność dostosowania istniejącej instalacji grzewczej do budowanego systemu). W planach jest np. projekt wykorzystania ciepła do ogrzewania powietrza dla systemu wentylacyjnego budynku – mogło by to w znacznym stopniu zredukować konieczność dogrzewania pomieszczeń za pomocą instalacji CO w okresie zimowym, natomiast w okresie jesienno-wiosennym funkcjonować jako podstawowe źródło ciepła dla całego budynku.