Gorąca ciecz, wbrew logicznemu rozsądkowi jest znakomitym czynnikiem chłodzącym, a jej duża pojemność cieplna od lat jest wykorzystywana na świecie w reaktorach jądrowych typu PWR, a także w superkomputerze SuperMUC, który znajduje się w centrum obliczeniowym Leibnitza (LRZ) w Niemczech.

Centrum Informatyczne Świerk - główne zawory regulacyjne wymienników ciepła

Główne zawory regulacyjne wymienników ciepła instalacji chłodniczej wody lodowej

Dostawcą systemu chłodzenia zastosowanego w Centrum Informatycznym Świerk jest Bull Polska Sp. z o.o., przedstawiciel Grupy Bull – jednego z największych dostawców systemów informatycznych na świecie. Główny obieg chłodzący został wykonany przez firmę Honeywell Sp. z o.o., będącą częścią Honeywell Building Solutions.

Centrum Informatyczne Świerk - chłodzenie superkomputera - glikol

Rurociągi systemu chłodzenia z glikolem

Powierzchnia zaplecza odpowiadającego za chłodzenie zajmuje 220 m2, a samej serwerowni jedynie 137 m2. System wodny podzielony został na dwa obiegi: wewnętrzny, czyli nasza szafa obliczeniowa oraz zewnętrzny, czyli cała reszta:

CIŚ - system chłodzenia gorącą wodą

Obieg wodny wewnętrzny obejmuje serwery blade, kolektory wewnątrz szafy, pompy wewnętrzne i wymiennik ciepła. Całość posiada budowę modułową i znajduje się wewnątrz szafy Rack. Wspomniany obieg wodny jest zaknięty i pracuje przy ciśnieniu ok. 1 – 1.5 Bara. Temperatura wody ze środkiem antykorozyjnym mieści się w przedziale 40 – 48 stopni Celsjusza.

Cały system jest projektowany dla niewielkich przepływów. Każdy serwer Blade generuje maksymalnie 375 Watów ciepła oraz wymaga do poprawnej pracy, przepływu na poziomie 1.5 litra na minutę (+/- 0.1 litra), przy zachowaniu różnicy temperatur ΔT = 5 stopni C.

Dla całej szafy przepływ projektowany jest na wartość nominalną 75 litrów / minutę czyli 4.5 m3 na godzinę. Przepływ ten jest stały i wymuszany przez jedną z dwóch pomp znajdujących się w modułach na dole szafy Rack. Pompy działają w trybie Active/Standby (tzn. zawsze pracuje jedna z nich) – jest więc to system redundantny.

Teraz omówimy budowę serwera kasetowego. Poniższy obrazek przedstawia poglądowy przekrój systemu chłodzenia:

CIŚ - przekrój serwera kasetowego chłodzonego gorącą wodą

Blade składa się z dwóch części: podzespołów i metalowej płyty zaopatrzonej w kanał z cieczą.

Centrum Informatyczne Świerk - budowa chłodzenia serwera kasetowego

Kanał prowadzący ciesz jest tak wyprofilowany, aby odprowadzać ciepło z praktycznie każdego miejsca na płycie, ze szczególnym naciskiem na miejsca o zwiększonej emisji cieplnej. Metalowa płyta chłodząca jest tak wyprofilowana, że posiada kontakt z większością podzespołów wewnątrz serwera (tzn. jest dopasowana kształtem powierzchni do płyty głównej serwera) – nie jest zatem wymagane dodatkowe schładzanie ich powietrzem. Dodatkowo możliwe jest swobodne wymontowanie kluczowych podzespołów (CPU, pamięć, dysk) bez ingerencji w integralność systemu chłodzącego.

Centrum Informatyczne Świerk - podłączenie serwera kasetowego do obiegu wodnego

Sama ciecz jest doprowadzana do płyty poprzez system szybkozłączek oraz kolektor umieszczony w płycie montażowej szafy (backplane chassis). Wspomniane wcześniej szybkozłączki pozwalają na wyjęcie serwera z szafy w dowolnym momencie, bez obawy o wyciek cieczy chłodzącej. Działają one w sposób automatyczny, zamykając obwód zanim jeszcze serwer zostanie fizycznie usunięty z obudowy. Działa to w sposób mechaniczny, a więc niezależnie od zasilania szafy, czy też znajdujących się w niej serwerów.

Centrum Informatyczne Świerk - zasilanie i chłodzenie wodne w szafie

Jedynymi niechłodzonymi cieczą elementami systemu są zasilacze pracujące na napięciu 230V (względy bezpieczeństwa). Zasilacze te znajdują się na szafie Rack (powyżej najwyższego punktu układu wodnego), natomiast samo zasilanie realizowane jest wewnątrz szafy instalacją niskonapięciową (ewentualny wyciek nie spowoduje tu zatem żadnego zagrożenia dla pracowników). Zasilanie stosowane w posiadanych przez nas systemach jest oczywiście redundantne.

Centrum Informatyczne Świerk - pompy obiegu zewnętrznego z glikolem

Pompy obiegu zewnętrznego (glikolowego) instalacji chłodniczej wody lodowej

Obieg wodny zewnętrzny jest również w pełni hermetyczny. Obejmuje trasę od wymiennika ciepła wewnątrz szafy, poprzez orurowanie serwerowni, pompy tłoczące wodę, zawory sterujące oraz chłodnice adiabatyczne zainstalowane na dachu budynku chłodzące ciecz na zasadzie „free cooling’u” z dodatkowym wspomaganiem za pomocą zraszaczy wodnych.

Centrum Informatyczne Świerk - centrala wentylacyjna - nawilżacz parowy

Centrala wentylacyjna budynku głównej serwerowni z widocznym na pierwszym planie nawilżaczem parowym

System jest zaprojektowany do pracy przy ciśnieniach w zakresie do 3 Bar (ciśnienie zależy od miejsca w układzie) oraz całkowitym przepływie na poziomie do 22.5 l/sek (ciekawostka: dla instalacji zimnowodnej jaką również posiada Centrum Informatyczne Świerk podobny przepływ występuje dla pojedynczego chillera (jednego z dwóch), tu natomiast jest to przepływ dla całego układu. Obydwa układy mają podobną zdolność oddawania ciepła).

Centrum Informatyczne Świerk - instalacje na dachu 1

Agregat chłodniczy 430 kW, jednostki zewnętrzne klimatyzatorów UPS-ów, maszt z kamerami CCTV

Centrum Informatyczne Świerk - instalacje na dachu 2

Główny rozdzielacz hydrauliczny, kominy i przewody wentylacyjne kotłowni

Ciepło z układu odprowadzane jest przez dwie chłodnice zainstalowane na dachu budynku serwerowni. Każda z chłodnic posiada wspomaganie w postaci zraszaczy wodnych – wymagane ono jest tylko w przypadku bardzo wysokich temperatur na zewnątrz (niewystępujących zwykle w naszym klimacie) oraz przy jednoczesnym bardzo dużym obciążeniu sprzętu.

Centrum Informatyczne Świerk - główny rozdzielacz hydrauliczny

Główny rozdzielacz hydrauliczny

Całość dopełniają 3 pompy, pracujące również w trybie redundantnym (do poprawnej pracy systemu wymagane jest działanie co najmniej jednej z nich) oraz inteligentny sterownik, który na podstawie czynników takich jak: pobierana moc, warunki pogodowe, parametry wewnętrzne układu, etc, tak dobiera parametry pracy aby zapewnić temperaturę serwerów na wymaganym poziomie, ale zarazem powyżej punktu kondensacji pary wodnej wewnątrz sprzętu. Obieg zewnętrzny wykorzystuje w swojej pracy mieszankę glikolu etylenowego i wody.

Centrum Informatyczne Świerk - pompy obiegowe agregatu chłodniczego 1

Pompy obiegowe agregatu chłodniczego 430 kW

Centrum Informatyczne Świerk - pompy obiegowe agregatu chłodniczego 2

Pompy obiegowe agregatu chłodniczego 430 kW

Zalety instalacji:

  • Oszczędność eksploatacji w porównaniu do instalacji zimnowodnych. W przypadku instalacji zimnowodnych zużycie energii na samo chłodzenie może wynosić nawet do 80% zużycia energii przez serwery (tzn. na każdą złotówkę wydaną na pracę serwerów należy dopłacić 80gr na ich schłodzenie). W przypadku instalacji ciepłowodnej koszty te oscylują na poziomie ok. 2% (1zł / 2gr).
  • Dwuobiegowy system chłodzenia pokrywa zapotrzebowanie na 1700 kW. Pozwala to zaoszczędzić ponad 80% zużywanej energii elektrycznej, a w przypadku CIŚ oznacza to sumę 500 000 tysięcy złotych rocznie.
  • Odpowiednio obliczone średnice rurociągów oraz systemów chłodzących, projektowane do pracy przy niskich ciśnieniach oraz niskich przepływach pozwalają na uproszczenie budowy, a tym samym ograniczenie kosztów produkcji i eksploatacji. Znacząco zmniejszają także awaryjność systemu w porównaniu do konkurencyjnych systemów pracujących przy wyższych ciśnieniach, lub też mających wyższe wymogi co do czystości środków chłodniczych.
  • Wydajność odprowadzania ciepła na poziomie 80kW/szafa Rack przy wspomnianym wcześniej przepływie na poziomie 75l/minutę i różnicy temperatur pomiędzy wyjściem, a wejściem tylko 5 – 8 stopni Celsjusza. System posiada więc bardzo wysoką sprawność w przekazywaniu ciepła z komponentów IT do cieczy.
  • Redundancja systemu chłodniczego na każdym z jego poziomów – tzn. redundantne są instalacje wewnętrzna (np. pompy, sterowniki) oraz zewnętrzna (np. pompy, chłodnice).
  • Chłodzenie praktycznie wszystkich podzespołów serwera za pomocą cieczy (poza zasilaczami szafy Rack). Dla porównania: często spotykanym w świecie HPC rozwiązaniem jest chłodzenie tylko kluczowych elementów cieczą natomiast reszty powietrzem.
  • Za sprawą dość wysokiej temperatury pracy cieczy chłodzącej (45 st. C), możliwość ponownego wykorzystania wygenerowanego ciepła np. do celów grzewczych.

Centrum Informatyczne Świerk - rurociągi obiegu zewnętrznego 1

Rurociągi obiegu zewnętrznego (glikolowego) w izolacji termicznej na dachu budynku

Aktualnie nie jest możliwe ponowne wykorzystanie wygenerowanego ciepła, ze względów czysto technicznych, tj. konieczność dostosowania istniejącej instalacji grzewczej do budowanego systemu). W planach jest np. projekt wykorzystania ciepła do ogrzewania powietrza dla systemu wentylacyjnego budynku – mogło by to w znacznym stopniu zredukować konieczność dogrzewania pomieszczeń za pomocą instalacji CO w okresie zimowym, natomiast w okresie jesienno-wiosennym funkcjonować jako podstawowe źródło ciepła dla całego budynku.

  • sm

    fajny artykuł :)

  • ./cgminer

  • newsek

    bardzo! interesujący artykuł :)
    tak trzymać

  • Dan

    A same serwery jaka maja temperature?

    • Ollbi

      W artykule jest podane, ile wydzielają energii, którą należy odebrać: “Każdy serwer Blade generuje maksymalnie 375 Watów ciepła”. W serwerach nie podaje się raczej temperatury, bo jest niemiarodajne, jeżeli chodzi o zbudowanie odpowiedniego systemu chłodzenia.

  • Roomcays

    Tak, fajny artykuł. Bardzo dobrze napisany i poruszający ciekawą tematykę. Nie wiedziałem, że ciepła woda sprawdza się lepiej niż zimna ;)
    Szkoda tylko, że całe ciepło idzie w chmury, zamiast robić coś pożytecznego. Ale rozumiem, że taka opcja jest w planach – oby doszły one do realizacji!

  • Pingback: Podsumowanie roku 2014 w Open Source()