Tags Posts tagged with "centrum informatyczne świerk"

centrum informatyczne świerk

Centrum Informatyczne Świerk

W przypadku naszej serwerowni, która będzie służyć pracownikom Narodowego Centrum Badań Jądrowych, ich zatrzymanie mogłoby mieć poważne konsekwencje biznesowe lub nawet zagrażające życiu ludzi. Dlatego postanowiono zainwestować odpowiednie sumy pieniężne w prawidłowe zaprojektowanie i wykonanie zasilania głównego, awaryjnego oraz systemu gaśniczego. Prąd do szaf doprowadzany jest przy pomocy okablowania, znajdującego się pod sufitem.

Centrum Informatyczne Świerk - elektryczne gniazda zasilające

Elektryczne gniazda zasilające szaf komputerowych, zamontowane na szynoprzewodach energetycznych

Centrum Informatyczne Świerk - zasilanie szafy

Zasilacze szafy

Aby cała infrastruktura serwerów i oprogramowania, a także systemu chłodzenia mogła poprawnie działać potrzebne jest dobre i stabilne zasilanie. O stały dopływ prądu dba główna elektrownia w mieście, a ciągłość i nieprzerwane działanie zapewniają zasilacze awaryjne oraz prądnice do generowania prądu.

Centrum Informatyczne Świerk - baterie akumulatorów 3

Baterie akumulatorów systemu zasilania UPS

W przypadku awarii głównej elektrowni, załączają się UPSy 4 x 300 kVA, które przez kilka minut podtrzymują stałe napięcie, dopóki nie uruchomi się agregat prądotwórcy o mocy 1250 kVA.

Centrum Informatyczne Świerk - panel kontrolno-sterujący zasilacza awaryjnego

Paliwo zapewnia specjalnie zaprojektowany do tego zbiornik.
Centrum Informatyczne Świerk - zbiorniki paliwa do agregatu prądotwórczego

Centrum Informatyczne Świerk Zbiorniki paliwa do agregatu prądotwórczego

Pomieszczenia Serwerowni 102 zlokalizowanej w budynku 88 Narodowego Centrum Badań Jądrowych w Świerku wyposażone jest w instalację stałego urządzenia gaśniczego na gaz IG-01 (100% Argon), współdziałającą z instalacją wykrywania pożaru i sterowania gaszeniem z centralą sygnalizacji pożaru Esser 8010. Pomieszczenie objęte ochroną stałego urządzenia gaśniczego gazowego SUGG wyposażone jest w automatyczny system wykrywania pożaru i sterowania gaszeniem, oparty o detekcję pożaru konwencjonalnymi czujkami dymu, działającymi w koincydencji dwu-czujkowej.

Centrum Informatyczne Świerk - butle systemu gaśniczego 1

Butle systemu gaśniczniego głównej serwerowni

Czujki dymu zainstalowane zostały w przestrzeni głównej serwerowni oraz pod podłogą techniczną i w szafach serwerowych IT. Gazowa technika gaśnicza opiera się przede wszystkim na zasadzie redukcji zawartości tlenu w powietrzu. W wyniku zadziałania systemu po wykryciu pożaru, zawartość tlenu w powietrzu jest redukowana z 21% obj. do ok. 11% obj. i poniżej, poprzez wprowadzanie argonu do atmosfery pomieszczenia chronionego. W ten sposób proces spalania zostaje przerwany.

Centrum Informatyczne Świerk - butle systemu gaśniczego 2

Stałe urządzenia gaśnicze gazowe mają za zadanie ugasić pożar w jego fazie początkowej i utrzymać stężenie gaśnicze w pomieszczeniu przez dłuższy czas. Stężenie gaśnicze jest uzyskiwane w czasie nie dłuższym niż 60 sekund od momentu wyzwolenia gazu, a następnie utrzymywane przez co najmniej 10 minut. Po zakończonej akcji gaśniczej, min. 10-20 min po wyzwoleniu środka gaśniczego, możliwe jest wejście do pomieszczenia w celu weryfikacji efektu gaszenia.

Centrum Informatyczne Świerk - butle systemu gaśniczego 3

Głównymi elementami systemu SUGG są butle gaśnicze: 11 sztuk o pojemności 140 dm3 (140 litrów), wraz z zaworami, zawierające gaz IG-01 (Argon 100%) pod ciśnieniem 300 barów, oraz butla sterująca (wyzwalająca wyrzut gazu) o pojemności 27 dm3, zawierająca środek gazowy IG-100 (Azot) pod ciśnieniem 200 barów. Wspomniany gaz szlachetny Argon jest całkowicie bezpieczny dla elektroniki, ludzi oraz środowiska naturalnego. w przeciwieństwie do azotu (azot wiąże się z tlenem i metalami tworząc tlenki azotu i azotki) w warunkach pożarowych (wysoka temperatura) jest całkowicie obojętny chemicznie i nie powoduje żadnej korozji, a więc szczególnie nadaje się do gaszenia kosztownych i precyzyjnych urządzeń, takich jak np. systemy komputerowe HPC.

Centrum Informatyczne Świerk - butle systemu gaśniczego 4

Argon jest bezbarwny, bezwonny, bez smaku, a jego gęstość jest zbliżona do gęstości powietrza. Nie przewodzi prądu elektrycznego i jest szczególnie użyteczny do gaszenia pożarów urządzeń elektrycznych, elektronicznych, nośników danych, urządzeń telekomunikacyjnych bez przerywania ciągłości ich pracy

Centrum Informatyczne Świerk

Gorąca ciecz, wbrew logicznemu rozsądkowi jest znakomitym czynnikiem chłodzącym, a jej duża pojemność cieplna od lat jest wykorzystywana na świecie w reaktorach jądrowych typu PWR, a także w superkomputerze SuperMUC, który znajduje się w centrum obliczeniowym Leibnitza (LRZ) w Niemczech.

Centrum Informatyczne Świerk - główne zawory regulacyjne wymienników ciepła

Główne zawory regulacyjne wymienników ciepła instalacji chłodniczej wody lodowej

Dostawcą systemu chłodzenia zastosowanego w Centrum Informatycznym Świerk jest Bull Polska Sp. z o.o., przedstawiciel Grupy Bull – jednego z największych dostawców systemów informatycznych na świecie. Główny obieg chłodzący został wykonany przez firmę Honeywell Sp. z o.o., będącą częścią Honeywell Building Solutions.

Centrum Informatyczne Świerk - chłodzenie superkomputera - glikol

Rurociągi systemu chłodzenia z glikolem

Powierzchnia zaplecza odpowiadającego za chłodzenie zajmuje 220 m2, a samej serwerowni jedynie 137 m2. System wodny podzielony został na dwa obiegi: wewnętrzny, czyli nasza szafa obliczeniowa oraz zewnętrzny, czyli cała reszta:

CIŚ - system chłodzenia gorącą wodą

Obieg wodny wewnętrzny obejmuje serwery blade, kolektory wewnątrz szafy, pompy wewnętrzne i wymiennik ciepła. Całość posiada budowę modułową i znajduje się wewnątrz szafy Rack. Wspomniany obieg wodny jest zaknięty i pracuje przy ciśnieniu ok. 1 – 1.5 Bara. Temperatura wody ze środkiem antykorozyjnym mieści się w przedziale 40 – 48 stopni Celsjusza.

Cały system jest projektowany dla niewielkich przepływów. Każdy serwer Blade generuje maksymalnie 375 Watów ciepła oraz wymaga do poprawnej pracy, przepływu na poziomie 1.5 litra na minutę (+/- 0.1 litra), przy zachowaniu różnicy temperatur ΔT = 5 stopni C.

Dla całej szafy przepływ projektowany jest na wartość nominalną 75 litrów / minutę czyli 4.5 m3 na godzinę. Przepływ ten jest stały i wymuszany przez jedną z dwóch pomp znajdujących się w modułach na dole szafy Rack. Pompy działają w trybie Active/Standby (tzn. zawsze pracuje jedna z nich) – jest więc to system redundantny.

Teraz omówimy budowę serwera kasetowego. Poniższy obrazek przedstawia poglądowy przekrój systemu chłodzenia:

CIŚ - przekrój serwera kasetowego chłodzonego gorącą wodą

Blade składa się z dwóch części: podzespołów i metalowej płyty zaopatrzonej w kanał z cieczą.

Centrum Informatyczne Świerk - budowa chłodzenia serwera kasetowego

Kanał prowadzący ciesz jest tak wyprofilowany, aby odprowadzać ciepło z praktycznie każdego miejsca na płycie, ze szczególnym naciskiem na miejsca o zwiększonej emisji cieplnej. Metalowa płyta chłodząca jest tak wyprofilowana, że posiada kontakt z większością podzespołów wewnątrz serwera (tzn. jest dopasowana kształtem powierzchni do płyty głównej serwera) – nie jest zatem wymagane dodatkowe schładzanie ich powietrzem. Dodatkowo możliwe jest swobodne wymontowanie kluczowych podzespołów (CPU, pamięć, dysk) bez ingerencji w integralność systemu chłodzącego.

Centrum Informatyczne Świerk - podłączenie serwera kasetowego do obiegu wodnego

Sama ciecz jest doprowadzana do płyty poprzez system szybkozłączek oraz kolektor umieszczony w płycie montażowej szafy (backplane chassis). Wspomniane wcześniej szybkozłączki pozwalają na wyjęcie serwera z szafy w dowolnym momencie, bez obawy o wyciek cieczy chłodzącej. Działają one w sposób automatyczny, zamykając obwód zanim jeszcze serwer zostanie fizycznie usunięty z obudowy. Działa to w sposób mechaniczny, a więc niezależnie od zasilania szafy, czy też znajdujących się w niej serwerów.

Centrum Informatyczne Świerk - zasilanie i chłodzenie wodne w szafie

Jedynymi niechłodzonymi cieczą elementami systemu są zasilacze pracujące na napięciu 230V (względy bezpieczeństwa). Zasilacze te znajdują się na szafie Rack (powyżej najwyższego punktu układu wodnego), natomiast samo zasilanie realizowane jest wewnątrz szafy instalacją niskonapięciową (ewentualny wyciek nie spowoduje tu zatem żadnego zagrożenia dla pracowników). Zasilanie stosowane w posiadanych przez nas systemach jest oczywiście redundantne.

Centrum Informatyczne Świerk - pompy obiegu zewnętrznego z glikolem

Pompy obiegu zewnętrznego (glikolowego) instalacji chłodniczej wody lodowej

Obieg wodny zewnętrzny jest również w pełni hermetyczny. Obejmuje trasę od wymiennika ciepła wewnątrz szafy, poprzez orurowanie serwerowni, pompy tłoczące wodę, zawory sterujące oraz chłodnice adiabatyczne zainstalowane na dachu budynku chłodzące ciecz na zasadzie „free cooling’u” z dodatkowym wspomaganiem za pomocą zraszaczy wodnych.

Centrum Informatyczne Świerk - centrala wentylacyjna - nawilżacz parowy

Centrala wentylacyjna budynku głównej serwerowni z widocznym na pierwszym planie nawilżaczem parowym

System jest zaprojektowany do pracy przy ciśnieniach w zakresie do 3 Bar (ciśnienie zależy od miejsca w układzie) oraz całkowitym przepływie na poziomie do 22.5 l/sek (ciekawostka: dla instalacji zimnowodnej jaką również posiada Centrum Informatyczne Świerk podobny przepływ występuje dla pojedynczego chillera (jednego z dwóch), tu natomiast jest to przepływ dla całego układu. Obydwa układy mają podobną zdolność oddawania ciepła).

Centrum Informatyczne Świerk - instalacje na dachu 1

Agregat chłodniczy 430 kW, jednostki zewnętrzne klimatyzatorów UPS-ów, maszt z kamerami CCTV

Centrum Informatyczne Świerk - instalacje na dachu 2

Główny rozdzielacz hydrauliczny, kominy i przewody wentylacyjne kotłowni

Ciepło z układu odprowadzane jest przez dwie chłodnice zainstalowane na dachu budynku serwerowni. Każda z chłodnic posiada wspomaganie w postaci zraszaczy wodnych – wymagane ono jest tylko w przypadku bardzo wysokich temperatur na zewnątrz (niewystępujących zwykle w naszym klimacie) oraz przy jednoczesnym bardzo dużym obciążeniu sprzętu.

Centrum Informatyczne Świerk - główny rozdzielacz hydrauliczny

Główny rozdzielacz hydrauliczny

Całość dopełniają 3 pompy, pracujące również w trybie redundantnym (do poprawnej pracy systemu wymagane jest działanie co najmniej jednej z nich) oraz inteligentny sterownik, który na podstawie czynników takich jak: pobierana moc, warunki pogodowe, parametry wewnętrzne układu, etc, tak dobiera parametry pracy aby zapewnić temperaturę serwerów na wymaganym poziomie, ale zarazem powyżej punktu kondensacji pary wodnej wewnątrz sprzętu. Obieg zewnętrzny wykorzystuje w swojej pracy mieszankę glikolu etylenowego i wody.

Centrum Informatyczne Świerk - pompy obiegowe agregatu chłodniczego 1

Pompy obiegowe agregatu chłodniczego 430 kW

Centrum Informatyczne Świerk - pompy obiegowe agregatu chłodniczego 2

Pompy obiegowe agregatu chłodniczego 430 kW

Zalety instalacji:

  • Oszczędność eksploatacji w porównaniu do instalacji zimnowodnych. W przypadku instalacji zimnowodnych zużycie energii na samo chłodzenie może wynosić nawet do 80% zużycia energii przez serwery (tzn. na każdą złotówkę wydaną na pracę serwerów należy dopłacić 80gr na ich schłodzenie). W przypadku instalacji ciepłowodnej koszty te oscylują na poziomie ok. 2% (1zł / 2gr).
  • Dwuobiegowy system chłodzenia pokrywa zapotrzebowanie na 1700 kW. Pozwala to zaoszczędzić ponad 80% zużywanej energii elektrycznej, a w przypadku CIŚ oznacza to sumę 500 000 tysięcy złotych rocznie.
  • Odpowiednio obliczone średnice rurociągów oraz systemów chłodzących, projektowane do pracy przy niskich ciśnieniach oraz niskich przepływach pozwalają na uproszczenie budowy, a tym samym ograniczenie kosztów produkcji i eksploatacji. Znacząco zmniejszają także awaryjność systemu w porównaniu do konkurencyjnych systemów pracujących przy wyższych ciśnieniach, lub też mających wyższe wymogi co do czystości środków chłodniczych.
  • Wydajność odprowadzania ciepła na poziomie 80kW/szafa Rack przy wspomnianym wcześniej przepływie na poziomie 75l/minutę i różnicy temperatur pomiędzy wyjściem, a wejściem tylko 5 – 8 stopni Celsjusza. System posiada więc bardzo wysoką sprawność w przekazywaniu ciepła z komponentów IT do cieczy.
  • Redundancja systemu chłodniczego na każdym z jego poziomów – tzn. redundantne są instalacje wewnętrzna (np. pompy, sterowniki) oraz zewnętrzna (np. pompy, chłodnice).
  • Chłodzenie praktycznie wszystkich podzespołów serwera za pomocą cieczy (poza zasilaczami szafy Rack). Dla porównania: często spotykanym w świecie HPC rozwiązaniem jest chłodzenie tylko kluczowych elementów cieczą natomiast reszty powietrzem.
  • Za sprawą dość wysokiej temperatury pracy cieczy chłodzącej (45 st. C), możliwość ponownego wykorzystania wygenerowanego ciepła np. do celów grzewczych.

Centrum Informatyczne Świerk - rurociągi obiegu zewnętrznego 1

Rurociągi obiegu zewnętrznego (glikolowego) w izolacji termicznej na dachu budynku

Aktualnie nie jest możliwe ponowne wykorzystanie wygenerowanego ciepła, ze względów czysto technicznych, tj. konieczność dostosowania istniejącej instalacji grzewczej do budowanego systemu). W planach jest np. projekt wykorzystania ciepła do ogrzewania powietrza dla systemu wentylacyjnego budynku – mogło by to w znacznym stopniu zredukować konieczność dogrzewania pomieszczeń za pomocą instalacji CO w okresie zimowym, natomiast w okresie jesienno-wiosennym funkcjonować jako podstawowe źródło ciepła dla całego budynku.

Centrum Informatyczne Świerk

W poprzednim tygodniu opisaliśmy Centrum Informatyczne Świerk, które rozpoczęło budowę superkomputera, który będzie korzystał z systemu Scientific Linux CERN SLC 6.6. Nowy sprzęt w docelowej konfiguracji ma posiadać 20 tys. rdzeni obliczeniowych Intel Xeon E5-2680v2 o taktowaniu 2.80 GHz każdy, 130 TB pamięci operacyjnej Kingston KVR16LR11D4 o taktowaniu 1600 MHz oraz zaoferuje 3200 TB przestrzeni dyskowej, w tym dyski SSD Intel S3700.

Centrum Informatyczne Świerk - szafy 1

Całość składała się będzie z 20 szaf obliczeniowych, umieszczonych w serwerowni o powierzchni 137 metrów kwadratowych. Jedna szafa ważyć ma 2 Tony i posiadać 50 serwerów kasetowych. Całość okablowania ma mieć łączną długość 5 km.

Centrum Informatyczne Świerk - światłowody

W chwili obecnej zasoby Centrum Informatyczne Świerk udostępniane są jedynie osobom pracującym w Narodowym Centrum Badań Jądrowych lub współpracującym z instytutem. Rozszerzenie wachlarza zainteresowanych zasobami możliwe będzie dopiero po zakończeniu jego finansowania ze źródeł Programu Operacyjnego Innowacyjna Gospodarka, tj. po 31 października 2015 r.

Centrum Informatyczne Świerk - szafy z podświetleniem

Wynika to z formuły projektu, który otrzymał dofinansowanie jako przedsięwzięcie niekomercyjne, ukierunkowane na prowadzenie prac badawczo rozwojowych w obszarach związanych przede wszystkim z szeroko pojętą energetyką, analizami zagrożeń chemicznych, modelowaniem układów złożonych oraz fizyką oddziaływań fundamentalnych i astrofizyką.

Centrum Informatyczne Świerk - Firewall sprzętowy

Jeśli zatem dana osoba jest zainteresowana korzystaniem z naszych możliwości powinna w pierwszej kolejności nawiązać współpracę naukową z NCBJ. Przykładem takiego działania jest chociażby uruchomiony niedawno program CIŚ-500, umożliwiający nieodpłatne wykorzystywanie mocy obliczeniowej naszego superkomputera do prac naukowo badawczych prowadzonych przez absolwentów Programu TOP 500 Innovators.

Centrum Informatyczne Świerk - serwery kasetowe 2

Rozszerzenie wachlarza zainteresowanych zasobami możliwe będzie dopiero po zakończeniu jego finansowania ze źródeł Programu Operacyjnego Innowacyjna Gospodarka, tj. po 31 października 2015 r. Usługi nie będą się ograniczały jedynie do „prostych” obliczeń wykonawczych, ale miały w jak największym stopniu charakter prac naukowych o wysokiej wartości dodanej. Takie zlecenia miałyby obejmować podejście bardziej całościowe zawierające analizę problemu klienta, wykonanie modelu teoretycznego przedmiotowego zagadnienia lub zjawiska, a następnie wykonanie symulacji numerycznych pozwalających na znalezienie rozwiązania (np. optymalizację parametrów analizowanego układu).

Centrum Informatyczne Świerk - macierz dyskowa 5

Centrum Informatyczne Świerk posiada także swój własny zestaw aplikacji, a dostęp do nich nie jest możliwy dla szerszego grona użytkowników, niezwiązanych zawodowo z Narodowym Centrum Badań Jądrowych. Jest to spowodowane powiązaniem działalności z energetyką jądrową, a praktyka ta wynika przede wszystkim ze względów bezpieczeństwa.

Centrum Informatyczne Świerk - superkomputer w nocy

Nie wykluczone jest natomiast udostępnienie na zasadzie licencji open source autorskich narzędzi, niepowiązanych bezpośrednio z naszym podstawowym zakresem działalności, a służących do usprawnienia prowadzonych w CIŚ prac.

Centrum Informatyczne Świerk - okablowanie sieciowe

Do grupy takich aplikacji zaliczamy m.in.:

  • narzędzia do bezpiecznego udostępniania zasobów klastra HPC anonimowym użytkownikom w formie serwisów
  • system do przeprowadzania automatycznych benchmarków instalacji przy użyciu rzeczywistych kodów obliczeniowych (chociaż istnieją inne dobrze rozwinięte narzędzia tego typu);
  • usprawnienia w narzędziu do publikowania arkuszy do pracy w języku python w przeglądarce na bazie rozwiązania http://ipython.org/notebook.htm;
  • nakładki qstatx i qnodex na narzędzia do obsługi systemów kolejkowych z rodziny PBS ułatwiających pracę użytkownikom klastra;
  • wtyczki umożliwiającej używanie udziałów NFS w gridowym serwisie pamięci masowej DPM.

Centrum Informatyczne Świerk - zasilanie szafy

Centrum Informatyczne Świerk

W połowie listopada tego roku swoją działalność rozpoczęło Centrum Informatyczne Świerk. W uroczystości startu uczestniczyli m.in. minister Nauki i Szkolnictwa Wyższego prof. Lena Kolarska-Bobińska, która dokonała symbolicznego rozpoczęcia zadania obliczeniowego, ambasador Republiki Francuskiej w Warszawie Pierre Buhler oraz wicedyrektor generalny francuskiego Komisariatu ds. Energii Atomowej (CEA) Hervé Bernard.

Centrum Informatyczne Świerk - superkomputer w nocy

Szafy serwerowe nowego superkomputera w Centrum Informatycznym Świerk

Projekt Centrum Informatyczne Świerk został zapoczątkowany w 2009 roku, dzięki dofinansowaniu ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach Programu Operacyjnego Innowacyjna Gospodarka (ponad 83 mln zł) oraz dotacji celowej ministerstwa Nauki i Szkolnictwa Wyższego (ponad 14,5 mln zł). Wartość całego centrum wyniosła niemal 98 mln zł, a równolegle z budową samego klastra rozpoczęto tworzenie interdyscyplinarnego zespołu ekspertów, nadzorujących pracę superkomputera oraz prowadzących własne badania naukowe.

Centrum Informatyczne Świerk - przód budynku

Superkomputer będzie korzystał z systemu Scientific Linux CERN SLC release 6.6 (Carbon). Nowy sprzęt ma się składać z 20 tys. rdzeni obliczeniowych Intel Xeon Haswell, 130 TB pamięci operacyjnej RAM oraz zaoferuje 3200 TB przestrzeni dyskowej.

Centrum Informatyczne Świerk - szafy serwerowe 1

Centrum Informatyczne Świerk - szafy serwerowe 2

Całość będzie posiadała 20 szaf obliczeniowych, umieszczonych w serwerowni o powierzchni 137 metrów kwadratowych. Jedna szafa ma ważyć 2 Tony i posiadać 50 serwerów kasetowych. Całość okablowania ma mieć łączną długość 5 km.

Centrum Informatyczne Świerk - serwery kasetowe

Do dnia dzisiejszego dostarczono łącznie ok. 70% wspomnianego sprzętu, zakończono też wszystkie prace związane z uruchomieniem oraz wdrożeniem najważniejszych systemów umożliwiających funkcjonowanie instalacji. W chwili obecnej zasoby Centrum Informatycznego Świerk udostępniane są jedynie osobom pracującym w Narodowym Centrum Badań Jądrowych lub współpracującym z instytutem. Rozszerzenie wachlarza zainteresowanych zasobami możliwe będzie dopiero po zakończeniu jego finansowania ze źródeł Programu Operacyjnego Innowacyjna Gospodarka, tj. po 31 października 2015 r.

Jest to pierwszy artykuł z serii, którą przygotowujemy o Centrum Informatycznym Świerk.

Polecane

Jesień Linuksowa

1 699
Polska Grupa Użytkowników Linuksa ma zaszczyt zaprosić na konferencję Jesień Linuksowa 2017, która odbędzie się w dniach 22 – 24 września 2017 roku. Jako...