Tags Posts tagged with "superkomputer"

superkomputer

Serwer, sprzęt

Klaster obliczeniowy L-CSC skontruowany przez naukowców z uniwersytetu Goethe’go i Instytu Badawczego we Frankfurcie zajął pierwsze miejsce na liście Green500 – międzynarodowym konkursie, organizowanym w tym roku w Nowym Orleanie, gdzie prezentowane są najbardziej energooszczędne superkomputery. Zwycięzca szesnastej listy Green500 jest nieporównywalnie efektywniejszy niż jakiekolwiek inne komputery na świecie i jest jedynym superkomputerem, któremu udało się osiągnąć 5,27 gigaflopsów wydajności obliczeniowej na zaledwie 1 wat pobieranej energii elektrycznej.

Zwycięzca poprzedniej edycji zielonego rankingu jest wolniejszy od niemieckiego superkomputera o około 20%. L-CSC składa się z 160 serwerów ASUS ESC4000 G2S i czterech kart graficznych serii AMD FirePro S9150, co pozwala osiągać wydajność ponad 3 petaflopsów przy obliczeniach pojedynczej precyzji i 1,62 petaflopsów w dwukrotnie precyzyjniejszych obliczeniach. Przewodzący FIAS, prof. Volker Lindenstruth argumentuje, że powstanie nowego, szybszego superkomputera było koniecznością – “Wyzwania stojące przed nauką wymuszają stosowanie komputerów tak szybkich, jak to tylko możliwe. Jednak wciąż musimy pamiętać o zużyciu energii, aby móc jak najefektywniej wykorzystywać dostępne zasoby”.

Stworzone do zastosowań profesjonalnych karty graficzne dystrybuowane wyłącznie przez firmę Sapphire, w jakie wyposażona jest maszyna, zostały liderami wśród oszczędności energii. W wywiadzie z mediami profesor argumentował wybór następująco:

Serwery ASUS ESC4000 G2S oraz karty graficzne AMD FirePro S9150 są najwydajniejszymi z możliwych podstaw dla klastra L-CSC i zapewniają najlepsze możliwości obliczeniowe, niezbędne do naszych badań. 16 GB pamięci RAM na każdej karcie AMD FirePro S9150 pozwala na uruchomienie większości obliczeń, korzystając z pojedynczego procesora graficznego bez konieczności komunikowania się z innym procesorem graficznym czy węzłem. Charakteryzuje się to bardzo sprawnym działaniem aplikacji algorytmu LQCD. Ponadto, wybraliśmy serwery, które umożliwią instalację aż czterech kart graficznych, żeby ograniczyć koszty i móc stworzyć system o jak najlepszej sprawności energetycznej.

Lider w oszczędzaniu enegii posłuży Instytutowi Badań Ciężkich Jonów w Darmstadt w obliczeniach chromodynamiki kwantowej, które wymagają niezwykle wysokiej przepustowości pamięci. Narzędziem do tego ma być opracowany przez instytut z Frankfurtu algorytm “Lattice QCD” wykorzystujący niektóre z implementacji OpenCL, potrzebny między innymi w zakresie fizyki wysokich energii i fizyki ciężkich jonów.

Centrum Informatyczne Świerk

Gorąca ciecz, wbrew logicznemu rozsądkowi jest znakomitym czynnikiem chłodzącym, a jej duża pojemność cieplna od lat jest wykorzystywana na świecie w reaktorach jądrowych typu PWR, a także w superkomputerze SuperMUC, który znajduje się w centrum obliczeniowym Leibnitza (LRZ) w Niemczech.

Centrum Informatyczne Świerk - główne zawory regulacyjne wymienników ciepła

Główne zawory regulacyjne wymienników ciepła instalacji chłodniczej wody lodowej

Dostawcą systemu chłodzenia zastosowanego w Centrum Informatycznym Świerk jest Bull Polska Sp. z o.o., przedstawiciel Grupy Bull – jednego z największych dostawców systemów informatycznych na świecie. Główny obieg chłodzący został wykonany przez firmę Honeywell Sp. z o.o., będącą częścią Honeywell Building Solutions.

Centrum Informatyczne Świerk - chłodzenie superkomputera - glikol

Rurociągi systemu chłodzenia z glikolem

Powierzchnia zaplecza odpowiadającego za chłodzenie zajmuje 220 m2, a samej serwerowni jedynie 137 m2. System wodny podzielony został na dwa obiegi: wewnętrzny, czyli nasza szafa obliczeniowa oraz zewnętrzny, czyli cała reszta:

CIŚ - system chłodzenia gorącą wodą

Obieg wodny wewnętrzny obejmuje serwery blade, kolektory wewnątrz szafy, pompy wewnętrzne i wymiennik ciepła. Całość posiada budowę modułową i znajduje się wewnątrz szafy Rack. Wspomniany obieg wodny jest zaknięty i pracuje przy ciśnieniu ok. 1 – 1.5 Bara. Temperatura wody ze środkiem antykorozyjnym mieści się w przedziale 40 – 48 stopni Celsjusza.

Cały system jest projektowany dla niewielkich przepływów. Każdy serwer Blade generuje maksymalnie 375 Watów ciepła oraz wymaga do poprawnej pracy, przepływu na poziomie 1.5 litra na minutę (+/- 0.1 litra), przy zachowaniu różnicy temperatur ΔT = 5 stopni C.

Dla całej szafy przepływ projektowany jest na wartość nominalną 75 litrów / minutę czyli 4.5 m3 na godzinę. Przepływ ten jest stały i wymuszany przez jedną z dwóch pomp znajdujących się w modułach na dole szafy Rack. Pompy działają w trybie Active/Standby (tzn. zawsze pracuje jedna z nich) – jest więc to system redundantny.

Teraz omówimy budowę serwera kasetowego. Poniższy obrazek przedstawia poglądowy przekrój systemu chłodzenia:

CIŚ - przekrój serwera kasetowego chłodzonego gorącą wodą

Blade składa się z dwóch części: podzespołów i metalowej płyty zaopatrzonej w kanał z cieczą.

Centrum Informatyczne Świerk - budowa chłodzenia serwera kasetowego

Kanał prowadzący ciesz jest tak wyprofilowany, aby odprowadzać ciepło z praktycznie każdego miejsca na płycie, ze szczególnym naciskiem na miejsca o zwiększonej emisji cieplnej. Metalowa płyta chłodząca jest tak wyprofilowana, że posiada kontakt z większością podzespołów wewnątrz serwera (tzn. jest dopasowana kształtem powierzchni do płyty głównej serwera) – nie jest zatem wymagane dodatkowe schładzanie ich powietrzem. Dodatkowo możliwe jest swobodne wymontowanie kluczowych podzespołów (CPU, pamięć, dysk) bez ingerencji w integralność systemu chłodzącego.

Centrum Informatyczne Świerk - podłączenie serwera kasetowego do obiegu wodnego

Sama ciecz jest doprowadzana do płyty poprzez system szybkozłączek oraz kolektor umieszczony w płycie montażowej szafy (backplane chassis). Wspomniane wcześniej szybkozłączki pozwalają na wyjęcie serwera z szafy w dowolnym momencie, bez obawy o wyciek cieczy chłodzącej. Działają one w sposób automatyczny, zamykając obwód zanim jeszcze serwer zostanie fizycznie usunięty z obudowy. Działa to w sposób mechaniczny, a więc niezależnie od zasilania szafy, czy też znajdujących się w niej serwerów.

Centrum Informatyczne Świerk - zasilanie i chłodzenie wodne w szafie

Jedynymi niechłodzonymi cieczą elementami systemu są zasilacze pracujące na napięciu 230V (względy bezpieczeństwa). Zasilacze te znajdują się na szafie Rack (powyżej najwyższego punktu układu wodnego), natomiast samo zasilanie realizowane jest wewnątrz szafy instalacją niskonapięciową (ewentualny wyciek nie spowoduje tu zatem żadnego zagrożenia dla pracowników). Zasilanie stosowane w posiadanych przez nas systemach jest oczywiście redundantne.

Centrum Informatyczne Świerk - pompy obiegu zewnętrznego z glikolem

Pompy obiegu zewnętrznego (glikolowego) instalacji chłodniczej wody lodowej

Obieg wodny zewnętrzny jest również w pełni hermetyczny. Obejmuje trasę od wymiennika ciepła wewnątrz szafy, poprzez orurowanie serwerowni, pompy tłoczące wodę, zawory sterujące oraz chłodnice adiabatyczne zainstalowane na dachu budynku chłodzące ciecz na zasadzie „free cooling’u” z dodatkowym wspomaganiem za pomocą zraszaczy wodnych.

Centrum Informatyczne Świerk - centrala wentylacyjna - nawilżacz parowy

Centrala wentylacyjna budynku głównej serwerowni z widocznym na pierwszym planie nawilżaczem parowym

System jest zaprojektowany do pracy przy ciśnieniach w zakresie do 3 Bar (ciśnienie zależy od miejsca w układzie) oraz całkowitym przepływie na poziomie do 22.5 l/sek (ciekawostka: dla instalacji zimnowodnej jaką również posiada Centrum Informatyczne Świerk podobny przepływ występuje dla pojedynczego chillera (jednego z dwóch), tu natomiast jest to przepływ dla całego układu. Obydwa układy mają podobną zdolność oddawania ciepła).

Centrum Informatyczne Świerk - instalacje na dachu 1

Agregat chłodniczy 430 kW, jednostki zewnętrzne klimatyzatorów UPS-ów, maszt z kamerami CCTV

Centrum Informatyczne Świerk - instalacje na dachu 2

Główny rozdzielacz hydrauliczny, kominy i przewody wentylacyjne kotłowni

Ciepło z układu odprowadzane jest przez dwie chłodnice zainstalowane na dachu budynku serwerowni. Każda z chłodnic posiada wspomaganie w postaci zraszaczy wodnych – wymagane ono jest tylko w przypadku bardzo wysokich temperatur na zewnątrz (niewystępujących zwykle w naszym klimacie) oraz przy jednoczesnym bardzo dużym obciążeniu sprzętu.

Centrum Informatyczne Świerk - główny rozdzielacz hydrauliczny

Główny rozdzielacz hydrauliczny

Całość dopełniają 3 pompy, pracujące również w trybie redundantnym (do poprawnej pracy systemu wymagane jest działanie co najmniej jednej z nich) oraz inteligentny sterownik, który na podstawie czynników takich jak: pobierana moc, warunki pogodowe, parametry wewnętrzne układu, etc, tak dobiera parametry pracy aby zapewnić temperaturę serwerów na wymaganym poziomie, ale zarazem powyżej punktu kondensacji pary wodnej wewnątrz sprzętu. Obieg zewnętrzny wykorzystuje w swojej pracy mieszankę glikolu etylenowego i wody.

Centrum Informatyczne Świerk - pompy obiegowe agregatu chłodniczego 1

Pompy obiegowe agregatu chłodniczego 430 kW

Centrum Informatyczne Świerk - pompy obiegowe agregatu chłodniczego 2

Pompy obiegowe agregatu chłodniczego 430 kW

Zalety instalacji:

  • Oszczędność eksploatacji w porównaniu do instalacji zimnowodnych. W przypadku instalacji zimnowodnych zużycie energii na samo chłodzenie może wynosić nawet do 80% zużycia energii przez serwery (tzn. na każdą złotówkę wydaną na pracę serwerów należy dopłacić 80gr na ich schłodzenie). W przypadku instalacji ciepłowodnej koszty te oscylują na poziomie ok. 2% (1zł / 2gr).
  • Dwuobiegowy system chłodzenia pokrywa zapotrzebowanie na 1700 kW. Pozwala to zaoszczędzić ponad 80% zużywanej energii elektrycznej, a w przypadku CIŚ oznacza to sumę 500 000 tysięcy złotych rocznie.
  • Odpowiednio obliczone średnice rurociągów oraz systemów chłodzących, projektowane do pracy przy niskich ciśnieniach oraz niskich przepływach pozwalają na uproszczenie budowy, a tym samym ograniczenie kosztów produkcji i eksploatacji. Znacząco zmniejszają także awaryjność systemu w porównaniu do konkurencyjnych systemów pracujących przy wyższych ciśnieniach, lub też mających wyższe wymogi co do czystości środków chłodniczych.
  • Wydajność odprowadzania ciepła na poziomie 80kW/szafa Rack przy wspomnianym wcześniej przepływie na poziomie 75l/minutę i różnicy temperatur pomiędzy wyjściem, a wejściem tylko 5 – 8 stopni Celsjusza. System posiada więc bardzo wysoką sprawność w przekazywaniu ciepła z komponentów IT do cieczy.
  • Redundancja systemu chłodniczego na każdym z jego poziomów – tzn. redundantne są instalacje wewnętrzna (np. pompy, sterowniki) oraz zewnętrzna (np. pompy, chłodnice).
  • Chłodzenie praktycznie wszystkich podzespołów serwera za pomocą cieczy (poza zasilaczami szafy Rack). Dla porównania: często spotykanym w świecie HPC rozwiązaniem jest chłodzenie tylko kluczowych elementów cieczą natomiast reszty powietrzem.
  • Za sprawą dość wysokiej temperatury pracy cieczy chłodzącej (45 st. C), możliwość ponownego wykorzystania wygenerowanego ciepła np. do celów grzewczych.

Centrum Informatyczne Świerk - rurociągi obiegu zewnętrznego 1

Rurociągi obiegu zewnętrznego (glikolowego) w izolacji termicznej na dachu budynku

Aktualnie nie jest możliwe ponowne wykorzystanie wygenerowanego ciepła, ze względów czysto technicznych, tj. konieczność dostosowania istniejącej instalacji grzewczej do budowanego systemu). W planach jest np. projekt wykorzystania ciepła do ogrzewania powietrza dla systemu wentylacyjnego budynku – mogło by to w znacznym stopniu zredukować konieczność dogrzewania pomieszczeń za pomocą instalacji CO w okresie zimowym, natomiast w okresie jesienno-wiosennym funkcjonować jako podstawowe źródło ciepła dla całego budynku.

Centrum Informatyczne Świerk

W poprzednim tygodniu opisaliśmy Centrum Informatyczne Świerk, które rozpoczęło budowę superkomputera, który będzie korzystał z systemu Scientific Linux CERN SLC 6.6. Nowy sprzęt w docelowej konfiguracji ma posiadać 20 tys. rdzeni obliczeniowych Intel Xeon E5-2680v2 o taktowaniu 2.80 GHz każdy, 130 TB pamięci operacyjnej Kingston KVR16LR11D4 o taktowaniu 1600 MHz oraz zaoferuje 3200 TB przestrzeni dyskowej, w tym dyski SSD Intel S3700.

Centrum Informatyczne Świerk - szafy 1

Całość składała się będzie z 20 szaf obliczeniowych, umieszczonych w serwerowni o powierzchni 137 metrów kwadratowych. Jedna szafa ważyć ma 2 Tony i posiadać 50 serwerów kasetowych. Całość okablowania ma mieć łączną długość 5 km.

Centrum Informatyczne Świerk - światłowody

W chwili obecnej zasoby Centrum Informatyczne Świerk udostępniane są jedynie osobom pracującym w Narodowym Centrum Badań Jądrowych lub współpracującym z instytutem. Rozszerzenie wachlarza zainteresowanych zasobami możliwe będzie dopiero po zakończeniu jego finansowania ze źródeł Programu Operacyjnego Innowacyjna Gospodarka, tj. po 31 października 2015 r.

Centrum Informatyczne Świerk - szafy z podświetleniem

Wynika to z formuły projektu, który otrzymał dofinansowanie jako przedsięwzięcie niekomercyjne, ukierunkowane na prowadzenie prac badawczo rozwojowych w obszarach związanych przede wszystkim z szeroko pojętą energetyką, analizami zagrożeń chemicznych, modelowaniem układów złożonych oraz fizyką oddziaływań fundamentalnych i astrofizyką.

Centrum Informatyczne Świerk - Firewall sprzętowy

Jeśli zatem dana osoba jest zainteresowana korzystaniem z naszych możliwości powinna w pierwszej kolejności nawiązać współpracę naukową z NCBJ. Przykładem takiego działania jest chociażby uruchomiony niedawno program CIŚ-500, umożliwiający nieodpłatne wykorzystywanie mocy obliczeniowej naszego superkomputera do prac naukowo badawczych prowadzonych przez absolwentów Programu TOP 500 Innovators.

Centrum Informatyczne Świerk - serwery kasetowe 2

Rozszerzenie wachlarza zainteresowanych zasobami możliwe będzie dopiero po zakończeniu jego finansowania ze źródeł Programu Operacyjnego Innowacyjna Gospodarka, tj. po 31 października 2015 r. Usługi nie będą się ograniczały jedynie do „prostych” obliczeń wykonawczych, ale miały w jak największym stopniu charakter prac naukowych o wysokiej wartości dodanej. Takie zlecenia miałyby obejmować podejście bardziej całościowe zawierające analizę problemu klienta, wykonanie modelu teoretycznego przedmiotowego zagadnienia lub zjawiska, a następnie wykonanie symulacji numerycznych pozwalających na znalezienie rozwiązania (np. optymalizację parametrów analizowanego układu).

Centrum Informatyczne Świerk - macierz dyskowa 5

Centrum Informatyczne Świerk posiada także swój własny zestaw aplikacji, a dostęp do nich nie jest możliwy dla szerszego grona użytkowników, niezwiązanych zawodowo z Narodowym Centrum Badań Jądrowych. Jest to spowodowane powiązaniem działalności z energetyką jądrową, a praktyka ta wynika przede wszystkim ze względów bezpieczeństwa.

Centrum Informatyczne Świerk - superkomputer w nocy

Nie wykluczone jest natomiast udostępnienie na zasadzie licencji open source autorskich narzędzi, niepowiązanych bezpośrednio z naszym podstawowym zakresem działalności, a służących do usprawnienia prowadzonych w CIŚ prac.

Centrum Informatyczne Świerk - okablowanie sieciowe

Do grupy takich aplikacji zaliczamy m.in.:

  • narzędzia do bezpiecznego udostępniania zasobów klastra HPC anonimowym użytkownikom w formie serwisów
  • system do przeprowadzania automatycznych benchmarków instalacji przy użyciu rzeczywistych kodów obliczeniowych (chociaż istnieją inne dobrze rozwinięte narzędzia tego typu);
  • usprawnienia w narzędziu do publikowania arkuszy do pracy w języku python w przeglądarce na bazie rozwiązania http://ipython.org/notebook.htm;
  • nakładki qstatx i qnodex na narzędzia do obsługi systemów kolejkowych z rodziny PBS ułatwiających pracę użytkownikom klastra;
  • wtyczki umożliwiającej używanie udziałów NFS w gridowym serwisie pamięci masowej DPM.

Centrum Informatyczne Świerk - zasilanie szafy

Centrum Informatyczne Świerk

W połowie listopada tego roku swoją działalność rozpoczęło Centrum Informatyczne Świerk. W uroczystości startu uczestniczyli m.in. minister Nauki i Szkolnictwa Wyższego prof. Lena Kolarska-Bobińska, która dokonała symbolicznego rozpoczęcia zadania obliczeniowego, ambasador Republiki Francuskiej w Warszawie Pierre Buhler oraz wicedyrektor generalny francuskiego Komisariatu ds. Energii Atomowej (CEA) Hervé Bernard.

Centrum Informatyczne Świerk - superkomputer w nocy

Szafy serwerowe nowego superkomputera w Centrum Informatycznym Świerk

Projekt Centrum Informatyczne Świerk został zapoczątkowany w 2009 roku, dzięki dofinansowaniu ze środków Europejskiego Funduszu Rozwoju Regionalnego w ramach Programu Operacyjnego Innowacyjna Gospodarka (ponad 83 mln zł) oraz dotacji celowej ministerstwa Nauki i Szkolnictwa Wyższego (ponad 14,5 mln zł). Wartość całego centrum wyniosła niemal 98 mln zł, a równolegle z budową samego klastra rozpoczęto tworzenie interdyscyplinarnego zespołu ekspertów, nadzorujących pracę superkomputera oraz prowadzących własne badania naukowe.

Centrum Informatyczne Świerk - przód budynku

Superkomputer będzie korzystał z systemu Scientific Linux CERN SLC release 6.6 (Carbon). Nowy sprzęt ma się składać z 20 tys. rdzeni obliczeniowych Intel Xeon Haswell, 130 TB pamięci operacyjnej RAM oraz zaoferuje 3200 TB przestrzeni dyskowej.

Centrum Informatyczne Świerk - szafy serwerowe 1

Centrum Informatyczne Świerk - szafy serwerowe 2

Całość będzie posiadała 20 szaf obliczeniowych, umieszczonych w serwerowni o powierzchni 137 metrów kwadratowych. Jedna szafa ma ważyć 2 Tony i posiadać 50 serwerów kasetowych. Całość okablowania ma mieć łączną długość 5 km.

Centrum Informatyczne Świerk - serwery kasetowe

Do dnia dzisiejszego dostarczono łącznie ok. 70% wspomnianego sprzętu, zakończono też wszystkie prace związane z uruchomieniem oraz wdrożeniem najważniejszych systemów umożliwiających funkcjonowanie instalacji. W chwili obecnej zasoby Centrum Informatycznego Świerk udostępniane są jedynie osobom pracującym w Narodowym Centrum Badań Jądrowych lub współpracującym z instytutem. Rozszerzenie wachlarza zainteresowanych zasobami możliwe będzie dopiero po zakończeniu jego finansowania ze źródeł Programu Operacyjnego Innowacyjna Gospodarka, tj. po 31 października 2015 r.

Jest to pierwszy artykuł z serii, którą przygotowujemy o Centrum Informatycznym Świerk.

Superkomputer Prometheus - prawdopodobny wygląd

Nowy superkomputer Prometheus zostanie zbudowany przez firmę Hewlett-Packard, a koszt jego budowy wyniesie 41 milionów złotych, które zostały uzyskane w ramach Programu Operacyjnego Innowacyjna Gospodarka, współfinansowanego ze środków unijnych. W skład konsorcjum weszły: Akademia Górniczo-Hutnicza, Akademickie Centrum Komputerowe Cyfronet AGH, firmy Megatel i Action.

Superkomputer Prometheus - prawdopodobny wygląd

Prometheus będzie posiadał system operacyjny Scientific Linux, który jest dystrybucją powszechnie wykorzystywaną w systemach HPC. Jej wybór był podyktowany przede wszystkim stabilnością oraz kompatybilnością z obecnie wykorzystywanymi pakietami oprogramowania. W ramach projektów PLGrid, CTA (astrofizyka), LHC (fizyka wysokich energii), EPOS (geofizyka) są dostępne i powstają narzędzia na potrzeby wielkich projektów naukowych. Z zasobów Prometheusa będą korzystać bezpłatnie głównie naukowcy, a liczbę zadań do wykonania, jak i stopień ich skomplikowania, zwiększą się ponad czterokrotnie.

HP ProLiant XL730f Gen9 - cały blade

Do budowy zostanie wykorzystane 1728 serwerów HP ProLiant XL730f Gen9, połączonych w platformie HP Apollo 8000, które zostaną połączone superszybką siecią Infiniband o przepustowości 56 Gbit/s. Komputer będzie posiadał 41 472 procesorów Intel Haswell, 216 TeraBajtów pamięci operacyjnej w technologii DDR4, dwa systemy plików o łącznej pojemności 10 PetaBajtów i szybkości dostępu: 150 GB/s. Teoretyczna moc obliczeniowa nowego polskiego superkomputera Prometheus wynosić będzie niemal 1,7 Pflops (Petaflops). Będzie to pierwsza w Europie i największa na świecie instalacja platformy HP Apollo 8000.

HP ProLiant XL730f Gen9 - wnętrze

Prometheus będzie posiadał innowacyjną technologię chłodzenia wodnego, co pozwoli na uzyskanie wysokiej gęstości instalacji. Dzięki temu ważąca ponad trzydzieści ton część obliczeniowa zmieści się w zaledwie piętnastu szafach, na powierzchni jedynie 13 m2. Serwer HP ProLiant XL730f Gen9 posiada wewnątrz specjalnie zaprojektowany system chłodzenia, składający się z radiatorów i miedzianych rurek. Są one wypełnione cieczą i podłączone do wielkiego radiatora, biegnącego wzdłuż prawego boku serwera.

HP ProLiant XL730f Gen9 - chłodzenie procesora, pamięci i dysku

Taki blade jest wkładany w szynę i po zamknięciu dociskany z siłą 450 KG do centralnego systemu chłodzenia szafy. Owy system posiada specjalne rury z wodą, które odbierają ciepło i doprowadzają świeżą zimną ciecz. Dodatkowo ochładza ona powietrze i pozwala widocznym wentylatorom nawiewać chłodne powietrze do serwerów i chłodzić pozostałe układy elektroniczne.

HP Apollo 8000 Rack i iCDU Rack - wygląd

Co ciekawe, w rurkach tych panuje podciśnienie, tak aby w przypadku uszkodzenia rurki i przecieku, woda nie zalała układów scalonych. W superkomputerach Apollo administrator ma możliwość wymiany kasetowych serwerów, nie wyłączając całego superkomputera z eksploatacji.

Cały system obliczeniowy zostanie zainstalowany w niedawno oddanej do użytku hali komputerowej w nowym budynku Cyfronetu AGH. Oprócz samego komputera i systemu dyskowego zostaną tam także zainstalowane niezbędne elementy infrastruktury technicznej, takie jak system gwarantowanego zasilania elektrycznego z dodatkowym generatorem awaryjnym.

przez -
3 700
Sprzęt

Firma Adapteva rozpoczeła dostarczanie swoich pierwszych płyt komputerów w ramach projektu Parallella – próby stworzenia w pełni wolnego superkomputera, którego moc obliczeniowa byłaby dostępna dla każdego użytkownika. Firma obiecuje, że pierwsze egzemplarze trafią do swoich właścicieli przed końcem lata. Pierwszeństwo będzie miała społeczność skupiona wokół projektu, natomiast reszta zamówień będzie realizowana od jesieni.

Parallella - płyta główna Gen1

Więcej przeczytacie na osworld.pl/parallella-pierwsze-dostawy-superkomputera-dla-kazdego.

Tianhe-2

Tianhe-2 (MilkyWay-2) to obecnie najszybszy superkomputer na świecie. Został on zbudowany przez Chińczyków w podległym rządowi Narodowym Uniwersytecie Technologii Obronnych. Na drugim miejscu według listy Top500 klasyfikuje się niemal dwukrotnie wolniejszy, amerykański Titan – Cray XK7. jak większość tego typu maszyn działa pod kontrolą Linuksa. Dystrybucją jest Kylin Linux.

Superkomputer Tianhe-2 - szafy rackowe

Twórcy systemu byli zaskoczeni, że ich komputer stał się najszybszą maszyną na świecie. Cały superkomputer ma być gotowy w roku 2015, ale już teraz wykonuje on 33,862.7 TFlop/s (33,86 biliardów operacji na sekundę). Wydajność ta została zbadana w testach LINPACK. Teoretyczna moc obliczeniowa to 54,902.4 TFlop/s, co oznacza efektywność 61,5%.

Superkomputer-Tianhe-2 - kilka klastrów

Superkomputer zbudowany jest ze 125 szaf, w której mieści się po 64 płyty główne, zawierające po 2 węzły całego superkomputera. Daje to nam 16 000 węzłów. Jeden węzeł wyposażony jest w 2 procesory Xeon Ivy Bridge i 3 koprocesory Xeon Phi oraz 88 GB RAM. Każdy procesor Ivy Bridge zawiera 12 rdzeni obliczeniowych, a każdy koprocesor 57 rdzeni. Daje to w sumie 3 120 000 rdzeni.

Superkomputer-Tianhe-2 - klaster we wnątrz

Tianhe-2 do swojej pracy wymaga zasilania o mocy 17,6 MW, co wraz z chłodzeniem pochłania 24MW.

Superkomputer-Tianhe-2 - ekran kontroli klastra

Tianhe-2 docelowo zostanie umieszczony w Chińskim Narodowym Centrum Superkomputerów w Guangzhou, gdzie stanie obok swojego starszego brata Tianhe-1, który zdobył pierwsze miejsce na liście Top500 w 2000 roku.

Titan - Cray XK7

W latach 60 pojawiło się określenie superkomputer na urządzenia, które swoimi możliwościami znacząco przewyższały zwykłe komputery. Większość tych maszyn to pojedyncze egzemplarze, które zostały wyprodukowane na zamówienie i kosztowały miliony dolarów. Zatem jaki jest najszybszy superkomputer i pod jakim systemem operacyjnym on działa?

Najpotężniejszym superkomputerem jest Titan – Cray XK7, który został zbudowany przez firmę Cray Inc. Uruchomiono go dość niedawno bo w listopadzie tego roku w Oak Ridge National Laboratory w USA. Jego moc obliczeniowa to aż 17,59 PFLOPS, czyli ponad 17 biliardów operacji zmiennoprzecinkowych na sekundę. Jego pamięć operacyjna to 710144 GB. Całą tą mocą obliczeniową zarządza system Cray Linux Environment.

Titan - Cray XK7
Superkomputer Titan w Oak Ridge National Laboratory. Źródło: Wikipedia

Titan zawiera 299 008 rdzeni procesorów oraz ponad 50 milionów rdzeni obliczeniowych CUDA. Operacje obliczeniowe wykonywane są na układach GPU, natomiast zwykłe CPU odpowiadają głównie za przydzielanie zadań do GPU.


Titan zasilany jest napięciem 480 V i zużywa 8,2 MW mocy. Jeżeli dojdzie do awarii zasilania, prąd doprowadzany jest przez 16 sekund z kół zamachowych zbudowanych z włókien węglowych. Jeżeli w ciągu 2 sekund nie zostanie wznowione zasilanie, uruchamiane są generatory diesla, które startują przez około 7 sekund. Po tym czasie superkomputer może działać dowolnie długo.

Drugim pod względem wydajności jest Sequoia – BlueGene/Q o mocy obliczeniowej 16,32 PFLOPS (wykonujący 16 biliardów operacji zmiennoprzecinkowych na sekundę). Wyposażony w 1572864 GB pamięci operacyjnej zajmuje się badaniami na temat procesów starzenia się broni jądrowej. Od czerwca do listopada roku 2012 był to najszybszy superkomputer.

IBM Sequoia - BlueGene/Q
IBM Sequoia – BlueGene/Q. Źródło: IBM

Na trzecim miejscu klasyfikuje się K computer o mocy obliczeniowej 10,51 PFLOPS. Maszyna wyposażona jest w 88128 procesorów SPARC64 VIIIfx o łącznej ilości rdzeni: 705024. Od czerwca 2011 do czerwca 2012 był najszybszym superkomputerem na świecie. W czerwcu 2012 został prześcignięty przez zainstalowany w USA komputer Sequoia.

K computer
K computer. Źródło: Fujitsu

Lista TOP10 superkomputerów:

  1. Titan – Cray XK7 – 17590 TFlop/s
  2. Sequoia – BlueGene/Q – 16324.8 TFlop/s
  3. K computer – 10510.0 TFlop/s
  4. Mira – BlueGene/Q – 8162.4 TFlop/s
  5. JUQUEEN – BlueGene/Q – 4141.2 TFlop/s
  6. SuperMUC – iDataPlex DX360M4 – 2897.0 TFlop/s
  7. Stampede – PowerEdge C8220 – 2660.3 TFlop/s
  8. Tianhe-1A – NUDT YH MPP – 2566.0 TFlop/s
  9. Fermi – BlueGene/Q – 1725.5 TFlop/s
  10. DARPA Trial Subset – 1515.0 TFlop/s

Linux na superkomputerach

top500-linuxZdecydowana większość superkomputerów działa pod kontrolą systemu Linux, a pod Windows tylko 3 maszyny. Dopiero na 132 miejscu listy TOP500 znajdziemy pierwszy superkomputer, którego systemem operacyjnym jest Windows. Jest to maszyna o nazwie Magic Cube i działa w oparciu o Windows HPC 2008. Dalej bo na 165 miejscu znajdziemy Chmurę Microsoftu – Azure. Ostatnim superkomputerem działającym pod Windows HPC 2008 jest CSIRO GPU Cluster, który zajmuje 183 miejsce. Jak widać systemy z rodziny Linux dominują na liście superkomputerów, gdzie inne systemy operacyjne dopiero raczkują.

Polskie superkomputery

Nasze maszyny na tle czołówki wypadają bardzo słabo. Na 106 miejscu znajdziemy urządzenie Akademickiego Centrum Komputerowego Cyfronet na AGH w Krakowie. Superkomputer o nazwie Zeus posiada moc 234.3 TFlop/s. Jest to najszybsza tego typu maszyna w naszym kraju. Posiada 23932 rdzenie obliczeniowe, 60 TB pamięci operacyjnej i 1800 TB pamięci dyskowej. Superkomputer działa pod kontrolą dystrybucji Scientific Linux.

Zeus
Superkomputer Zeus (fragment). Źródło: Wikipedia

Dużo dalej bo na 143 miejscu znajdziemy jednostkę o mocy 172.7 TFlop/s i pamięci 128 GB. Urządzenie pracuje w Interdyscyplinarnym Centrum Modelowania Matematycznego i Komputerowego Uniwersytetu Warszawskiego Superkomputer zajmuje się modelowaniem naukowym.

Na 344 miejscu zaklasyfikowała się Grupa Allegro z maszyną Cluster Platform 3000 BL 2×220 o mocy 92.8 TFlop/s. Natomiast na miejscy 375 znajdziemy Rackable C1103-G15 z mocną 89.8 TFlop/s, która znajduje się Poznańskim Centrum Superkomputerowo Sieciowym w Instytucie Chemii Bioorganicznej.

Polecane

Security - bezpieczeństwo

0 106
Przez lukę w systemie e-biletów brytyjskich linii lotniczych dane klientów mogły być dostępne dla niepowołanych osób. Xopero Software, producent rozwiązań do backupu danych, w...
mercursis

0 280