Pod koniec kwietnia w Akademickim Centrum Komputerowym Cyfronet AGH odbyła się premiera najszybszego superkomputera w historii Polski – Prometheusa. Głównym pomysłodawcą jednostki jest obecny Dyrektor Naczelny Cyfronetuprof. Kazimierz Wiatr, który poprowadził również całą prezentację jego uruchomienia. Środki na zbudowanie obiektu i maszyny zostały pozyskane z w ramach Programu Operacyjnego Innowacyjna Gospodarka, a w skład konsorcjum weszły: Akademia Górniczo-Hutnicza, Akademickie Centrum Komputerowe Cyfronet AGH, firmy Megatel i Action. Warto zaznaczyć, że obecnie superkomputer Prometheus znajduje się na 49 miejscu listy najszybszych superkomputerów na świecie (stan z czerwca 2015).

Superkomputer Prometheus

Specyfikacja techniczna

Prometheus zbudowany jest z 1728 serwerów HP ProLiant XL730f Gen9, na platformie HP Apollo 8000, które zostały połączone superszybką siecią Infiniband o przepustowości 56 Gbit/s. Komputer posiada 41 472 procesorów Intel Haswell, 216 TeraBajtów pamięci operacyjnej w technologii DDR4, dwa systemy plików o łącznej pojemności 10 PetaBajtów i szybkości dostępu: 150 GB/s. Teoretyczna moc obliczeniowa nowego polskiego superkomputera Prometheus wynosi niemal 1,7 Pflops (Petaflops). Jest to pierwsza w Europie i największa na świecie instalacja platformy HP Apollo 8000.

HP ProLiant XL230a Gen9

Serwer HP ProLiant XL730f Gen9 jest wyposażony w:

  • 2 procesory Intel Xeon serii E5-2600 V3 na serwer: E5-2690v3, E5-2680v3, E5-2670v3, E5-2683v3, E5-2695v3
  • 2 węzły 2-procesorowe na półkę z maks. 144 serwerami na stelaż
  • 16 modułów DIMMS łącznie na serwer lub maksymalnie 256 GB pamięci na serwer: 8 GB, 16 GB pamięci DDR4 RDIMM, pamięć 2133 MT/s
  • wysokowydajny port FDR InfiniBand oraz 1 Gb karta sieciowa 1 Gb
  • Napęd SFF SSD na serwer: 80 GB, 120 GB, 480 GB, 1,6 TB SSD

Prometheus posiada dwa rozproszone systemy plików Lustre o pojemności 5PB każdy, jeden o prędkości 120GB/s, drugi 60GB/s. Dodatkowo w skład infrastruktury wchodzi 20 serwerów usługowych HP DL380 Gen9 i DL360 Gen8.

Oprogramowanie

Cały superkomputer działa pod kontrolą systemu CentOS 7.1 oraz stosu zoptymalizowanego oprogramowania i bibliotek.

CentOS

Oprogramowanie specjalistyczne można podzielić na kilka grup:

  • dodatkowe kompilatory: Intel Cluster Studio, PGI CDK
  • aplikacje matematyczne: Mathematica, MATLAB, Maple, biblioteka NAG
  • aplikacje chemiczne: Accelrys, ADF, Gaussian, Molpro, TeraChem, Sybyl-X, TURBOMOLE
  • aplikacje inżynierskie CAD/CAE: ABAQUS, ANSYS, ANSYS Fluent, Opera, COMSOL Multiphysics
  • przetwarzanie informacji i analiza statystyczna: SAS, STATISTICA
  • bazy danych: Oracle
  • przetwarzanie danych geograficznych GIS: ArcGIS.

W ramach projektów PLGrid, CTA (astrofizyka), LHC (fizyka wysokich energii), EPOS (geofizyka) są dostępne i powstają narzędzia na potrzeby wielkich projektów naukowych. Z zasobów Prometheusa będą korzystać bezpłatnie głównie naukowcy, a liczbę zadań do wykonania, jak i stopień ich skomplikowania, zwiększą się ponad czterokrotnie.

Budowa infrastruktury chłodzenia i zasilania

Maszyna posiada innowacyjną technologię chłodzenia wodnego, co pozwoliło na uzyskanie wysokiej gęstości instalacji. Dzięki temu ważąca ponad trzydzieści ton część obliczeniowa zmieściła się w piętnastu szafach, na powierzchni 13 m2. Serwer HP ProLiant XL730f Gen9 posiada wewnątrz specjalnie zaprojektowany system chłodzenia, składający się z radiatorów i miedzianych rurek. Są one wypełnione cieczą i podłączone do wielkiego radiatora, biegnącego wzdłuż prawego boku serwera.

HP ProLiant XL730f Gen9 - chłodzenie procesora, pamięci i dysku

Taki blade jest wkładany w szynę i po zamknięciu dociskany z siłą 450 KG do centralnego systemu chłodzenia szafy. Owy system posiada specjalne rury z wodą, które odbierają ciepło i doprowadzają świeżą zimną ciecz. Dodatkowo ochładza ona powietrze i pozwala widocznym wentylatorom nawiewać je do serwerów i chłodzić pozostałe układy elektroniczne.

HP Apollo 8000 Rack i iCDU Rack - wygląd

Co ciekawe, w rurkach tych panuje podciśnienie, tak aby w przypadku uszkodzenia i przecieku, woda nie zalała układów scalonych. W superkomputerach Apollo administrator ma możliwość wymiany kasetowych serwerów, nie wyłączając całej maszyny z eksploatacji.

System jest chłodzony za pomocą wody o temperaturze ok. 30°C na wejściu, posiada trzy obiegi wodne (wewnątrzserwerowy, wtórny i pierwotny), a głównym urządzeniem chłodniczym jest drycooler ze wspomaganiem adiabatycznym o mocy ponad 800kW zainstalowany na dachu budynku. Unikalną cechą platformy Apollo 8000 jest tzw. dry disconnect systemu chłodniczego, co oznacza że podczas wyciągania serwerów z szafy w celach serwisowych nie następuje przerwanie obiegu wodnego. Dzięki temu ryzyko wycieku wody z obiegu jest zredukowane do minimum. Takie chłodzenie jest znacznie bardziej efektywne od klasycznego chłodzenia powietrzem. Chłodzenie powietrzem charakteryzuje się zwykle PUE w zakresie 1,3 do 2.0, natomiast PUE dla Prometheusa wynosi obecnie ok. 1,03. Oznacza to oszczędności rzędu kilkuset tysięcy rocznie na samych rachunkach za prąd (idących nota bene w miliony złotych rocznie).

Prometheus działa w trybie 24/7, co oznacza że potrzebuje niezawodnego zasilania. Każda półka serwera HP ProLiant XL730f Gen9 obsługuje do 1200 W pr. st. pod wysokim napięciem do konwersji na 12V.

Niezawodność zasilania zapewnia bateria UPSów, która może utrzymać działanie całego superkomputera oraz jego chłodzenia przez kilka minut, w ciągu których uruchamia się zasilanie awaryjne oparte o generator dieslowy o mocy 2,5MW. Takie zasilanie awaryjne może działać tak długo jak to jest konieczne, gdyż istnieje możliwość tankowania zbiorników podczas pracy.

Wywiad z Markiem Magrysiem

Na koniec chcielibyśmy zaprosić również do obejrzenia wywiadu z Panem Markiem Magrysiem – administratorem superkomputera Prometheus.

  • Pan Łukasz

    GNU/Linux to system do poważnej pracy, co pokazuje przykład tego komputera i oprogramowanie dostępne na ten system.

    • Kamil Koczurek

      Trochę zła strona na takie komentarze, tu już wszyscy o tym wiedzą. :P

    • Roman

      Tak, ale nie na desktop. Te rozwiązania są wciąż mało poważne.

  • JK

    Maszyna nie posiada chłodzenia wodnego, tylko ma specjalne chłodziwa. Autor mógłby zapoznać się ze specyfikacją sprzętu przed napisaniem artykułu…… w maszynie pracują specjalne chemikalia które muszą być w odpowiednim stęzeniu inaczej powstałyby znaczne szkody. Wwiezienie do Polski w celu zalania instalacji chłodzącej odbywało się dość długo z uwagi na konieczność uzyskania zezwoleń na wwóz tego typu substancji.

  • Pingback: Superkomputery z TOP 500 – stan na listopad 2015. Pięć superkomputerów z Polski. - OSWorld.pl()