Pod koniec kwietnia w Akademickim Centrum Komputerowym Cyfronet AGH odbyła się premiera najszybszego superkomputera w historii Polski – Prometheusa. Głównym pomysłodawcą jednostki jest obecny Dyrektor Naczelny Cyfronetu – prof. Kazimierz Wiatr, który poprowadził również całą prezentację jego uruchomienia. Środki na zbudowanie obiektu i maszyny zostały pozyskane z w ramach Programu Operacyjnego Innowacyjna Gospodarka, a w skład konsorcjum weszły: Akademia Górniczo-Hutnicza, Akademickie Centrum Komputerowe Cyfronet AGH, firmy Megatel i Action. Warto zaznaczyć, że obecnie superkomputer Prometheus znajduje się na 49 miejscu listy najszybszych superkomputerów na świecie (stan z czerwca 2015).
Specyfikacja techniczna
Prometheus zbudowany jest z 1728 serwerów HP ProLiant XL730f Gen9, na platformie HP Apollo 8000, które zostały połączone superszybką siecią Infiniband o przepustowości 56 Gbit/s. Komputer posiada 41 472 procesorów Intel Haswell, 216 TeraBajtów pamięci operacyjnej w technologii DDR4, dwa systemy plików o łącznej pojemności 10 PetaBajtów i szybkości dostępu: 150 GB/s. Teoretyczna moc obliczeniowa nowego polskiego superkomputera Prometheus wynosi niemal 1,7 Pflops (Petaflops). Jest to pierwsza w Europie i największa na świecie instalacja platformy HP Apollo 8000.
Serwer HP ProLiant XL730f Gen9 jest wyposażony w:
- 2 procesory Intel Xeon serii E5-2600 V3 na serwer: E5-2690v3, E5-2680v3, E5-2670v3, E5-2683v3, E5-2695v3
- 2 węzły 2-procesorowe na półkę z maks. 144 serwerami na stelaż
- 16 modułów DIMMS łącznie na serwer lub maksymalnie 256 GB pamięci na serwer: 8 GB, 16 GB pamięci DDR4 RDIMM, pamięć 2133 MT/s
- wysokowydajny port FDR InfiniBand oraz 1 Gb karta sieciowa 1 Gb
- Napęd SFF SSD na serwer: 80 GB, 120 GB, 480 GB, 1,6 TB SSD
Prometheus posiada dwa rozproszone systemy plików Lustre o pojemności 5PB każdy, jeden o prędkości 120GB/s, drugi 60GB/s. Dodatkowo w skład infrastruktury wchodzi 20 serwerów usługowych HP DL380 Gen9 i DL360 Gen8.
Oprogramowanie
Cały superkomputer działa pod kontrolą systemu CentOS 7.1 oraz stosu zoptymalizowanego oprogramowania i bibliotek.
Oprogramowanie specjalistyczne można podzielić na kilka grup:
- dodatkowe kompilatory: Intel Cluster Studio, PGI CDK
- aplikacje matematyczne: Mathematica, MATLAB, Maple, biblioteka NAG
- aplikacje chemiczne: Accelrys, ADF, Gaussian, Molpro, TeraChem, Sybyl-X, TURBOMOLE
- aplikacje inżynierskie CAD/CAE: ABAQUS, ANSYS, ANSYS Fluent, Opera, COMSOL Multiphysics
- przetwarzanie informacji i analiza statystyczna: SAS, STATISTICA
- bazy danych: Oracle
- przetwarzanie danych geograficznych GIS: ArcGIS.
W ramach projektów PLGrid, CTA (astrofizyka), LHC (fizyka wysokich energii), EPOS (geofizyka) są dostępne i powstają narzędzia na potrzeby wielkich projektów naukowych. Z zasobów Prometheusa będą korzystać bezpłatnie głównie naukowcy, a liczbę zadań do wykonania, jak i stopień ich skomplikowania, zwiększą się ponad czterokrotnie.
Budowa infrastruktury chłodzenia i zasilania
Maszyna posiada innowacyjną technologię chłodzenia wodnego, co pozwoliło na uzyskanie wysokiej gęstości instalacji. Dzięki temu ważąca ponad trzydzieści ton część obliczeniowa zmieściła się w piętnastu szafach, na powierzchni 13 m2. Serwer HP ProLiant XL730f Gen9 posiada wewnątrz specjalnie zaprojektowany system chłodzenia, składający się z radiatorów i miedzianych rurek. Są one wypełnione cieczą i podłączone do wielkiego radiatora, biegnącego wzdłuż prawego boku serwera.
Taki blade jest wkładany w szynę i po zamknięciu dociskany z siłą 450 KG do centralnego systemu chłodzenia szafy. Owy system posiada specjalne rury z wodą, które odbierają ciepło i doprowadzają świeżą zimną ciecz. Dodatkowo ochładza ona powietrze i pozwala widocznym wentylatorom nawiewać je do serwerów i chłodzić pozostałe układy elektroniczne.
Co ciekawe, w rurkach tych panuje podciśnienie, tak aby w przypadku uszkodzenia i przecieku, woda nie zalała układów scalonych. W superkomputerach Apollo administrator ma możliwość wymiany kasetowych serwerów, nie wyłączając całej maszyny z eksploatacji.
System jest chłodzony za pomocą wody o temperaturze ok. 30°C na wejściu, posiada trzy obiegi wodne (wewnątrzserwerowy, wtórny i pierwotny), a głównym urządzeniem chłodniczym jest drycooler ze wspomaganiem adiabatycznym o mocy ponad 800kW zainstalowany na dachu budynku. Unikalną cechą platformy Apollo 8000 jest tzw. dry disconnect systemu chłodniczego, co oznacza że podczas wyciągania serwerów z szafy w celach serwisowych nie następuje przerwanie obiegu wodnego. Dzięki temu ryzyko wycieku wody z obiegu jest zredukowane do minimum. Takie chłodzenie jest znacznie bardziej efektywne od klasycznego chłodzenia powietrzem. Chłodzenie powietrzem charakteryzuje się zwykle PUE w zakresie 1,3 do 2.0, natomiast PUE dla Prometheusa wynosi obecnie ok. 1,03. Oznacza to oszczędności rzędu kilkuset tysięcy rocznie na samych rachunkach za prąd (idących nota bene w miliony złotych rocznie).
Prometheus działa w trybie 24/7, co oznacza że potrzebuje niezawodnego zasilania. Każda półka serwera HP ProLiant XL730f Gen9 obsługuje do 1200 W pr. st. pod wysokim napięciem do konwersji na 12V.
Niezawodność zasilania zapewnia bateria UPSów, która może utrzymać działanie całego superkomputera oraz jego chłodzenia przez kilka minut, w ciągu których uruchamia się zasilanie awaryjne oparte o generator dieslowy o mocy 2,5MW. Takie zasilanie awaryjne może działać tak długo jak to jest konieczne, gdyż istnieje możliwość tankowania zbiorników podczas pracy.
Wywiad z Markiem Magrysiem
Na koniec chcielibyśmy zaprosić również do obejrzenia wywiadu z Panem Markiem Magrysiem – administratorem superkomputera Prometheus.
GNU/Linux to system do poważnej pracy, co pokazuje przykład tego komputera i oprogramowanie dostępne na ten system.
Trochę zła strona na takie komentarze, tu już wszyscy o tym wiedzą. :P
Tak, ale nie na desktop. Te rozwiązania są wciąż mało poważne.
Maszyna nie posiada chłodzenia wodnego, tylko ma specjalne chłodziwa. Autor mógłby zapoznać się ze specyfikacją sprzętu przed napisaniem artykułu…… w maszynie pracują specjalne chemikalia które muszą być w odpowiednim stęzeniu inaczej powstałyby znaczne szkody. Wwiezienie do Polski w celu zalania instalacji chłodzącej odbywało się dość długo z uwagi na konieczność uzyskania zezwoleń na wwóz tego typu substancji.
To dlaczego nawet na stronie AGH jest informacja że ten superkomputer jest chłodzony wodą, a nie żadnym chłodziwem (http://www.agh.edu.pl/info/article/w-agh-uruchomiono-prometheusa-najpotezniejszy-superkomputer-w-historii-polski/)?
I na filmie Pan Marek Magryś równiez mówi że jest chłodzenie wodne (2:40)?
Chłodzenie wodą odbywa się chociażby w przypadku superkomputera w Centrum Informatycznym Świerk: https://osworld.pl/centrum-informatyczne-swierk-chlodzenie-superkomputera/. Ale tam zastosowano innego rodzaju serwery już.
To co płynie w rurach chłodzących to woda domieszkowana standardową chemią stosowaną w tego typu systemach. Są to domieszki antykorozyjne, antyalgowe itp.
[…] moc obliczeniowa przekracza 54,9 Pflops. Warto tutaj odnotować dość istotny fakt, że nasz superkomputer Prometheus z Akademickiego Centrum Komputerowego CYFRONET AGH wskoczył na 39 miejsce na liście. Jest to […]