Tags Posts tagged with "prometheus"

prometheus

przez -
1 2557

Dokładnie wczoraj zaktualizowano listę najszybszych superkomputerów na świecie. Na pierwszym miejscu po raz szósty z rzędu został chiński Tianhe-2 (Milky-Way-2), którego teoretyczna moc obliczeniowa przekracza 54,9 Pflops. Warto tutaj odnotować dość istotny fakt, że nasz superkomputer Prometheus z Akademickiego Centrum Komputerowego CYFRONET AGH wskoczył na 39 miejsce na liście. Jest to najwyższa w w historii pozycja maszyny z Polski i poprawiła się ona od lipca o 10 miejsc. Było to możliwe, dzięki jego rozbudowie o kolejne pięć szaf, dzięki czemu moc Prometheusa zwiększyła się z 1,7 Pflops do niemal 2,4 Pflops.

Superkomputer Prometheus

Warto odnotować, iż na liście znalazł się także wieloletni lider wśród polskich maszyn obliczeniowych, czyli Zeus:

  • 39 – ACK Cyfronet AGH, Prometheus (2347 Tflops)
  • 161 – Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej, Tryton (636 Tflops )
  • 180 – Wrocławskie Centrum Sieciowo Superkomputerowe, Bem (636 Tflops)
  • 217 – Narodowe Centrum Badań Jądrowych (490) TFlops)
  • 386 – ACK Cyfronet AGH, Zeus (374 Tflops)

Obecnie Prometheus składa się z ponad 2200 serwerów platformy HP Apollo 8000, połączonych superszybką siecią InfiniBand o przepustowości 56 Gbit/s. Superkomputer posiada ponad 53 tysiące rdzeni obliczeniowych (energooszczędnych i wydajnych procesorów Intel Haswell), 279 TB pamięci operacyjnej w technologii DDR4 oraz 144 karty nVidia Tesla. Dołączone są dwa systemy plików o łącznej pojemności 10 PB oraz o ogromnej szybkości dostępu 180 GB/s.

Pod koniec kwietnia w Akademickim Centrum Komputerowym Cyfronet AGH odbyła się premiera najszybszego superkomputera w historii Polski – Prometheusa. Głównym pomysłodawcą jednostki jest obecny Dyrektor Naczelny Cyfronetuprof. Kazimierz Wiatr, który poprowadził również całą prezentację jego uruchomienia. Środki na zbudowanie obiektu i maszyny zostały pozyskane z w ramach Programu Operacyjnego Innowacyjna Gospodarka, a w skład konsorcjum weszły: Akademia Górniczo-Hutnicza, Akademickie Centrum Komputerowe Cyfronet AGH, firmy Megatel i Action. Warto zaznaczyć, że obecnie superkomputer Prometheus znajduje się na 49 miejscu listy najszybszych superkomputerów na świecie (stan z czerwca 2015).

Superkomputer Prometheus

Specyfikacja techniczna

Prometheus zbudowany jest z 1728 serwerów HP ProLiant XL730f Gen9, na platformie HP Apollo 8000, które zostały połączone superszybką siecią Infiniband o przepustowości 56 Gbit/s. Komputer posiada 41 472 procesorów Intel Haswell, 216 TeraBajtów pamięci operacyjnej w technologii DDR4, dwa systemy plików o łącznej pojemności 10 PetaBajtów i szybkości dostępu: 150 GB/s. Teoretyczna moc obliczeniowa nowego polskiego superkomputera Prometheus wynosi niemal 1,7 Pflops (Petaflops). Jest to pierwsza w Europie i największa na świecie instalacja platformy HP Apollo 8000.

HP ProLiant XL230a Gen9

Serwer HP ProLiant XL730f Gen9 jest wyposażony w:

  • 2 procesory Intel Xeon serii E5-2600 V3 na serwer: E5-2690v3, E5-2680v3, E5-2670v3, E5-2683v3, E5-2695v3
  • 2 węzły 2-procesorowe na półkę z maks. 144 serwerami na stelaż
  • 16 modułów DIMMS łącznie na serwer lub maksymalnie 256 GB pamięci na serwer: 8 GB, 16 GB pamięci DDR4 RDIMM, pamięć 2133 MT/s
  • wysokowydajny port FDR InfiniBand oraz 1 Gb karta sieciowa 1 Gb
  • Napęd SFF SSD na serwer: 80 GB, 120 GB, 480 GB, 1,6 TB SSD

Prometheus posiada dwa rozproszone systemy plików Lustre o pojemności 5PB każdy, jeden o prędkości 120GB/s, drugi 60GB/s. Dodatkowo w skład infrastruktury wchodzi 20 serwerów usługowych HP DL380 Gen9 i DL360 Gen8.

Oprogramowanie

Cały superkomputer działa pod kontrolą systemu CentOS 7.1 oraz stosu zoptymalizowanego oprogramowania i bibliotek.

CentOS

Oprogramowanie specjalistyczne można podzielić na kilka grup:

  • dodatkowe kompilatory: Intel Cluster Studio, PGI CDK
  • aplikacje matematyczne: Mathematica, MATLAB, Maple, biblioteka NAG
  • aplikacje chemiczne: Accelrys, ADF, Gaussian, Molpro, TeraChem, Sybyl-X, TURBOMOLE
  • aplikacje inżynierskie CAD/CAE: ABAQUS, ANSYS, ANSYS Fluent, Opera, COMSOL Multiphysics
  • przetwarzanie informacji i analiza statystyczna: SAS, STATISTICA
  • bazy danych: Oracle
  • przetwarzanie danych geograficznych GIS: ArcGIS.

W ramach projektów PLGrid, CTA (astrofizyka), LHC (fizyka wysokich energii), EPOS (geofizyka) są dostępne i powstają narzędzia na potrzeby wielkich projektów naukowych. Z zasobów Prometheusa będą korzystać bezpłatnie głównie naukowcy, a liczbę zadań do wykonania, jak i stopień ich skomplikowania, zwiększą się ponad czterokrotnie.

Budowa infrastruktury chłodzenia i zasilania

Maszyna posiada innowacyjną technologię chłodzenia wodnego, co pozwoliło na uzyskanie wysokiej gęstości instalacji. Dzięki temu ważąca ponad trzydzieści ton część obliczeniowa zmieściła się w piętnastu szafach, na powierzchni 13 m2. Serwer HP ProLiant XL730f Gen9 posiada wewnątrz specjalnie zaprojektowany system chłodzenia, składający się z radiatorów i miedzianych rurek. Są one wypełnione cieczą i podłączone do wielkiego radiatora, biegnącego wzdłuż prawego boku serwera.

HP ProLiant XL730f Gen9 - chłodzenie procesora, pamięci i dysku

Taki blade jest wkładany w szynę i po zamknięciu dociskany z siłą 450 KG do centralnego systemu chłodzenia szafy. Owy system posiada specjalne rury z wodą, które odbierają ciepło i doprowadzają świeżą zimną ciecz. Dodatkowo ochładza ona powietrze i pozwala widocznym wentylatorom nawiewać je do serwerów i chłodzić pozostałe układy elektroniczne.

HP Apollo 8000 Rack i iCDU Rack - wygląd

Co ciekawe, w rurkach tych panuje podciśnienie, tak aby w przypadku uszkodzenia i przecieku, woda nie zalała układów scalonych. W superkomputerach Apollo administrator ma możliwość wymiany kasetowych serwerów, nie wyłączając całej maszyny z eksploatacji.

System jest chłodzony za pomocą wody o temperaturze ok. 30°C na wejściu, posiada trzy obiegi wodne (wewnątrzserwerowy, wtórny i pierwotny), a głównym urządzeniem chłodniczym jest drycooler ze wspomaganiem adiabatycznym o mocy ponad 800kW zainstalowany na dachu budynku. Unikalną cechą platformy Apollo 8000 jest tzw. dry disconnect systemu chłodniczego, co oznacza że podczas wyciągania serwerów z szafy w celach serwisowych nie następuje przerwanie obiegu wodnego. Dzięki temu ryzyko wycieku wody z obiegu jest zredukowane do minimum. Takie chłodzenie jest znacznie bardziej efektywne od klasycznego chłodzenia powietrzem. Chłodzenie powietrzem charakteryzuje się zwykle PUE w zakresie 1,3 do 2.0, natomiast PUE dla Prometheusa wynosi obecnie ok. 1,03. Oznacza to oszczędności rzędu kilkuset tysięcy rocznie na samych rachunkach za prąd (idących nota bene w miliony złotych rocznie).

Prometheus działa w trybie 24/7, co oznacza że potrzebuje niezawodnego zasilania. Każda półka serwera HP ProLiant XL730f Gen9 obsługuje do 1200 W pr. st. pod wysokim napięciem do konwersji na 12V.

Niezawodność zasilania zapewnia bateria UPSów, która może utrzymać działanie całego superkomputera oraz jego chłodzenia przez kilka minut, w ciągu których uruchamia się zasilanie awaryjne oparte o generator dieslowy o mocy 2,5MW. Takie zasilanie awaryjne może działać tak długo jak to jest konieczne, gdyż istnieje możliwość tankowania zbiorników podczas pracy.

Wywiad z Markiem Magrysiem

Na koniec chcielibyśmy zaprosić również do obejrzenia wywiadu z Panem Markiem Magrysiem – administratorem superkomputera Prometheus.

przez -
4 3172
Superkomputer, monitoring

Kilka dni temu pojawiła się zaktualizowana lista najszybszych superkomputerów na świecie. Najszybszym superkomputerem na świecie jest nadal chiński Tianhe-2 (Milky-Way-2), którego teoretyczna moc obliczeniowa przekracza 54,9 Pflops*. Na liście TOP 500 wyraźnie dominują superkomputery z USA (233 jednostki, 46 %). Na kolejnych miejscach znajdują się Japonia (39 jednostek, 8%), Chiny (37 jednostek, 7%), Niemcy (37 jednostek, 7%) i Wielka Brytania (31 jednostek, 6%). Polska (7 jednostek, 1%) znajduje się na 9 miejscu w rankingu krajów.

Superkomputer Prometheus

Warto wspomnieć w tym miejscu o naszych polskich superkomputerach. I tak na 49 miejscu znalazł się Prometheus z z Akademickiego Centrum Komputerowego CYFRONET AGH. Na dalszych pozycjach mamy natomiast inne jednostki:

  • 128 – TASK, Politechnika Gdańska
  • 137 – WCSS, Politechnika Wrocławska
  • 157 – NCBJ, Świerk
  • 270 – Zeus, ACK Cyfronet AGH
  • 379 – Cent, Uniwersytet Warszawski
  • 418 – ICM, Uniwersytet Warszawski

Łączna moc obliczeniowa wszystkich superkomputerów wynosi obecnie 361 Pflop/s, gdzie w listopadzie 2014 roku wynosiła ona 309 Pflop/s, a rok temu 274 Pflop/s. 68 maszyn posiada przynajmniej 1 Pflop/s mocy obliczeniowej, a 97 procent wykorzystuje jednostki centralne z sześcioma lub więcej rdzeniami obliczeniowymi. Jeżeli chodzi o dostawców to liderami są HP ze 178 wdrożeniami (35,6%) i IBM ze 111 (22.2%).

Na koniec warto wspomnieć o akceleratorach i koprocesorach. 52 maszyny posiadają chipsety nVidia, 4 używają kart AMD, a 33 z nich wykorzystują Intel Xeon Phi. 4 z nich posiadają hybrydowe technologie nVidia i Intel Xeon Phi.

Superkomputer Prometheus

27 kwietnia o godz. 12:00 w Akademickim Centrum Komputerowym Cyfronet AGH odbyła się oficjalna prezentacja najszybszego superkomputera w historii Polski – Prometheusa. Uroczystość poprowadził prof. Kazimierz WiatrDyrektor Naczelny Cyfronetu i główny pomysłodawca superkomputera.

Podczas godzinnego wystąpienia Rektor Akademii Górniczo-Hutniczej oraz Dyrektor Cyfronetu przedstawili krótką historię nowego superkomputera oraz hali w której on się znajduje, a następnie uroczyście uruchomili wartą 41 mln zł maszynę obliczeniową.

Prometheus wnosi do istniejącej infrastruktury informatycznej:

  • System operacyjny Scientific Linux 7
  • Teoretyczną moc obliczeniową 1,658 PetaFlopsów (1 658 880 000 000 000 operacji zmiennoprzecinkowych na sekundę),
  • 1728 serwerów platformy HP Apollo 8000, połączonych superszybką siecią InfiniBand o przepustowości 56 Gbit/s,
  • 41 472 rdzeni obliczeniowych (procesorów Intel Haswell najnowszej generacji),
  • 216 000 000 000 000 B sumarycznej pamięci operacyjnej w technologii DDR4 (216 TeraBajtów),
  • dwa systemy plików o łącznej pojemności 10 PB oraz ogromnej szybkości dostępu: 180 GB/s.

Środki na całą inwestycję zostały uzyskane w ramach Programu Operacyjnego Innowacyjna Gospodarka, współfinansowanego ze środków unijnych. W skład konsorcjum weszły: Akademia Górniczo-Hutnicza, Akademickie Centrum Komputerowe Cyfronet AGH, firmy Megatel i Action. Według obecnej listy TOP500 (z listopada 2014 r.) Prometheus jest jednym z trzydziestu najszybszych na świecie i dwunastu w Europie.

Z zaproszonych gości możemy wymienić: Rektor AGH prof. Tadeusz Słomka, Prorektorzy AGH, Iwona Wendel – Podsekretarz Stanu w Ministerstwie Infrastruktury i Rozwoju, prof. Włodzisław Duch – Podsekretarz Stanu w Ministerstwie Nauki i Szkolnictwa Wyższego, prof. Jerzy Kątcki – Zastępca Dyrektora NCBR, Marek Sowa – Marszałek Województwa Małopolskiego, Jerzy Miller – Wojewoda Małopolski, prof. Ryszard Tadeusiewicz – Prezes Oddziału PAN w Krakowie, rektorzy szkół wyższych Krakowa: prof. Wojciech Nowak z Uniwersytetu Jagiellońskiego, prof. Kazimierz Furtak z Politechniki Krakowskiej, ks. prof. Wojciech Zyzak – Rektor Uniwersytetu Papieskiego Jana Pawła II, prof. Maria-Jolanta Flis – Prorektor ds. Rozwoju UJ, prof. Stanisław Kistryn – Prorektor ds. badań naukowych i funduszy strukturalnych UJ, prof. Stanisław Małek – Prorektor ds. nauki, wdrożeń i współpracy międzynarodowej UR, a także prof. Marek Jeżabek – Dyrektor IFJ PAN. Ponadto wśród licznie zgromadzonych gości znaleźli się m.in. Członkowie Rady Użytkowników Cyfronetu, przedstawiciele wykonawcy prac budowlanych firm Mostostal Warszawa S.A., przedstawiciele firmy TEAM s.c. Architektura i Systemy Komputerowe, oraz przedstawiciele HP Polska.

Superkomputer Prometheus - prawdopodobny wygląd

Nowy superkomputer Prometheus zostanie zbudowany przez firmę Hewlett-Packard, a koszt jego budowy wyniesie 41 milionów złotych, które zostały uzyskane w ramach Programu Operacyjnego Innowacyjna Gospodarka, współfinansowanego ze środków unijnych. W skład konsorcjum weszły: Akademia Górniczo-Hutnicza, Akademickie Centrum Komputerowe Cyfronet AGH, firmy Megatel i Action.

Superkomputer Prometheus - prawdopodobny wygląd

Prometheus będzie posiadał system operacyjny Scientific Linux, który jest dystrybucją powszechnie wykorzystywaną w systemach HPC. Jej wybór był podyktowany przede wszystkim stabilnością oraz kompatybilnością z obecnie wykorzystywanymi pakietami oprogramowania. W ramach projektów PLGrid, CTA (astrofizyka), LHC (fizyka wysokich energii), EPOS (geofizyka) są dostępne i powstają narzędzia na potrzeby wielkich projektów naukowych. Z zasobów Prometheusa będą korzystać bezpłatnie głównie naukowcy, a liczbę zadań do wykonania, jak i stopień ich skomplikowania, zwiększą się ponad czterokrotnie.

HP ProLiant XL730f Gen9 - cały blade

Do budowy zostanie wykorzystane 1728 serwerów HP ProLiant XL730f Gen9, połączonych w platformie HP Apollo 8000, które zostaną połączone superszybką siecią Infiniband o przepustowości 56 Gbit/s. Komputer będzie posiadał 41 472 procesorów Intel Haswell, 216 TeraBajtów pamięci operacyjnej w technologii DDR4, dwa systemy plików o łącznej pojemności 10 PetaBajtów i szybkości dostępu: 150 GB/s. Teoretyczna moc obliczeniowa nowego polskiego superkomputera Prometheus wynosić będzie niemal 1,7 Pflops (Petaflops). Będzie to pierwsza w Europie i największa na świecie instalacja platformy HP Apollo 8000.

HP ProLiant XL730f Gen9 - wnętrze

Prometheus będzie posiadał innowacyjną technologię chłodzenia wodnego, co pozwoli na uzyskanie wysokiej gęstości instalacji. Dzięki temu ważąca ponad trzydzieści ton część obliczeniowa zmieści się w zaledwie piętnastu szafach, na powierzchni jedynie 13 m2. Serwer HP ProLiant XL730f Gen9 posiada wewnątrz specjalnie zaprojektowany system chłodzenia, składający się z radiatorów i miedzianych rurek. Są one wypełnione cieczą i podłączone do wielkiego radiatora, biegnącego wzdłuż prawego boku serwera.

HP ProLiant XL730f Gen9 - chłodzenie procesora, pamięci i dysku

Taki blade jest wkładany w szynę i po zamknięciu dociskany z siłą 450 KG do centralnego systemu chłodzenia szafy. Owy system posiada specjalne rury z wodą, które odbierają ciepło i doprowadzają świeżą zimną ciecz. Dodatkowo ochładza ona powietrze i pozwala widocznym wentylatorom nawiewać chłodne powietrze do serwerów i chłodzić pozostałe układy elektroniczne.

HP Apollo 8000 Rack i iCDU Rack - wygląd

Co ciekawe, w rurkach tych panuje podciśnienie, tak aby w przypadku uszkodzenia rurki i przecieku, woda nie zalała układów scalonych. W superkomputerach Apollo administrator ma możliwość wymiany kasetowych serwerów, nie wyłączając całego superkomputera z eksploatacji.

Cały system obliczeniowy zostanie zainstalowany w niedawno oddanej do użytku hali komputerowej w nowym budynku Cyfronetu AGH. Oprócz samego komputera i systemu dyskowego zostaną tam także zainstalowane niezbędne elementy infrastruktury technicznej, takie jak system gwarantowanego zasilania elektrycznego z dodatkowym generatorem awaryjnym.

Polecane

Jesień Linuksowa

1 639
Polska Grupa Użytkowników Linuksa ma zaszczyt zaprosić na konferencję Jesień Linuksowa 2017, która odbędzie się w dniach 22 – 24 września 2017 roku. Jako...