Superkomputer Tryton w CI TASK

Centrum Informatyczne Trójmiejskiej Akademickiej Sieci Komputerowej, w skrócie CI TASK uruchomiło 2 marca 2015 roku superkomputer Tryton. Przejmie on sporo zadań obecnego superkomputera Galera, który działał od 3 kwietnia 2008 i posiadała teoretyczną moc obliczeniową 50 TFLOPS. Maszyna jest częścią projektu Centrum Doskonałości Naukowej Infrastruktury Wytwarzania Aplikacji (CD NIWA) oraz PLGrid Plus. Do prezentacji założeń projektu CD NIWA i możliwości superkomputera wykorzystano przygotowany specjalnie z tej okazji, efektowny, pięciominutowy pokaz z zastosowaniem techniki video mappingu.

Superkomputer Tryton składa się z 40 szaf, w których znajdziemy łącznie: 2966 procesorów (35592 rdzeni), 48 akceleratorów graficznych i 202 TB pamięci operacyjnej DDR4. Patrząc na pojedynczy serwer mamy: dwa procesory Intel Xeon E5 v3 z 12 rdzeniami o taktowaniu 2,3 GHz, od 128 do 256 GB pamięci RAM DDR4 i akceleratory graficzne: nVidia Tesla, Intel Xeon Phi, AMD Fire Pro. Wszystkie jednostki są połączone przy użyciu sieci InfiniBand FDR 56 Gb/s w topologii fat tree, za pomocą przełączników Mellanox. Łączna moc obliczeniowa wynosi 1,37 PFLOPS.

Klaster obliczeniowy został dostarczony Politechnice Gdańskiej przez konsorcjum złożone z firm Megatel i Action. Są to system HP Apollo 6000 z serwerami HP ProLiant XL230a Gen9, a także serwery Actina SOLAR 820 S6.

Serwery HP ProLiant XL230a Gen9

Budowa jednostki została sfinansowana z dotacji przyznanej w ramach Programu Operacyjnego Innowacyjna Gospodarka na lata 2007-2013 w kwocie 40 mln zł. Warto nadmienić, że 10 mln zł wydano na prace związane z działaniem CD NIWA. Przede wszystkim na zaprojektowanie platform ułatwiających produkcję aplikacji oraz zbudowanie zespołu specjalistów.

Korzystają z niej studenci, naukowcy z Pomorza oraz biznes. W ramach inicjatywy uczelnia udostępnia komputer i centrum nie tylko środowisku akademickiemu, ale także np. firmom zainteresowanym tworzeniem różnego rodzaju oprogramowania.

Superkomputer Tryton to także bogaty zestaw oprogramowania. Na początek zajmiemy się aplikacjami systemowymi:

• Intel MPI – Biblioteka, dzięki której możliwe jest efektywne przekazywanie informacji między węzłami systemu przetwarzania równoległego, celem sterowania procesem obliczeniowym. Biblioteka obsługuje protokół TCP dla standardu Ethernet, protokoły dla systemów ze współdzieloną pamięcią dla systemów SMP oraz protokół RDMA dla standardu InfiniBand. Biblioteka jest w pełni kompatybilna ze standardem MPI-1 oraz zawiera wiele rozszerzeń wprowadzonych w standardzie MPI-2, zaimplementowanych w MPICH-2.
• OpenMPI – jedna z implementacji standardu MPI-2 rozwijana na zasadach open source przez środowisko akademickie i przemysłowe.
• Oracle – system zarządzania relacyjną bazą danych
• MPICH – Biblioteka MPICH jest implementacją standardu MPI. Message Passing Interface (MPI) jest rozbudowaną biblioteką funkcji komunikacji międzyprocesowej. Biblioteka nie zawiera żadnych funkcji zarządzania maszyną wirtualną. Można ją łączyć z aplikacjami typu SPMD oraz MPMD zaimplementowanymi w językach: C, C++, Fortran 77, Fortran 90.
• MVAPICH – implementacja MPI oparta o sieć InfiniBand. Obecnie zainstalowane są dwie odmiany biblioteki MVAPICH: MVAPICH2 – oparta o standard MPI-2 i MVAPICH – oparta o standard MPI-1.2
• PBS – Portable Batch System (PBS) jest to system wsadowego przetwarzania zadań i zarządzania zasobami obliczeniowymi. Pozwala na kolejkowanie zadań, zarządzanie ich atrybutami, uruchamianie i zwracanie wyników obliczeń do użytkownika.
• SLURM – (Simple Linux Utility for Resource Management) to system kolejkowy oparty na licencji open source. Wykorzystywany jest od marca 2015 roku do zarządzania pracą użytkowników superkomputera Tryton.
• Tivoli Storage Manager – pakiet oprogramowania do zarządzania systemem składowania danych firmy IBM. Pakiet ten jest wykorzystywany w CI TASK do obsługi magazynu danych
• vSMP – technologia która pozwala korzystać ze zagregowanej mocy procesorów i pojemności pamięci operacyjnej wielu pojedynczych serwerów.

Jest też sporo aplikacji narzędziowych: BLAS, HDF5, Intel Parallel Studio XE, Kompilatory: gcc i g++, Kompilatory Intel, Kompilatory PGI, MKL, NAG Fortran 90 Library, NAG Fortran Library, NAG Graphics Library, NetCDF, OpenGL i TeX.

Z aplikacji naukowych CI TASK przygotował: Abaqus, Amber, ANSYS (CFD, HPC, FLUENT), Babel, Blender, CESM/CSSM, Crystal, Dalton, ESRI (ArcGIS, ArcInfo, ArcView), Ferret, GAMESS, Gaussian, Gromacs, HyperWorks, LAMMPS, LS-Dyna, Mathematica, MATLAB, Meep, Molden, MOLDY, MOLPRO, MOPAC, MSC.Software (Adams, Dytran, Marc, Nastran, Patran), Noesis Optimus, Numeca, NWChem, Rasmol, Siemens NX, Sleuth, SPARC, StarCCM, Tecplot, Turbomole, VASP.

Główną ideą przyświecającą budowie superkomputera Tryton oraz stworzeniu projektu CD NIWA jest współpraca różnych środowisk: naukowców, ekspertów, biznesu, studentów i pasjonatów, często rozproszonych geograficznie. Centrum udostępnia specjalistyczne platformy oraz zapewnia zespół doradczy z merytoryczną pomocą w wykorzystaniu zasobów projektu. Klaster obliczeniowy ma być ukierunkowany na konkretne projekty badawcze, ze szczególnym uwzględnieniem dyscyplin uznanych w Polsce za priorytetowe, takie jak: energetyka, ochrona środowiska, czy medycyna. Warto tutaj wspomnieć o przeprowadzanych przez farmaceutów symulacjach, związanych z testowaniem nowych leków, czy analizę zapisów obrazów powstałych w czasie badań endoskopowych. Reszta projektów dostępna jest na stronie Projekty użytkowników.

https://youtu.be/7PJHdM9CPSw

W uroczystości uruchomienia superkomputera wzięli udział m.in. Senator RP prof. Edmund Wittbrodt, Posłowie RP Katarzyna Hall i dr Piotr Bauć, Andrzej Bojanowski – zastępca Prezydenta Gdańska ds. polityki gospodarczej oraz przedstawiciele Konwentu PG (z przewodniczącym Janem Kozłowskim i sekretarzem Henrykiem Majewskim na czele), władz Politechniki Gdańskiej oraz pomorskiego biznesu.