W CI TASK zainstalowano największy w Europie pod względem pojemności i wydajności system macierzy Huawei
Produkty, Rozwiązania i usługi dla przedsiębiorstw
Zakupione serwery pamięci masowej wyposażone są w dyski o łącznej pojemności 5,4 PB. Wobec 2,3 PB łącznej pojemności dysków dostępnych wcześniej dla superkomputerów, daje to prawie dwukrotny wzrost pojemności. Podobnie jest z wydajnością. Nowe serwery umożliwiają strumieniowy zapis danych z prędkością 36 GB/s. Jest to ponad dwukrotny wzrost wobec uzyskiwanych wcześniej 15 GB/s.
dr inż. Jerzy Proficz,
zastępca dyrektora
Centrum Informatycznego TASK
Centrum Informatyczne TASK (CI TASK) powstało w 1994 r. Centrum to stanowi jednostkę organizacyjną Politechniki Gdańskiej podlegającą bezpośrednio rektorowi PG. Zadaniem CI TASK jest obsługa środowiska naukowo-badawczego w zakresie dostępu do krajowej i światowej sieci informatycznej, serwisów informacyjnych i baz danych oraz udostępnianie mocy obliczeniowych serwerów wraz z oprogramowaniem użytkowym. Pełni też rolę Centrum Komputerów Dużej Mocy. W Polsce działają jeszcze cztery podobnie ośrodki: CYFRONET w Krakowie, PCSS w Poznaniu, ICM w Warszawie i WCSS we Wrocławiu.
W Centrum Informatycznym TASK działa m.in. drugi co do wielkości w Polsce – po maszynie Prometheus w CYFRONET – superkomputer Tryton o mocy 1,48 PFLOPS. Zbudowany on został z podzespołów zakupionych z funduszy projektów Centrum Doskonałości Naukowej Infrastruktury Wytwarzania Aplikacji (CD NIWA) i PLGrid Plus. To właśnie na potrzeby projektu CD NIWA dokonano – we współpracy z Huawei – ostatniej rozbudowy superkomputera Tryton.
CD NIWA jest miejscem, w którym wykorzystywane są nowoczesne platformy do wytwarzania różnego typu aplikacji – równoległych, rozproszonych i mobilnych. Użytkownikom oferowana jest zaawansowana infrastruktura informatyczna, platformy wytwarzania aplikacji oraz usługi doradcze. Dostępne w CD NIWA aplikacje to: wirtualny Targ Węglowy, system antyplagiatowy Sowi- Docs, system Hoverold, drzewo genealogiczne, biblioteka Koala oraz aplikacja umożliwiająca analizę danych z radioteleskopu.
W ramach projektu, zrealizowanego na przełomie lat 2015 i 2016, zakupiono 124 serwery Huawei FusionServer RH1288 V3. Zwiększyło to moc superkomputera Tryton o prawie 110 TFLOPS. Łącznie dysponuje on dziś 1607 serwerami z 3214 procesorami Intel Xeon E5 (Haswell), 38 568 rdzeniami, 48 akceleratorami i 2018 TB pamięci RAM. Wszystko mieści się w 44 szafach stelażowych i pracuje pod kontrolą systemu operacyjnego Linux.
W CI TASK zwiększono także pojemność wykorzystywanego przez superkomputer Tryton systemu pamięci masowej dzięki macierzom Huawei OceanStor OS5800. „Zakupione serwery pamięci masowej wyposażone są w dyski o łącznej pojemności 5,4 PB. Wobec 2,3 PB łącznej pojemności dysków, dostępnych wcześniej dla superkomputerów, daje to dwukrotny wzrost pojemności. Podobnie jest z wydajnością. Nowe serwery umożliwiają strumieniowy zapis danych z prędkością 36 GB/s. Jest to ponad dwukrotny wzrost wobec uzyskiwanych wcześniej 15 GB/s” – opowiada dr inż. Jerzy Proficz, zastępca dyrektora Centrum Informatycznego TASK.
Macierze Huawei OceanStor OS5800 wykorzystywane są w dwojaki sposób. Po pierwsze, służą do składowania danych wejściowych oraz wyników obliczeń naukowych. Przykładowe zastosowania to symulacje zjawisk fizycznych i chemicznych, czy też analiza danych pomiarowych. Po drugie, zakupione macierze Huawei używane są do obliczeń chmurowych, w tym do różnego rodzaju analiz danych, ze szczególnym uwzględnieniem dużych wolumenów danych – Big Data. „Planujemy wykorzystanie ich również do systemów przechowywania publikacji naukowych – repozytoriów Open Science, a także na potrzeby systemu ochrony własności intelektualnej – SOWI” – wyjaśnia dr inż. Jerzy Proficz.
Jednym z wymogów stawianych przez CI TASK przed zakupem nowych macierzy była ich szybkość i wydajność. Przedstawiciele Centrum zażądali od dostawców prędkości minimum 15 GB/s w zapisie danych. Ostatecznie wybrano rozwiązania Huawei, który zaoferował 30 GB/s w zapisie i prawie 6 PB pojemności. „Tak duże wymogi stawiane nowym macierzom związane są z faktem, że docelowo ten system pamięci masowych będzie służył do przechowywania bardzo dużej ilości danych. Aby łatwo było je przetwarzać, wymagany był szybki odczyt i zapis gromadzonych informacji” – twierdzi Michał Białoskórski, Senior HPC Administrator w CI TASK. „Jedna macierz nie byłaby w stanie zagwarantować 30 GB/s, potrzebowaliśmy więc kilku takich urządzeń” – dodaje.
Tak duże wymogi stawiane nowym macierzom związane są z faktem, że docelowo ten system pamięci masowych będzie służył do przechowywania bardzo dużej ilości danych. Aby łatwo było je przetwarzać, wymagany był szybki odczyt i zapis gromadzonych informacji. Jedna macierz zapewnia 5–6 GB/s, aby zagwarantować 30 GB/s, potrzebowaliśmy sześciu takich urządzeń.
Michał Białoskórski,
Senior HPC
Administrator w CI TASK
Wraz z macierzami Huawei OceanStor OS5800 V3 dostarczono serwery RH2288V3. Urządzenia połączono symetrycznie, tworząc pary wykorzystujące do transmisji danych łącza Fibre Channel o przepustowości 16 Gb/s. Następnie serwery Huawei łączą się z docelowym klastrem obliczeniowym – superkomputerem Tryton – za pomocą sieci InfiniBand FDR 56 Gb/s.
„Taka architektura ma nam zapewnić równomierne obciążenie przy zapisie i odczycie danych oraz niezawodność w miarę nagłego wzrostu obciążenia, a także np. awarii interfejsów sieciowych lub kabli łączących macierze z serwerami” – wyjaśnia Michał Białoskórski. Każdy z trzech zestawów serwera i macierzy zapisuje dane niezależnie. Za równomierne obciążenie zapisu i odczytu danych pomiędzy macierze odpowiada narzędzie Huawei OceanStor UltraPath. CI TASK otrzymał je wraz z zakupionym systemem pamięci masowej. Z kolei za połączenie serwerów z klastrem odpowiada bezpłatne oprogramowanie do tworzenia dysków sieciowych dla klastrów obliczeniowych Lustre.
