Dwa superkomputery o olbrzymiej mocy obliczeniowej, zaawansowany system przechowywania i udostępniania danych oraz laboratorium wizualizacji to najnowsze wyposażenie Centrum Technologii ICM UW. Platformy wdrożone w ramach projektu „Ocean” mają być wykorzystywane do prowadzenia zaawansowanych badań analitycznych typu big data na potrzeby biznesu, nauki oraz administracji publicznej.

Centrum Technologii ICM UW

Centrum Nowych Technologii ICM UW

Centrum Technologii ICM (Interdyscyplinarne Centrum Modelowania Matematycznego i Komputerowego) Uniwersytetu Warszawskiego to obecnie największy ośrodek Data Science w Europie Środkowej. Jego budowa trwała 3 lata i kosztowała 162 mln zł (85% tej kwoty to środki unijne). 17 czerwca 2016 r. oficjalnie otwarto Centrum Technologii ICM na warszawskiej Białołęce z nowoczesną serwerownią  o powierzchni ponad 6 tys. m², powstałą w ramach projektu “Ocean”.

Wyposażenie Centrum Obliczeniowego ICM UW

Sercem centrum obliczeniowego ICM są dwa nowe superkomputery:

  • Okeanos – superkomputer Cray XC40 o mocy ponad 1 petaflopa, który będzie służył do modelowania matematycznego i generowania dużych ilości danych; ICM UW udostępni Okeanos naukowcom z początkiem lipca 2016 r.
  • Enigma  wyprodukowany przez Huawei, największy w Polsce superkomputer do analiz big data. Ma ponad 8 tys. rdzeni obliczeniowych i pojemność pamięci przekraczającą 8 PB. Komputer wykorzystuje technologię Apache SPARK.

W ramach projektu „Ocean” oprócz superkomputera „Okeanos” ze współdzielonym systemem plików, firma Comtegra dostarczyła i zainstalowała w Centrum Technologii ICM  – klaster analityczny oraz archiwum obiektowe.

Platforma, którą obecnie dysponuje centrum obliczeniowe w Białołęce tworzą trzy zintegrowane systemy:

  • Superkomputer Okeanos ze współdzielonym systemem plików
    • Superkomputer Cray XC40 (ma ponad 1000 węzłów każdy wyposażony w 24 rdzenie procesora Intel Xeon z opcją Hyper Threading (HT) oraz ponad 1 petaflop mocy obliczeniowej).
    • System plików Lustre oparty o macierze dyskowe firmy DataDirect Networks (wydajność 150 GB/s, dysponujący przestrzenią 10 PB).
  • Klaster analityczny oparty na technologii serwerową Huawei i wyposażony w rozwiązania software’owe Cloudera i Apache Hadoop/Spark (ponad 8 PB przestrzeni oraz prędkość przesyłu na poziomie 56 Gb/s).
  • Archiwum obiektowe oparte na technologii HGST Active Archive System (pojemność 9 PB).
Laboratorium Wizualizacji Danych w Centrum Technologii ICM

Laboratorium Wizualizacji Danych w Centrum Technologii ICM

Centrum Technologii ICM UW posiada także system bezpiecznego przechowywania i udostępniania danych Faros o sumarycznej pojemności ponad 20 petabajtów oraz zaawansowane laboratorium wizualizacji wielkoskalowej i renderingu ze ścianą wideo o powierzchni 15 m² oraz serwerami generującymi obraz w rozdzielczości 8K Ultra HD na podstawie danych z obliczeń. Serwerownia została wyposażona w najnowocześniejsze systemy bezpieczeństwa, chłodzenia i zasilania. Szczególną uwagę zwrócono na kwestie związane z ochroną środowiska. Aby zminimalizować zużycie energii elektrycznej, pomieszczenia części biurowej są ogrzewane ciepłem pochodzącym z pracujących w serwerowni komputerów.

Zastosowania

Serwerownia ma służyć nie tylko do prowadzenia badań naukowych, ale przede wszystkim pełnić funkcję ośrodka analizy danych dla biznesu. Już teraz moc obu superkomputerów ICM jest wykorzystywana m.in. do badań medycznych nad nowymi lekami, precyzyjnego prognozowania pogody, badań nad nowymi materiałami dla przemysłu, symulacji geofizycznych zmian w skorupie ziemskiej, a także optymalizacji transportu i logistyki. ICM współpracuje też z międzynarodową organizacją lotnictwa cywilnego ICAO, analizując i optymalizując siatkę połączeń lotniczych na całym świecie. Centrum będzie wykorzystywane również jako ośrodek szkolący kadry w zakresie nauk o danych i ich analizie. Będą się tu również odbywały zajęcia dydaktyczne na kierunku inżynieria obliczeniowa prowadzonym przez ICM.

–  Centrum Technologii ICM to nie tylko nowoczesna serwerownia, ale także najlepsi specjaliści od modelowania matematycznego czy big data. Naszą ambicją i celem jest odpowiadanie na rosnące potrzeby biznesu i administracji; dzięki wiedzy naszych ludzi i mocy naszych superkomputerów jesteśmy w stanie dać odpowiedź niemal na każde postawione przez biznes pytanie – zapewnia prof. Marek Niezgódka, dyrektor ICM UW.

Superkomputer Okeanos

Superkomputer Okeanos

Superkomputer Okeanos

Okeanos zbudowany jest z ponad 1000 węzłów obliczeniowych, z których każdy zawiera dwa 12-rdzeniowe procesory Intel Xeon Haswell oraz 128 GB pamięci RAM. Wszystkie węzły systemu są połączone ultraskalowalną siecią Cray Aries o topologii Dragonfly. System wyróżnia wysoka moc i skalowalność obliczeniowa, a także wysoka wydajność przetwarzania danych grafowych. Okeanos najlepiej sprawdza się w obliczeniach wielkoskalowych, które w pojedynczym przebiegu wymagają zastosowania kilku tysięcy rdzeni obliczeniowych oraz kilkudziesięciu terabajtów pamięci operacyjnej. Realizacja tego typu obliczeń jest jego głównym przeznaczeniem. Superkomputer umożliwia analizę i przetwarzanie modeli matematycznych dużej ilości danych w bardzo krótkim czasie.

Zaproponowane przez naszą firmę rozwiązanie dało ICM jeden z najwydajniejszych, najbardziej skalowalnych file systemów w Polsce. System ten umożliwia pracę z ogromną wydajnością sięgającą 150 GB/s, prędkość tę można porównać do nagrania danych na 34 płyty DVD w ciągu sekundy. System plików udostępnia online 10 PB pojemności. Jeśli chcieli byśmy obejrzeć taką ilość filmów w jakości  Full HD, zajęło by to nam około 133 lata – mówi Michał Odziemczyk, inżynier analizy i wizualizacji danych, Comtegra.

Obecnie superkomputer ICM UW znajduje się na 4 miejscu superkomputerów w Polsce i na 108 miejscu na świecie według rankingu z czerwca 2016 r.

Parametry superkomputera:

  • ponad tysiąc węzłów w systemie Cray XC40,
  • węzły wyposażone w 24 rdzenie procesora Intel Xeon z opcją Hyper Threading(HT) i 128 GB pamięci operacyjnej,
  • węzły połączone wyspecjalizowaną, wysokowydajną siecią typu Cray Aries o prędkości 100 Gb/s połączonych w topologii DragonFly umożliwiającej najbardziej efektywne zrównoleglanie obliczeń,
  • ponad 1 PFLOPS teoretycznej mocy obliczeniowej,
  • ponad 1 000 GTEPS grafowej wydajności obliczeniowej.

Infrastruktura dla big data

Enigma – superkomputer Huawei w Centrum Technologii ICM

Enigma – superkomputer Huawei w Centrum Technologii ICM

Zbudowano pięć, niezależnych modułów analitycznych, które choć mają identyczną sprzę­tową konfigurację, to mogą być konfigurowane zupełnie niezależnie. Pozwala to na współpracę wielu zespołów analitycznych przy jednoczesnym zapewnieniu im odrębnych zasobów.

Aby zapewnić pożądaną wydajność, serwery połączono nie tylko standardową siecią Ethernet, ale także superszybką siecią Infiniband, co pozwala na uzyskiwanie wyników analiz szybciej niż przy korzystaniu z tradycyj­nych metod.

Komponenty infrastruktury

  • 363 serwery pozwalające na zapisywanie i przetwarzanie danych,
  • 1360 dysków o pojemności 6TB,
  • w sumie ponad 8PB przestrzeni,
  • transmisja danych z szybkością do 56Gb/s,
  • łączna pojemność ponad 9 PB RAW,
  • 588 oszczędnych dysków 8TB w technologii Helu,
  • łączna wydajność 7 GB/s,
  • technologia Scale-Out wraz z rozpraszaniem geograficznym,
  • obsługa protokołów S3, HTTP REST, NFS/CIFS.
Napisane przez Stefan Kaczmarek