{"id":712,"date":"2024-11-27T10:39:43","date_gmt":"2024-11-27T10:39:43","guid":{"rendered":"https:\/\/prace-lab2.pl\/?p=712"},"modified":"2024-11-27T10:41:57","modified_gmt":"2024-11-27T10:41:57","slug":"systemy-przechowywania-danych-dla-klastrow-hpc-projektu-prace-lab2-ponownie-na-io500","status":"publish","type":"post","link":"https:\/\/prace-lab2.pl\/?p=712","title":{"rendered":"Systemy przechowywania danych dla klastr\u00f3w HPC projektu PRACE-LAB2 ponownie na IO500"},"content":{"rendered":"\t\t<div data-elementor-type=\"wp-post\" data-elementor-id=\"712\" class=\"elementor elementor-712\" data-elementor-post-type=\"post\">\n\t\t\t\t\t\t<section class=\"elementor-section elementor-top-section elementor-element elementor-element-0c9fd9e elementor-section-boxed elementor-section-height-default elementor-section-height-default exad-glass-effect-no exad-sticky-section-no\" data-id=\"0c9fd9e\" data-element_type=\"section\" data-e-type=\"section\">\n\t\t\t\t\t\t<div class=\"elementor-container elementor-column-gap-default\">\n\t\t\t\t\t<div class=\"elementor-column elementor-col-100 elementor-top-column elementor-element elementor-element-b7a916e exad-glass-effect-no exad-sticky-section-no\" data-id=\"b7a916e\" data-element_type=\"column\" data-e-type=\"column\">\n\t\t\t<div class=\"elementor-widget-wrap elementor-element-populated\">\n\t\t\t\t\t\t<div class=\"elementor-element elementor-element-c1f6600 exad-sticky-section-no exad-glass-effect-no elementor-widget elementor-widget-text-editor\" data-id=\"c1f6600\" data-element_type=\"widget\" data-e-type=\"widget\" data-widget_type=\"text-editor.default\">\n\t\t\t\t<div class=\"elementor-widget-container\">\n\t\t\t\t\t\t\t\t\t<div class=\"et_pb_module et_pb_text et_pb_text_0 psnc-news-begin  et_pb_text_align_left et_pb_bg_layout_light\"><div class=\"et_pb_text_inner\"><p>W czasie konferencji Supercomputing 2024 w Altancie (USA) og\u0142oszone zosta\u0142y wyniki nowej edycji konkursu IO500, najszybszych system\u00f3w przechowywania danych na \u015bwiecie. System przechowywania danych PCSS dla klastra Proxima zaj\u0105\u0142 10. miejsce w kategorii \u201c10 Node Production List\u201d. Poprzednio, system PCSS dla klastra Altair, notowany by\u0142 na tej li\u015bcie w czerwcu 2024. Nowy system jest ca\u0142kowicie autorsk\u0105 konfiguracj\u0105 opracowan\u0105 w PCSS przez Dzia\u0142 Technologii Zarz\u0105dzania Danymi w Pionie Technologii Przetwarzania Danych PCSS, w wykorzystaniem infrastruktury pozyskanej i zbudowanej w ramach projektu Krajowy Magazyn Danych.<\/p><\/div><\/div><div class=\"et_pb_module et_pb_text et_pb_text_1 et_pb_text_align_left et_pb_bg_layout_light et_had_animation\"><div class=\"et_pb_text_inner\"><p>W obliczu rosn\u0105cego zapotrzebowania na szybk\u0105 obs\u0142ug\u0119 dost\u0119pu do danych, dla system\u00f3w, us\u0142ug i aplikacji AI, producenci sprz\u0119tu serwerowego, system\u00f3w pami\u0119ci masowych, sieci oraz in\u017cynierowie w centrach danych zmagaj\u0105 si\u0119 z wyzwaniami, w zakresie wydajno\u015bci I\/O o niespotykanej dot\u0105d skali. Wyzwaniem nie jest wy\u0142\u0105cznie pozyskanie odpowiednio szybkiego sprz\u0119tu dla przechowywania danych \u2013 obecnie w du\u017cej mierze opieraj\u0105cego si\u0119 o pami\u0119ci flash, ale tak\u017ce zapewnienie szybkiego interconnectu sieciowego oraz wdro\u017cenie skalowalnego oprogramowania dla zarz\u0105dzania danymi.<\/p><p>W dniach 17-22 listopada w Altancie w USA odbywa si\u0119 najwi\u0119ksza konferencja HPC na \u015bwiecie \u2013 Supercomputing 2024. R\u00f3wnolegle do ranking\u00f3w najszybszych system\u00f3w obliczeniowych \u2013 listy TOP500 i Green500 \u2013 rok rocznie og\u0142aszana jest tak\u017ce lista I500 \u2013 kt\u00f3ra por\u00f3wnuje najszybsze systemy przechowywania danych dla system\u00f3w HPC i centr\u00f3w danych. Gor\u0105cym tematem tej konferencji, jest oczywi\u015bcie budowa infrastruktury dla aplikacji, us\u0142ug i system\u00f3w sztucznej inteligencji (AI).<br \/>Tym bardziej cieszy wi\u0119c, i\u017c system PCSS zaj\u0105\u0142 10. globalnie miejsce w kategorii IO500 \u201c10 Node Production List\u201d; ta wysoka pozycja potwierdza, \u017ce systemy PCSS odpowiadaj\u0105 potrzebom wsp\u00f3\u0142czesnych aplikacji i us\u0142ug AI i HPC oraz system\u00f3w chmurowych.<\/p><p>System przechowywania danych dla klastra HPC Proxima oparty jest o otwart\u0105 infrastruktur\u0119 serwer\u00f3w pami\u0119ci flash i wysokowydajnej sieci Infiniband oraz otwarte oprogramowanie Lustre.<\/p><p>Nale\u017cy podkre\u015bli\u0107, \u017ce system ten jest ca\u0142kowicie autorsk\u0105 konfiguracj\u0105 opracowan\u0105 w PCSS, przez koleg\u00f3w z Dzia\u0142u Technologii Zarz\u0105dzania Danymi w Pionie Technologii Przetwarzania Danych. Pozosta\u0142e systemy w pierwszej 10-tce listy \u201c10 Node Production List\u201d s\u0105 systemami vendorskimi, w\u0142\u0105czaj\u0105c Intel DAOS, DDN Exascaler (komercyjna wersja oprogramowania Lustre), czy Weka.<\/p><p>Wysokie miejsca rozwi\u0105zania PCSS opieraj\u0105cego si\u0119 o system Lustre demonstruj\u0105 siln\u0105 pozycj\u0119 PCSS w\u015br\u00f3d Europejskich i \u015bwiatowych centr\u00f3w danych oraz potwierdza kompetencje PCSS w zakresie projektowania wysokowydajnych system\u00f3w przechowywania danych i system\u00f3w obliczeniowych.<br \/>Zaistnienie na li\u015bcie IO500 system\u00f3w PCSS demonstruje tak\u017ce wag\u0119 infrastruktury danych i infrastruktury obliczeniowej wykorzystanych do przeprowadzenia test\u00f3w pozycjonuj\u0105cych w rankingu IO500. Infrastruktura ta zosta\u0142a pozyskana dzi\u0119ki realizacji projekt\u00f3w KMD \u2013 Krajowy Magazyn Danych (POIR.04.02.00-00-D010\/20-00) oraz PRACE-LAB2 (POIR. 04.02.00-00-D010\/20).<\/p><p>Jeste\u015bmy tym bardziej dumni w wynik\u00f3w tegorocznego rankingu IO500, \u017ce na \u015bwiatowej li\u015bcie najefektywniejszych system\u00f3w danych znalaz\u0142 si\u0119 tak\u017ce drugi system PCSSu (pozycja 12. listy \u201c10 Node Production List\u201d) oraz dwa systemy Politechniki Wroc\u0142awskiej (pozycja 14. na \u201c10 Node Production List\u201d i pozycja 24. na \u201cProduction list\u201d) a tak\u017ce ACK Cyfronet AGH (pozycja 12. listy \u201cProduction List\u201d), kt\u00f3re wsp\u00f3lnie z PCSS realizowa\u0142y projekty KMD i PRACE-LAB2 tworz\u0105c sfederowan\u0105 infrastruktur\u0119 rozmieszczon\u0105 w 10 o\u015brodkach obliczeniowych i sieciowych w Polsce.<\/p><p>Wi\u0119cej informacji:<\/p><ul><li>Zestawienie IO 500 10 Node Production SC24 List:\u00a0<a href=\"https:\/\/io500.org\/list\/sc24\/ten-production\" target=\"_blank\" rel=\"noopener\">https:\/\/io500.org\/list\/sc24\/ten-production<\/a><\/li><li>Projekt Krajowy Magazyn Danych:\u00a0<a href=\"https:\/\/kmd.pionier.net.pl\/\" target=\"_blank\" rel=\"noopener\">https:\/\/kmd.pionier.net.pl\/<\/a><\/li><\/ul><\/div><\/div>\t\t\t\t\t\t\t\t<\/div>\n\t\t\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/div>\n\t\t\t\t\t<\/div>\n\t\t<\/section>\n\t\t\t\t<\/div>\n\t\t","protected":false},"excerpt":{"rendered":"<p>W czasie konferencji Supercomputing 2024 w Altancie (USA) og\u0142oszone zosta\u0142y wyniki nowej edycji konkursu IO500, najszybszych system\u00f3w przechowywania danych na \u015bwiecie. System przechowywania danych PCSS dla klastra Proxima zaj\u0105\u0142 10. miejsce w kategorii \u201c10 Node Production List\u201d. Poprzednio, system PCSS dla klastra Altair, notowany by\u0142 na tej li\u015bcie w czerwcu 2024. Nowy system jest ca\u0142kowicie [&hellip;]<\/p>\n","protected":false},"author":1,"featured_media":713,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"elementor_theme","format":"standard","meta":{"footnotes":""},"categories":[6],"tags":[],"class_list":["post-712","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-news"],"blocksy_meta":[],"_links":{"self":[{"href":"https:\/\/prace-lab2.pl\/index.php?rest_route=\/wp\/v2\/posts\/712","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/prace-lab2.pl\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/prace-lab2.pl\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/prace-lab2.pl\/index.php?rest_route=\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/prace-lab2.pl\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=712"}],"version-history":[{"count":4,"href":"https:\/\/prace-lab2.pl\/index.php?rest_route=\/wp\/v2\/posts\/712\/revisions"}],"predecessor-version":[{"id":717,"href":"https:\/\/prace-lab2.pl\/index.php?rest_route=\/wp\/v2\/posts\/712\/revisions\/717"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/prace-lab2.pl\/index.php?rest_route=\/wp\/v2\/media\/713"}],"wp:attachment":[{"href":"https:\/\/prace-lab2.pl\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=712"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/prace-lab2.pl\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=712"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/prace-lab2.pl\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=712"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}