應(yīng)用場(chǎng)景

高性能計(jì)算(High performance computing，縮寫HPC)指通常使用很多處理器(作為單個(gè)機(jī)器的一部分)或者某一集群中的多臺(tái)計(jì)算機(jī)(作為單個(gè)計(jì)算資源操作)的計(jì)算系統(tǒng)和環(huán)境。HPC應(yīng)用的主要領(lǐng)域是科學(xué)與工程計(jì)算，諸如高能物理、核爆炸模擬、氣象預(yù)報(bào)、石油勘探、地震預(yù)報(bào)、地球模擬、藥品研制、CAD設(shè)計(jì)中的仿真與建模、流體力學(xué)的計(jì)算等。隨著云計(jì)算和大數(shù)據(jù)技術(shù)的不斷成熟和廣泛應(yīng)用，HPC已經(jīng)滲透到HPDA和HPCCloud領(lǐng)域。

有許多類型的HPC系統(tǒng)，不同的高性能計(jì)算應(yīng)用具有不同的應(yīng)用特征，相應(yīng)的對(duì)于計(jì)算、網(wǎng)絡(luò)和存儲(chǔ)等方面有著不同的要求，應(yīng)用于石油勘探、地震資料處理、氣象、動(dòng)漫渲染以及生命科學(xué)等領(lǐng)域的高性能計(jì)算系統(tǒng)，面對(duì)海量數(shù)據(jù)需要解決后端數(shù)據(jù)集中存取的1/0瓶頸。以石油物探應(yīng)用為例，地震資料處理數(shù)據(jù)的特點(diǎn)及對(duì)存儲(chǔ)的要求主要體現(xiàn)在:

1、統(tǒng)一命名空間

不同的計(jì)算節(jié)點(diǎn)都要到這個(gè)統(tǒng)一命名空間中讀取數(shù)據(jù)，存放、讀取中間數(shù)據(jù)，存放結(jié)果數(shù)據(jù);

2、數(shù)據(jù)量大

初始數(shù)據(jù)幾+TB，中間數(shù)據(jù)是初始數(shù)據(jù)的10~20倍，但成果數(shù)據(jù)的大小卻僅有初始數(shù)據(jù)的0.5~1%左右;

3、帶寬要求高

計(jì)算節(jié)點(diǎn)和存儲(chǔ)節(jié)點(diǎn)的數(shù)據(jù)交互次數(shù)不頻繁，但是數(shù)據(jù)量大，即對(duì)帶寬和存儲(chǔ)節(jié)點(diǎn)的帶寬要求高;

4、可靠性要求高

中間致?lián)徒Y(jié)果數(shù)據(jù)都是珍貴數(shù)據(jù)，是通過大量的時(shí)間和資源的投入得出來的，所以對(duì)存儲(chǔ)的可靠性要求高;

5、擴(kuò)展性高

不同任務(wù)的計(jì)算集群，共用一個(gè)存儲(chǔ)系統(tǒng)，避免數(shù)據(jù)遷移。

6、易用易管理

單一命名空間;存儲(chǔ)資源可以員活的劃分給不同的計(jì)算任務(wù)(計(jì)算節(jié)點(diǎn));維護(hù)簡(jiǎn)單;配額管理

7、數(shù)據(jù)歸檔要求

中間數(shù)據(jù)和結(jié)果數(shù)據(jù)經(jīng)過生命周期后，很少被訪問，有歸檔需求。

解決方案

希捷Exos X 5U84高密度存儲(chǔ)系統(tǒng)具有極高的系統(tǒng)性能以及合理的架構(gòu)。Exos X 5U84 提供7GB/s的順序讀和5.5GB/s的順序?qū)懩芰ν掏?，為大容量存?chǔ)系統(tǒng)的帶寬提供保障。 ExosX 5U84存儲(chǔ)系統(tǒng)可以支持高端336片3.5寸大容量硬盤，如果配置18TB硬盤，系統(tǒng)最大容量高達(dá)5.3PB，可滿足苛刻的性能和容量需求。

希捷自修復(fù)存儲(chǔ)系統(tǒng)采用4U106規(guī)格機(jī)箱，配置106塊18T硬盤，容量高達(dá)1.91PB，采用希捷ADAPT糾測(cè)技術(shù)，支持磁盤自修復(fù)和快速磁盤重建，提供14GB/s的順序讀和12GB/s的娘序?qū)懩芰ν掏隆?/p>

上述產(chǎn)品與第三方并行文件系統(tǒng)如GPFS或Lustre結(jié)合，可以完美地滿足高性能計(jì)算對(duì)于存儲(chǔ)系統(tǒng)的苛刻要求。此外，它憑借全冗余的1/0路徑、高級(jí)保護(hù)特性以及廣泛的診斷功能，可確保數(shù)據(jù)的最高可用性、完整性和安全性。

方案拓?fù)鋱D及方案優(yōu)點(diǎn)

1、高性能

能夠提供穩(wěn)定聚合帶寬以及高速文件查詢，大幅度減少計(jì)算任務(wù)的數(shù)據(jù)IO時(shí)間，提高集群的工作效率。通過增加IO節(jié)點(diǎn)和存儲(chǔ)，帶寬可線性增漲，滿足大規(guī)模數(shù)據(jù)并行讀寫要求;

2.可擴(kuò)展的海量存儲(chǔ)空間

可在業(yè)務(wù)系統(tǒng)不間斷的情況下，通過增加存儲(chǔ)節(jié)點(diǎn)設(shè)備的方式擴(kuò)展容量至PB級(jí)，使得高性能計(jì)算集群可以存放大量的計(jì)算素材和計(jì)算結(jié)果;

3.全局?jǐn)?shù)據(jù)共享

提供單一系統(tǒng)映象，所有IO節(jié)點(diǎn)共享同一文件系統(tǒng)視圖，使得所有計(jì)算節(jié)點(diǎn)能即時(shí)獲取所需的數(shù)據(jù)，無需進(jìn)行數(shù)據(jù)遷移，大幅度提高了集群的使用效率，支持負(fù)載均衡，單點(diǎn)故障容錯(cuò)。