在日前由中國計(jì)算機(jī)學(xué)會(CCF)主辦的CCF中國存儲大會上,中國電子技術(shù)標(biāo)準(zhǔn)化研究院、存儲產(chǎn)業(yè)技術(shù)創(chuàng)新戰(zhàn)略聯(lián)盟等數(shù)十家產(chǎn)學(xué)研機(jī)構(gòu)聯(lián)合發(fā)布了《AIGC數(shù)據(jù)存儲研究報(bào)告》(以下簡稱報(bào)告),這是業(yè)界首個(gè)對AIGC(生成式人工智能)場景下的存儲底座做出精準(zhǔn)畫像的研究報(bào)告。
報(bào)告認(rèn)為,人工智能從“以模型為中心”加速向“以數(shù)據(jù)為中心”轉(zhuǎn)變,大模型技術(shù)步入相對“穩(wěn)態(tài)”,人工智能進(jìn)入以數(shù)據(jù)驅(qū)動模型優(yōu)化階段,數(shù)據(jù)的要素價(jià)值被進(jìn)一步放大,高質(zhì)量數(shù)據(jù)的全生命周期管理成為人工智能發(fā)展的核心動力之一。報(bào)告提出,AIGC場景下,存儲面臨性能、效率和韌性方面的挑戰(zhàn),存儲底座需要“六維”協(xié)同并進(jìn),“六位一體”畫像,即需要具備數(shù)據(jù)流動、處理、共享、容納、安全、管理六種能力,從產(chǎn)品和方案上滿足AIGC對存儲的需求。
浪潮信息相關(guān)負(fù)責(zé)人在會上表示,數(shù)據(jù)是人工智能時(shí)代的核心引擎,數(shù)據(jù)中心逐漸由以計(jì)算為中心向以數(shù)據(jù)為中心轉(zhuǎn)變。AIGC時(shí)代,人工智能和數(shù)據(jù)要素是數(shù)據(jù)中心兩大核心工作場景,存儲面臨效率、性能等挑戰(zhàn),需要先進(jìn)存力支撐,先進(jìn)存力需要先進(jìn)架構(gòu),即新型存儲架構(gòu)。
浪潮信息存儲首席架構(gòu)師孫斌分析,算力需要存力和運(yùn)力共同支撐、平衡設(shè)計(jì),現(xiàn)在算力在迅速增長,存力、運(yùn)力與算力要互相協(xié)同。存儲甚至已成為智算的瓶頸,亟待提升存儲性能,才能以存強(qiáng)算。
我國算力、算網(wǎng)規(guī)模及能力持續(xù)攀升。工業(yè)和信息化部數(shù)據(jù)顯示,截至2024年6月,我國在用算力中心機(jī)架總規(guī)模超過830萬標(biāo)準(zhǔn)機(jī)架,算力總規(guī)模達(dá)246EFLOPS(每秒百億億次浮點(diǎn)運(yùn)算),位于世界前列;互聯(lián)互通縱深推進(jìn),城域算力節(jié)點(diǎn)間1ms(毫秒)時(shí)延保障能力逐漸形成,區(qū)域集群到周邊主要城市間5ms時(shí)延保障能力廣泛覆蓋,國家樞紐節(jié)點(diǎn)間20ms時(shí)延保障能力全面實(shí)現(xiàn);全國算力中心平均電能利用效率(PUE)降至1.47,創(chuàng)建國家綠色數(shù)據(jù)中心246個(gè),超140個(gè)算力中心綠色低碳等級達(dá)到4A級以上標(biāo)準(zhǔn)。
工信部發(fā)布的《算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展行動計(jì)劃》中提出,到2025年計(jì)算力規(guī)模超過300EFLOPS,智能算力占比達(dá)到35%;提升算力高效運(yùn)載質(zhì)量,強(qiáng)化算力接入網(wǎng)絡(luò)能力;推動以云服務(wù)方式整合算力資源,促進(jìn)多方算力互聯(lián)互通。
以生成式人工智能為代表的人工智能應(yīng)用、大模型訓(xùn)練等新需求、新業(yè)務(wù)的崛起,推動智算規(guī)模呈現(xiàn)高速增長態(tài)勢。據(jù)測算,截至2023年底,全球智能算力規(guī)模為335EFLOPS,同比增長達(dá)136%,增速遠(yuǎn)超算力整體規(guī)模增速。我國智能算力占比也顯著增加,智算中心集聚分布。截至2023年底,智能算力規(guī)模占整體算力規(guī)模的增例近30%,增效明顯。
“生成式人工智能時(shí)代,隨著十萬卡算力集群的規(guī)劃落地,模型參數(shù)也將達(dá)到萬億、10萬億,數(shù)據(jù)處理的復(fù)雜度和數(shù)據(jù)膨脹率也呈數(shù)量級激增,數(shù)據(jù)中心加速向數(shù)據(jù)型中心演進(jìn)。人工智能和數(shù)據(jù)要素是數(shù)據(jù)型中心兩類主要新型負(fù)載,存儲面臨性能、效率、容量等多重挑戰(zhàn),需要數(shù)據(jù)近計(jì)算存儲和數(shù)據(jù)全生命周期存儲兩大能力,可組合分布式融合存儲是未來數(shù)據(jù)中心建設(shè)的最佳選擇!睂O斌說。
據(jù)了解,面向AIGC時(shí)代數(shù)據(jù)中心存儲要求,浪潮信息存儲提出基于新型存儲架構(gòu)的機(jī)柜級存儲底座和數(shù)據(jù)中心級存儲底座,以存儲架構(gòu)創(chuàng)新打造先進(jìn)存力,滿足集約高效、一體化數(shù)據(jù)中心的建設(shè)要求。
2023年5月,浪潮信息發(fā)布為大模型專門優(yōu)化的分布式全閃存儲系列,為AI大模型數(shù)據(jù)歸集、訓(xùn)練、數(shù)據(jù)歸檔與管理等階段提供強(qiáng)大存儲支撐能力,助力用戶加速大模型系統(tǒng)的創(chuàng)新及應(yīng)用落地。6月,浪潮信息重磅推出基于新一代分布式存儲平臺的AIGC存儲解決方案,應(yīng)對大模型應(yīng)用對存儲性能、容量以及數(shù)據(jù)管理等方面的苛刻要求。同時(shí),嘗試性提出GPU計(jì)算集群算力與存儲集群聚合帶寬的推薦配比,實(shí)現(xiàn)檢測點(diǎn)數(shù)據(jù)60秒內(nèi)寫入和讀取恢復(fù),提高大模型訓(xùn)練效率。未來,浪潮信息存儲將持續(xù)聚焦新型存儲架構(gòu)、新型存儲介質(zhì)加速技術(shù)等前沿研究,牽引共建AI存儲場景共同體,推動前沿存儲技術(shù)創(chuàng)新發(fā)展。(經(jīng)濟(jì)日報(bào)記者 黃鑫)