5月7日,以“數(shù)據(jù)覺醒,構(gòu)建AI-Ready的領(lǐng)先數(shù)據(jù)基礎(chǔ)設(shè)施”為主題的2024創(chuàng)新數(shù)據(jù)基礎(chǔ)設(shè)施論壇在柏林舉行。華為公司副總裁、數(shù)據(jù)存儲產(chǎn)品線總裁周躍峰博士發(fā)表題為“數(shù)據(jù)覺醒時(shí)代,華為重新定義數(shù)據(jù)存儲”主題演講,他表示,具備極致性能、數(shù)據(jù)韌性、全新數(shù)據(jù)范式、高擴(kuò)展性、綠色節(jié)能、數(shù)據(jù)編織能力的數(shù)據(jù)存儲是AI時(shí)代存儲演進(jìn)的必由之路。
華為公司副總裁、數(shù)據(jù)存儲產(chǎn)品線總裁 周躍峰博士
從上世紀(jì)90年代至今,隨著企業(yè)的應(yīng)用由單機(jī)、數(shù)據(jù)庫/虛擬化、文件共享、大數(shù)據(jù)、高性能數(shù)據(jù)分析等應(yīng)用的變遷,數(shù)據(jù)存儲經(jīng)歷了從DAS到SAN/NAS,再到非結(jié)構(gòu)化存儲的變革與演進(jìn)。直到如今生成式AI的爆發(fā),對數(shù)據(jù)存儲提出了新的訴求。
AI大模型集群規(guī)模已邁入萬卡、十萬卡時(shí)代,集群規(guī)模增加帶來更加頻繁的故障和訓(xùn)練中斷,重復(fù)的CheckPoint數(shù)據(jù)寫入、斷點(diǎn)續(xù)訓(xùn)導(dǎo)致算力資源閑置,集群可用度不足50%。此外,到2026年,全球數(shù)據(jù)中心的耗電量預(yù)計(jì)將達(dá)到2022年的2.3倍,相當(dāng)于日本一個(gè)國家全年的耗電量,其中數(shù)據(jù)中心一半以上的電力消耗都將被AI占據(jù)。
AI時(shí)代呼喚新一代數(shù)據(jù)存儲。過去的數(shù)據(jù)存儲主要關(guān)注性能、可靠、數(shù)據(jù)范式三個(gè)方面;面向未來,AI存儲還應(yīng)增加三個(gè)維度:高擴(kuò)展性、綠色節(jié)能與數(shù)據(jù)編織。數(shù)據(jù)覺醒時(shí)代,華為將重新定義數(shù)據(jù)存儲,聚焦于六個(gè)方面的創(chuàng)新,持續(xù)引領(lǐng):
極致性能:超越傳統(tǒng)存儲10倍的性能,支持PB級帶寬以及億級IOPS,極大提升生成式AI全流程效率;
數(shù)據(jù)韌性:通過架構(gòu)和技術(shù)創(chuàng)新,實(shí)現(xiàn)99.9999%高可靠性,通過內(nèi)置防勒索引擎,實(shí)現(xiàn)偵測準(zhǔn)確率提升至99.99%,并將AI訓(xùn)練過程中CheckPoint恢復(fù)時(shí)間縮至1分鐘以內(nèi);
全新數(shù)據(jù)范式:使能多維“張量”格式的數(shù)據(jù),通過智能檢索引擎,具備快速的張量數(shù)據(jù)檢索能力;通過內(nèi)嵌知識庫,利用RAG技術(shù)消除AI大模型幻覺;
高擴(kuò)展性:存儲集群支持EB級容量橫向擴(kuò)展;每個(gè)引擎可支持多GPU、DPU或NPU縱向擴(kuò)展,以支持近存計(jì)算;
綠色節(jié)能:通過存儲介質(zhì)應(yīng)用創(chuàng)新和整機(jī)硬件創(chuàng)新,實(shí)現(xiàn)小于1Watt/TB的存儲能效和1PB/U的存儲密度;
數(shù)據(jù)編織:基于存儲元數(shù)據(jù)管理及檢索能力,實(shí)現(xiàn)全局?jǐn)?shù)據(jù)可視、可管,并支持10倍的數(shù)據(jù)流動(dòng)效率提升。
基于以上創(chuàng)新,華為推出全新A系列高性能存儲OceanStor A800,專為AI而生,可有效提升AI集群可用度30%。性能方面,OceanStor A800帶寬是友商同類產(chǎn)品的4倍,IOPS達(dá)友商的8倍;支持EB級容量擴(kuò)展,最大支持?jǐn)U容至4096張算力卡,512個(gè)存儲控制器;從空間能耗來看,密度高達(dá)1PB/U,能耗低至0.7Watt/TB;結(jié)合向量化索引、張量格式數(shù)據(jù)、RAG知識庫,使能全新數(shù)據(jù)范式;數(shù)據(jù)韌性方面,勒索攻擊偵測準(zhǔn)確率從99.9%提升至99.99%;通過數(shù)據(jù)編織能力,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)管理。
此外,存儲介質(zhì)創(chuàng)新助力可持續(xù)發(fā)展。華為新推出128TB大容量SSD盤,相比業(yè)界友商,每PB節(jié)約88%空間,節(jié)省92%能耗,相同空間實(shí)現(xiàn)10倍容量提升,進(jìn)一步降低數(shù)據(jù)中心能耗。
同樣,AI-Ready的前提是Data-Ready。DME內(nèi)置的Omni-Dataverse全局文件系統(tǒng)實(shí)現(xiàn)企業(yè)全域數(shù)據(jù)資產(chǎn)可視、可管、可流動(dòng),構(gòu)筑AI數(shù)據(jù)湖存儲底座。
最后,周躍峰表示,華為將聚焦數(shù)據(jù)覺醒時(shí)代客戶面臨的挑戰(zhàn)和需求,重新定義數(shù)據(jù)存儲,構(gòu)筑AI-Ready的領(lǐng)先數(shù)據(jù)基礎(chǔ)設(shè)施,為客戶創(chuàng)造價(jià)值。