核心觀點(diǎn)
驅(qū)動(dòng)因素:
-
硬件層面:更大容量的內(nèi)存、SSD和HDD,以及更高密度的存儲(chǔ)介質(zhì)。
-
軟件層面:更高效的數(shù)據(jù)服務(wù)以支持GPU和AI驅(qū)動(dòng)的分析,以及提升數(shù)據(jù)保護(hù)和安全性。
-
應(yīng)用層面:對(duì)象存儲(chǔ)在AI訓(xùn)練和推理中的高性能訪問需求日益增長。
存儲(chǔ)技術(shù)棧分層模型:
-
最底層:記錄介質(zhì)(如NAND閃存、磁盤、磁帶)。 -
中間層:將介質(zhì)封裝成驅(qū)動(dòng)器的設(shè)備,以及將驅(qū)動(dòng)器整合成硬件系統(tǒng)的設(shè)備(如SAN和文件存儲(chǔ)設(shè)備)。 -
更高層:控制這些系統(tǒng)的軟件,以及通過協(xié)議和API向應(yīng)用程序提供存儲(chǔ)服務(wù)的上層軟件。 -
該模型涵蓋了SAN(塊級(jí)訪問)、文件存儲(chǔ)(文件級(jí)訪問)和對(duì)象存儲(chǔ)三種主要存儲(chǔ)類型。應(yīng)用程序可以是事務(wù)型或分析型數(shù)據(jù)庫,為更上層的應(yīng)用提供服務(wù)。數(shù)據(jù)則被分為主數(shù)據(jù)、副本數(shù)據(jù)和歸檔數(shù)據(jù)三類。
供應(yīng)商生態(tài):
-
底層介質(zhì)供應(yīng)商:市場集中度高,主要由少數(shù)幾家大型企業(yè)主導(dǎo),如HDD領(lǐng)域的三巨頭(希捷、東芝、西部數(shù)據(jù)),以及DRAM領(lǐng)域的三巨頭(美光、三星、SK海力士)。但在DRAM連接領(lǐng)域,例如CXL技術(shù),初創(chuàng)企業(yè)活動(dòng)增多。
-
硬件陣列層:傳統(tǒng)供應(yīng)商(如戴爾、日立Vantara、慧與、IBM、NetApp)仍然占據(jù)重要地位,但也涌現(xiàn)出一些創(chuàng)新者,如Pure Storage、Infinidat和VAST Data。VAST Data的DASE架構(gòu)對(duì)市場產(chǎn)生了一定影響。
-
企業(yè)級(jí)文件存儲(chǔ)領(lǐng)域:相對(duì)成熟,主要由戴爾和NetApp主導(dǎo),但也存在一些新興企業(yè),如Qumulo和WEKA。
-
數(shù)據(jù)容器領(lǐng)域:快速發(fā)展,特別是數(shù)據(jù)湖和湖倉一體化架構(gòu),Snowflake和Databricks是其中的佼佼者。生成式AI的興起也推動(dòng)了向量數(shù)據(jù)庫的發(fā)展,涌現(xiàn)出Pinecone和Milvus等供應(yīng)商。
關(guān)鍵趨勢:
-
CXL技術(shù)的影響力將進(jìn)一步擴(kuò)大。 -
AI及其訓(xùn)練和推理,以及網(wǎng)絡(luò)韌性和安全性仍然是驅(qū)動(dòng)存儲(chǔ)市場需求和發(fā)展的兩大關(guān)鍵因素。
——技術(shù)棧演進(jìn)、市場格局與關(guān)鍵驅(qū)動(dòng)力
2025年初,IT存儲(chǔ)領(lǐng)域呈現(xiàn)出蓬勃發(fā)展的態(tài)勢,各存儲(chǔ)技術(shù)棧層級(jí)均在持續(xù)創(chuàng)新。這些發(fā)展受到以下需求的驅(qū)動(dòng):更大容量的內(nèi)存、更大容量的SSD、更高密度的HDD、更高效的數(shù)據(jù)服務(wù)以支持GPU,以及為AI驅(qū)動(dòng)的分析做好準(zhǔn)備。同時(shí),數(shù)據(jù)保護(hù)與安全性能的提升,以及對(duì)象存儲(chǔ)在AI訓(xùn)練和推理中的高性能訪問的推廣,也成為關(guān)鍵趨勢。
讓我們首先審視IT存儲(chǔ)的本質(zhì)及其用途。第二個(gè)問題更容易回答:存儲(chǔ)的存在是為了向運(yùn)行在服務(wù)器或其他主機(jī)處理器上的應(yīng)用程序提供數(shù)據(jù),并存儲(chǔ)這些應(yīng)用程序生成的數(shù)據(jù)。從這個(gè)意義上講,所有使用存儲(chǔ)數(shù)據(jù)的系統(tǒng)都可以被視為應(yīng)用程序。
IT存儲(chǔ)可以被視為一個(gè)層級(jí)化的技術(shù)棧,最底層是基本的記錄介質(zhì)類型,向上是將這些介質(zhì)封裝成驅(qū)動(dòng)器的設(shè)備,以及將驅(qū)動(dòng)器整合成可用硬件系統(tǒng)(如SAN和文件存儲(chǔ)設(shè)備)的更高級(jí)設(shè)備。隨后是控制這些系統(tǒng)的軟件,再往上是通過協(xié)議和API向應(yīng)用程序提供存儲(chǔ)服務(wù)的上層軟件。
這一技術(shù)棧包括SAN(塊級(jí)數(shù)據(jù)訪問)、文件存儲(chǔ)(文件級(jí)訪問)和對(duì)象存儲(chǔ)。而應(yīng)用程序也可以是事務(wù)型或分析型數(shù)據(jù)庫,它們以協(xié)議形式向CRM軟件系統(tǒng)或基于數(shù)據(jù)倉庫的AI驅(qū)動(dòng)的欺詐檢測分析應(yīng)用提供存儲(chǔ)服務(wù)。
數(shù)據(jù)可以分為三類:第一類是用于數(shù)據(jù)庫的主數(shù)據(jù)(Primary Data);第二類是各種形式的副本數(shù)據(jù)(Secondary Data),用于防止主數(shù)據(jù)丟失或損壞;第三類是長期保存的參考數(shù)據(jù),即歸檔數(shù)據(jù)。
我們可以通過一個(gè)存儲(chǔ)層級(jí)圖來概括這些概念:
該圖有兩個(gè)側(cè)欄:左側(cè)是商業(yè)模式相關(guān)內(nèi)容,右側(cè)是從備份到網(wǎng)絡(luò)韌性的概念。這些內(nèi)容適用于存儲(chǔ)技術(shù)棧的多個(gè)層級(jí),但并不構(gòu)成單一的層級(jí)。
我們可以利用該圖將技術(shù)和供應(yīng)商大致定位在存儲(chǔ)技術(shù)棧中,并觀察它們之間的關(guān)系及隨時(shí)間的演變。例如,可以用一個(gè)圖展示一些數(shù)據(jù)管理供應(yīng)商的分布:
從技術(shù)棧底到棧頂,初創(chuàng)供應(yīng)商的數(shù)量通常呈增加趨勢,融資規(guī)模也相應(yīng)擴(kuò)大。在棧底,NAND閃存、磁盤和磁帶介質(zhì)供應(yīng)商在早期整合后多年來幾乎沒有變化。例如,HDD市場主要由三大供應(yīng)商主導(dǎo):希捷(Seagate)、東芝(Toshiba)和西部數(shù)據(jù)(Western Digital)。超過90%的DRAM由美光(Micron)、三星(Samsung)和SK海力士(SK hynix)供應(yīng),而南亞科技(Nanya)和華邦電子(Winbond)則在利基市場占據(jù)一席之地。
然而,在DRAM連接領(lǐng)域,初創(chuàng)企業(yè)的活動(dòng)正在增加。CXL連接外部內(nèi)存的概念推動(dòng)了CXL硬件和軟件供應(yīng)商的發(fā)展,例如Panmnesia和UniFabriX。此外,3D DRAM也在發(fā)展中,例如初創(chuàng)公司Neo Semiconductor的探索。
NAND閃存供應(yīng)相對(duì)穩(wěn)定,但英特爾(Intel)已將其NAND閃存部門出售給SK海力士(SK hynix),并成立了Solidigm。目前的主要供應(yīng)商包括鎧俠(Kioxia)、美光(Micron)、三星(Samsung)、SK海力士/Solidigm,以及中國的長江存儲(chǔ)(YMTC)。鎧俠(Kioxia)剛剛上市,而西部數(shù)據(jù)(Western Digital)今年計(jì)劃將其HDD業(yè)務(wù)與NAND閃存/SSD(可能是SanDisk)業(yè)務(wù)分拆為獨(dú)立公司,未來可能還會(huì)出現(xiàn)供應(yīng)商整合的情況。
硬件陣列層在2000年至2010年間主要由塊存儲(chǔ)和文件存儲(chǔ)協(xié)議的傳統(tǒng)供應(yīng)商主導(dǎo),包括戴爾(Dell)、日立Vantara(Hitachi Vantara)、慧與(HPE)、IBM和NetApp。Pure Storage于2009年進(jìn)入市場,Infinidat于2010年,StorONE于2011年,VAST Data則于2016年成立。從那以后,幾乎沒有新的重要存儲(chǔ)陣列初創(chuàng)公司出現(xiàn)。然而,VAST的DASE架構(gòu)對(duì)市場產(chǎn)生了影響,促使慧與(HPE)采取行動(dòng),NetApp啟動(dòng)了ONTAP開發(fā)項(xiàng)目,同時(shí)也推動(dòng)了昆騰(Quantum)開發(fā)其Myriad存儲(chǔ)操作系統(tǒng)。
在企業(yè)級(jí)文件存儲(chǔ)領(lǐng)域,發(fā)展相對(duì)較為成熟,主要由戴爾(Dell)和NetApp主導(dǎo)。然而,Qumulo于2012年進(jìn)入市場,WEKA于2013年,VAST Data則在2016年加入。HPC并行文件系統(tǒng)領(lǐng)域的參與者包括傳統(tǒng)供應(yīng)商DDN(Lustre)、IBM的Storage Scale,以及Panasas(現(xiàn)更名為VDURA)。此外,還有英特爾(Intel)的DAOS、BeeGFS和Quobyte等。
數(shù)據(jù)容器領(lǐng)域正在經(jīng)歷快速發(fā)展,尤其是在分析領(lǐng)域。數(shù)據(jù)倉庫和大數(shù)據(jù)時(shí)代的Hadoop正在向數(shù)據(jù)湖(Data Lake)和湖倉一體化(Lakehouse)架構(gòu)轉(zhuǎn)型,以容納更多非結(jié)構(gòu)化數(shù)據(jù)類型。Snowflake成立于2012年,快速成長并于2020年上市。Databricks成立于2013年,發(fā)展迅猛,已籌集高達(dá)140億美元的風(fēng)險(xiǎn)投資資金,其中100億美元是在去年獲得的,這可能是存儲(chǔ)初創(chuàng)公司融資的歷史記錄,也為Databricks未來的IPO增添了壓力。
生成式AI(GenAI)大語言模型的興起推動(dòng)了該領(lǐng)域的高速增長,涌現(xiàn)出許多專注于向量數(shù)據(jù)庫的供應(yīng)商,例如2019年成立的Pinecone,以及由Zilliz于2017年創(chuàng)立的Milvus。與此同時(shí),像SingleStore這樣的現(xiàn)有數(shù)據(jù)整合供應(yīng)商也在積極跟進(jìn)。
那么,CTERA、Egnyte、Nasuni和Panzura應(yīng)該如何定位?它們位于協(xié)議層的文件存儲(chǔ)之下,并屬于云到邊緣(Cloud-to-edge)類別,因?yàn)樗鼈兌继峁﹨f(xié)作功能。Panzura通過收購Moonwalk并開發(fā)其Symphony產(chǎn)品,正向數(shù)據(jù)管理領(lǐng)域拓展。Nasuni在被私募股權(quán)控股后,正大力進(jìn)軍AI領(lǐng)域,CTERA也在進(jìn)行類似的轉(zhuǎn)型。
計(jì)算型存儲(chǔ)(Computational Storage)供應(yīng)商如何定位?計(jì)算型存儲(chǔ)包括計(jì)算型驅(qū)動(dòng)器(例如ScaleFlux)以及運(yùn)行容器化應(yīng)用程序軟件的計(jì)算型存儲(chǔ)系統(tǒng),例如由VAST Data和戴爾(Dell)提出的存儲(chǔ)陣列控制器。
DPU和智能網(wǎng)卡(SmartNIC)又位于何處?它們屬于硬件類型層中靠底部的DPU輔助類別。曾經(jīng),Pensando和Fungible等DPU初創(chuàng)企業(yè)形成了一個(gè)獨(dú)立的供應(yīng)商群體,但這些公司已被收購,目前這一領(lǐng)域由亞馬遜(Amazon)、AMD(Pensando)、英特爾(Intel)、微軟(Microsoft,Azure上的Fungible)以及英偉達(dá)(Nvidia,BlueField產(chǎn)品)主導(dǎo)。
DataCore已獲得AI開發(fā)資金,屬于StorageOS層,與StorPool和紅帽(Red Hat)的Ceph同屬一類。
那么,戴爾PowerProtect(Dell PowerProtect)、ExaGrid、ObjectFirst、昆騰DXi(Quantum DXi)和慧與StoreOnce(HPE StoreOnce)又如何定位?它們都是專用陣列,提供目標(biāo)備份設(shè)備功能。
網(wǎng)絡(luò)韌性和SaaS正在重塑備份領(lǐng)域。Cohesity、Commvault、戴爾(Dell)、Rubrik和Veeam在數(shù)據(jù)保護(hù)和安全市場展開激烈競爭,同時(shí)Druva、HYCU、KeepIt等活躍的參與者也在快速發(fā)展。
可以預(yù)見,到2025年,CXL的影響力將進(jìn)一步擴(kuò)大,但AI及其訓(xùn)練和推理,以及網(wǎng)絡(luò)韌性(Cyber-Resilience)和安全性仍將是驅(qū)動(dòng)存儲(chǔ)市場需求和發(fā)展的兩大關(guān)鍵因素。
參考資料:Mellor, Chris. "Storage Stack Layers and Players Going into 2025." Blocks and Files, January 6, 2025. Accessed January 16, 2025. https://blocksandfiles.com/2025/01/06/storage-stack-layers-and-players/.
(來源Andy730)