近日,紫光股份旗下新華三集團(以下簡稱“新華三”)宣布推出基于NVIDIA AI數(shù)據(jù)平臺參考設(shè)計的技術(shù)集成方案,打造更智能、更靈活、更安全的大模型數(shù)據(jù)處理能力,為AI推理場景注入新能力和強勁動能。
當(dāng)前,在大模型實時交互場景中,用戶對AI服務(wù)的響應(yīng)速度要求極高;同時,如果AI推理沒有基于新的或更新過的內(nèi)容,就會造成生成內(nèi)容與事實不符、邏輯錯誤等情況,嚴(yán)重影響其可靠性和實用性。新華三新推出的AI數(shù)據(jù)平臺解決方案,打通“算力”和“存力”之間的效率鴻溝,實現(xiàn)從底層硬件到上層AI應(yīng)用的數(shù)據(jù)流通加速,大幅提升AI推理的實時性、相關(guān)性與準(zhǔn)確度,不僅優(yōu)化了大模型的整體運行效率,也顯著改善了真實場景中使用大模型時的響應(yīng)速度與使用體驗。
H3C AI 數(shù)據(jù)平臺解決方案
軟硬協(xié)同 推理加速
AI數(shù)據(jù)平臺解決方案整合了新華三與NVIDIA的領(lǐng)先技術(shù),打造存算網(wǎng)技術(shù)深度集成的智能數(shù)據(jù)平臺,并通過上層軟件平臺協(xié)同優(yōu)化,為AI基礎(chǔ)設(shè)施注入強勁動能,顯著提升AI大模型的推理能力。
01、存算網(wǎng)深度集成 打通推理性能瓶頸
AI數(shù)據(jù)平臺解決方案集成了NVIDIA Spectrum-X AI以太網(wǎng)網(wǎng)絡(luò)平臺,包括Spectrum以太網(wǎng)交換機、NVIDIA BlueField-3 DPU數(shù)據(jù)處理器及NVIDIA ConnectX SuperNIC,將普通以太網(wǎng)的帶寬利用率從50-60%提升至97%以上,有效應(yīng)對瞬時流量高峰,保障存儲與計算節(jié)點間的高速互連。BlueField-3 DPU可與H3C Polaris X20000存儲系統(tǒng)完美適配,支持NVMe over Fabrics、NVIDIA GPU-Direct Storage(GDS)等技術(shù),實現(xiàn)存儲卸載和加速,涵蓋數(shù)據(jù)冗余、完整性校驗、解壓縮和重復(fù)數(shù)據(jù)刪除等功能,進一步提升存儲性能并降低功耗。
新華三Polaris X20000系列專為AI智算場景設(shè)計,采用全新自研存儲引擎,面向AI/HPC場景下的海量數(shù)據(jù)處理需求提供極致性能,單節(jié)點實現(xiàn)120GB/s帶寬和200萬IOPS,集群性能近線性增長,滿足AI大模型訓(xùn)練中海量小文件高并發(fā)和百TB級帶寬需求;并將塊、文件、對象與HDFS協(xié)議集成于統(tǒng)一存儲平臺,從數(shù)據(jù)采集、模型訓(xùn)練到分發(fā)全流程實現(xiàn)數(shù)據(jù)零遷移。同時,系統(tǒng)大幅提升可靠性,毫秒級故障上報與秒級切換確保訓(xùn)練任務(wù)不中斷,計劃內(nèi)/外升級擴容對上層應(yīng)用無感,為企業(yè)提供穩(wěn)定、高效的存儲支持。
02、軟件平臺協(xié)同優(yōu)化 加速智算推理引擎
在AI-Q NVIDIA Blueprint的支持下,代理式系統(tǒng)可以連接到新華三Polaris X20000高性能數(shù)據(jù)存儲平臺上,AI-Q 使用NVIDIA NeMo Retriever加速數(shù)據(jù)提取和檢索, NVIDIA NeMo Retriever 是用于處理海量結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化數(shù)據(jù)(如文本、PDF、圖像、視頻等)的軟件。如此,可顯著加速RAG(檢索增強生成)應(yīng)用的響應(yīng)速度。
同時 NVIDIA NeMo Guardrails可確保推理問答交互的安全性、準(zhǔn)確性和主題相關(guān)性。新華三自主研發(fā)的靈犀使能平臺(LinSeer Hub)則作為上層管理平臺,提供了AI智能體和推理引擎的功能。
通過上述組件的深度整合,AI數(shù)據(jù)平臺解決方案顯著提升大模型的推理性能與Token處理速度,為企業(yè)提供實時數(shù)據(jù)洞察能力,助力業(yè)務(wù)場景的智能化升級。
數(shù)據(jù)驅(qū)動
加速推理引領(lǐng)智算未來
隨著AI大模型的快速發(fā)展,數(shù)據(jù)已成為AI生產(chǎn)力的核心要素,與此同時,企業(yè)核心生產(chǎn)數(shù)據(jù)80%存儲于外置專業(yè)存儲,新華三作為存儲領(lǐng)域的領(lǐng)先廠商,以Polaris X20000系列的卓越性能和靈活性,提升了AI數(shù)據(jù)平臺的能力。NVIDIA則通過硬件加速和軟件能力,釋放Polaris存儲硬件的潛力,幫助新華三實現(xiàn)從“數(shù)據(jù)倉庫”到“智能數(shù)據(jù)平臺”的轉(zhuǎn)型,形成完整的AI數(shù)據(jù)閉環(huán)。并結(jié)合存儲廠商成熟的數(shù)據(jù)管理能力,構(gòu)建高效AI基礎(chǔ)設(shè)施。
作為數(shù)字化及AI解決方案提供者,新華三擁有深厚的市場積累和廣泛的行業(yè)覆蓋,服務(wù)于金融、電信、政務(wù)、醫(yī)療、教育、制造等多個領(lǐng)域。新華三此次推出的AI數(shù)據(jù)平臺解決方案,是新華三“算力×聯(lián)接”技術(shù)戰(zhàn)略的持續(xù)深化。未來,新華三將持續(xù)攜手生態(tài)伙伴,推動AI數(shù)據(jù)平臺的技術(shù)革新與產(chǎn)業(yè)落地,助力百行百業(yè)實現(xiàn)高效、智能、可信的AI轉(zhuǎn)型。
(來源:新華三)