中心訓練池:全棧智算基礎設施方案,性能優(yōu)先
中心訓練池是針對大模型訓練任務(wù)而設計,采用并行計算技術(shù),降低訓練成本,為人工智能的發(fā)展和應用提供重要支持。中興通訊以性能優(yōu)先為目標,為運營(yíng)商和行業(yè)用戶(hù)構建中心訓練池提供全棧的智算方案和工程能力。針對大模型訓練中心的需求,中興通訊提出"大算力"、"大網(wǎng)絡(luò )"、"大節能"和"大生態(tài)"建設方案。
在大算力方面,中興通訊引入了旗艦級GPU服務(wù)器R6900 G5。該服務(wù)器可支持 H800 NVLINK GPU模組或 OCP OAM GPU模組,提供卓越的AI算力。服務(wù)器支持節點(diǎn)間IB/RoCE組網(wǎng),無(wú)阻塞帶寬高達4.8Tbps,實(shí)現數據中心內部高速、低延遲的數據傳輸。
在構建大規模網(wǎng)絡(luò )方面,中興通訊提供全套無(wú)損網(wǎng)絡(luò )解決方案。其中,創(chuàng )新框式單層多軌方案可實(shí)現萬(wàn)卡級的最優(yōu)組網(wǎng)效果。通過(guò)端網(wǎng)協(xié)同構建高帶寬、低延遲無(wú)損網(wǎng)絡(luò ),實(shí)現算力無(wú)損,可以更好地支持大模型訓練任務(wù)的并行執行。此外,中興通訊自研的DPU智能網(wǎng)卡提供大帶寬支持,進(jìn)一步增強網(wǎng)絡(luò )性能。
為追求節能效果,中興通訊的AI服務(wù)器采用GPU+CPU雙液冷技術(shù),通過(guò)液體冷卻系統,可帶走60%-80%的設備熱量,,大幅降低風(fēng)扇轉速,降低功耗高達1000W。此外,數據中心中引入了風(fēng)液融合制冷技術(shù),將能源使用效率(PUE)降低至1.13,實(shí)現了節能環(huán)保的目標。
在大生態(tài)方面,中興通訊攜手和合作伙伴共建開(kāi)放生態(tài)圈,通過(guò)推進(jìn)軟硬解耦,屏蔽硬件差異,實(shí)現算力原生;推動(dòng)數據定義和模型定義的標準化,實(shí)現訓推解耦和模型解耦,促進(jìn)數據的可交互性和AI各環(huán)節的協(xié)同性。中興通訊可為大模型訓練池提供多廠(chǎng)家、全解耦智算基礎設施,兼顧性能領(lǐng)先和自主創(chuàng )新,提高了供應鏈的安全性。
省份推理池:融合通算與智算,成本優(yōu)先
省份推理池是為了滿(mǎn)足低時(shí)延推理任務(wù)而設計,它以省份通用數據中心為基礎,將模型的推理任務(wù)分布在各個(gè)省份推理池中執行,能夠更快地響應終端設備的請求。目前,省份數據中心建設面臨"算力偏科"的挑戰。為提升整體性能,需要將傳統通用數據中心向通算與智算的融合演進(jìn),從通用CPU向CPU、GPU、DPU、FPGA等多種架構進(jìn)行演進(jìn)。算力融合的關(guān)鍵在于支持不同計算單元和多種架構并存,并確保軟硬件的兼容性。
中興通訊全系列服務(wù)器適配多廠(chǎng)家加速芯片,可更好地支持省級數據中心向通算、智算融合演進(jìn)。這種融合將為用戶(hù)提供全精度的多元算力,能夠應用于更廣泛的場(chǎng)景。通過(guò)異構算力協(xié)同加速,可以大幅提升算效。中興通訊云平臺兼容主流軟硬件,統一管理通算、智算異構資源池,實(shí)現GPU統一虛擬池化。
通過(guò)中興通訊的技術(shù)支持和產(chǎn)品解決方案,省份推理池能夠更好的實(shí)現算力的融合,將通算與智算相結合。這將幫助省級數據中心提高算力利用效率,降低成本,并實(shí)現更加安全可靠的算力資源管理。
邊緣訓推一體機:智算用一體化,服務(wù)優(yōu)先
大模型的發(fā)展趨勢是垂直化,通用大模型將結合領(lǐng)域專(zhuān)家知識和企業(yè)私域數據,為各個(gè)垂直行業(yè)和企業(yè)提供數字化賦能。然而,許多行業(yè)和企業(yè)在大模型訓練和精調方面缺乏能力,大模型產(chǎn)業(yè)化面臨算力成本、技術(shù)門(mén)檻、應用場(chǎng)景和數據安全等挑戰。
為了解決這些問(wèn)題,中興通訊推出了一站式、開(kāi)箱即用的訓推一體機,滿(mǎn)足邊緣節點(diǎn)本地化部署需求。該一體機集成了計算、存儲、網(wǎng)絡(luò )設備和AI平臺軟件,支持主流AI框架,幫助用戶(hù)降低私域模型的訓練和推理成本,降低技術(shù)門(mén)檻。
中興通訊的訓推一體機具有小時(shí)級快速交付、資源按需分配和易于使用的特點(diǎn)。用戶(hù)無(wú)需復雜的部署和配置過(guò)程,可以快速投入使用,節省時(shí)間和資源。同時(shí),用戶(hù)可以根據需求進(jìn)行訓推資源的分配,實(shí)現最佳的性能和成本平衡。該一體機內置多種模型和應用,支持私域數據的本地精調,確保數據安全性。
從全連接公司向算力公司轉型,推動(dòng)數字化轉型
中興通訊的端到端智算基礎設施方案提供了全面的智算能力和支持,覆蓋了從大規模模型訓練到實(shí)時(shí)推理決策的全過(guò)程。在運營(yíng)商、工業(yè)、交通、金融等領(lǐng)域,中興通訊的智算基礎設施方案都可以提供定制化的支持,助力客戶(hù)實(shí)現智能化轉型和業(yè)務(wù)創(chuàng )新。中興通訊將繼續投入研發(fā)和創(chuàng )新,與合作伙伴共同推動(dòng)人工智能和大模型技術(shù)的應用,提供更多創(chuàng )新的解決方案,推動(dòng)數字化轉型邁向新的高度。