IT之家 9 月 6 日消息,據(jù)商湯科技官方消息,近日,商湯大裝置 SenseCore 與昇騰 384 超節(jié)點率先完成全面適配,在功能、性能驗證上達到預(yù)期目標。
據(jù)官方介紹,超節(jié)點(SuperPod)是一種通過高速互聯(lián)技術(shù),將多個 GPU / NPU 整合為統(tǒng)一計算單元的新型架構(gòu),解決 AI 大模型訓(xùn)練中的算力協(xié)同與通信效率問題。
昇騰 384 超節(jié)點(Atlas 900 A3 SuperPoD)是華為推出的業(yè)界最大規(guī)模超節(jié)點方案,憑借創(chuàng)新的“全對等架構(gòu)”,實現(xiàn)高速互聯(lián)總線的關(guān)鍵突破 —— 把總線從服務(wù)器內(nèi)部擴展到整機柜、甚至跨機柜,最終將 CPU、NPU、DPU、存儲和內(nèi)存等資源全部互聯(lián)和池化,形成一臺“超級計算機”,實現(xiàn)更大的算力密度和互聯(lián)帶寬。
基于商湯大裝置 SenseCore 與昇騰 384 超節(jié)點的特點,雙方團隊聯(lián)合攻關(guān),在調(diào)度優(yōu)化、系統(tǒng)穩(wěn)定性以及故障恢復(fù)等方面提出多項行業(yè)創(chuàng)新:
調(diào)度優(yōu)化:在調(diào)度能力上,除了支持 POD 內(nèi)單機和多機調(diào)度、跨 POD 多機調(diào)度、親和性調(diào)度等基礎(chǔ)能力,SenseCore 平臺配合模型并行策略實現(xiàn)了邏輯超節(jié)點自動劃分,使 EP / TP 等大通信策略可以充分利用靈衢網(wǎng)絡(luò),提升模型訓(xùn)練效率???POD 訓(xùn)練穩(wěn)定性:另外 SenseCore 團隊提交了多個 MR 修復(fù)多 POD 場景下 master / work 任務(wù) rank 亂序問題,從根本上解決了跨 POD 訓(xùn)練任務(wù)概率性失敗的問題。多維度故障檢測與恢復(fù):在故障檢測能力上覆蓋了從服務(wù)器硬件、高速互聯(lián)總線、RoCE 網(wǎng)絡(luò)到任務(wù)、進程軟硬件多維度檢測,結(jié)合檢測能力實現(xiàn) Job / Pod / 進程多級恢復(fù)機制,全面提升昇騰 384 超節(jié)點在訓(xùn)練場景下的可靠性與容錯性。
IT之家從官方新聞稿獲悉,未來,雙方還將探索更多應(yīng)用場景,包括大模型推理加速、智能體應(yīng)用部署、面向垂直行業(yè)的大模型訓(xùn)練與推理優(yōu)化等,進一步加速基于 SenseCore 的昇騰 384 超節(jié)點在各行各業(yè)的應(yīng)用落地。