隨著大模型技術的飛速發展，模型參數量急劇增長，模型能力持續增強，智能應用百花齊放。基礎設施的可用性決定了大模型研發及服務的效率，大模型服務的可用性又決定了智能應用的服務質量。在此背景下，高質量大模型基礎設施成為推動大模型應用落地的關鍵要素。為充分發揮大模型基礎設施的賦能作用，更好支撐大模型發展，推動大模型應用落地，特編制此研究報告。

1月8日，在大模型工程化成果發布會上，中國信息通信研究院（簡稱“中國信通院”）人工智能研究所發布《高質量大模型基礎設施研究報告（2024年）》，由中國信通院人工智能研究所平臺與工程化部主任曹峰解讀。

報告聚焦大模型基礎設施的五大核心能力領域：計算、存儲、網絡、開發工具鏈和運維管理，系統梳理了大模型發展對基礎設施提出的新需求，剖析了基礎設施發展的關鍵技術，并提出體系化評價指標。同時，報告通過分析業界典型實踐案例，為企業建設高質量大模型基礎設施提供了參考。

報告核心觀點

1. 計算資源分配粗放，高效異構算力融合調度成為新需求。一是異構資源統一納管。算力資源利舊帶來不同架構AI芯片納管需求，大模型在科學、工業仿真等領域應用加深帶來CPU和AI芯片納管需求。華為、移動、電信等廠商積極推動異構智算管理平臺研發，通過統一編程接口、智能調度等技術，實現對多類異構算力資源協同管理，提高算力利用率。二是智能化調度實現算力經濟最大化。通過自動化監控、預測、自適應調度等技術優化資源利用，采用“AI+歷史數據+實時數據”分析，實現算力需求精準預測，動態調度。

2. 海量數據處理低效，高性能大模型存儲技術成為新關鍵。一是長記憶存儲助力推理降本增效。通過高性能存儲的大范圍全局共享和持久化KV Cache能力，可實現高性價比推理加速，經企業實踐驗證，推理吞吐提速可超50%，推理成本顯著下降。二是加速卡直通存儲實現數據直達。通過加速卡和存儲設備的數據一跳直達，可以消除CPU處理瓶頸，極大提升數據從存儲到加速卡的數據傳輸效率，經企業實踐驗證，可實現TB/s級帶寬和億級IOPS，每個機架單元的存儲性能可達50GB/s以上，大幅提升集群可用度。三是數據編織技術提高全流程效率。通過數據編織技術，實現全局數據可視可管，跨域統一視圖。

3. 并行計算規模攀升，高通量大規模網絡技術成為新方案。一是負載均衡技術助力解決“算等網”問題。經企業實踐驗證，逐流方案通過定制化的xCCL配合網絡路徑優化，在保證網絡高可靠性的同時，網絡鏈路利用率可達90%以上。逐包方案通過自適應路由等技術，可實現整網吞吐達到90%以上。二是參數面、存儲面/樣本面、業務面、帶外管理面網絡互聯有效提升大模型訓練效率。在訓前、訓中、訓后，多網絡面互聯解決訓練過程涉及的數據、模型、模型參數、檢查點等的寫入和導出問題。

4. 模型參數急劇增長，高效能大模型開發技術成為新解法。一是訓練加速技術涌現支撐大模型高效構建。計算資源優化方法通過混合精度計算等方式，減少計算和存儲需求，有效提升模型效率。計算優化策略通過算子融合、梯度積累技術等實現模型執行效率提升。二是推理技術提升模型推理效率。模型壓縮通過低比特量化、稀疏化等方式實現模型訓中、訓后的低損與高效壓縮。推理引擎技術進一步提升推理性能和兼容性。

5. 基礎設施故障率高，高容錯大模型運維技術成為新手段。一是訓前健康檢查保障作業零隱患運行。通過全棧隱患排查，降低作業啟動失敗頻率，避免計算資源損失。二是訓中故障可預測、可恢復。通過智能監控告警技術，進行端側監控、擁塞分析等輔助故障定位，基于既有運維知識庫，實現異常預測、RCA根因定位，有效提升集群穩定運行時長。