韋樂平:隨著模型規模的日益擴大,跨域訓練是必然趨勢
飛象網訊(易歡)4月23日消息,在今天舉辦的“2025云網智聯大會”上,SNAI推委會榮譽主席、原中國電信科技委主任韋樂平分享了對智算拉遠的思考。
談及大模型訓練智算拉遠的市場需求,韋樂平坦言,可以以網補算,提升閑散智算中心算力資源利用率。“面對大批分散部署、利用率很低的小規模智算中心,若能通過網絡互聯形成一個大型的邏輯智算池來適應規模日益增長的大模型訓練,有望大幅提升閑散智算資源的利用率。”
與此同時,他指出,邁向未來,跨域訓練是必然趨勢。按照統計,大模型參數每1-2年增長10倍,而對應的GPU芯片的算力僅增長2-4倍,遠低于模型規模的增速。隨著模型規模的日益擴大,單體的算力、電力、空間資源終將受限,可能需要在園區甚至更大范圍內由多個智算中心互聯形成一個超級邏輯智算資源池,進行聯合訓練才有可能支撐超大模型的訓練。
韋樂平強調:“至于推理與具體業務場景和訪問量相關,更需要跨域實施。”
針對大模型訓練智算拉遠的挑戰,韋樂平認為復雜的商用場景,勢必會面臨大量不同功能、性能的異構GPU、規模不同的AIDC的互聯、不同業務場景、不同設備和不同組網方式、不同模型和不同參數的協同挑戰。
此外,還面臨一些技術挑戰。在韋樂平看來,一是帶寬收斂問題。“無收斂帶寬普適性和前瞻性好,部署快,但成本太高;收斂比4-8時,帶寬成本可以降至10%之內,但是只適用特定業務場景下的特定模型拆分方式,缺乏普適性和前瞻性。”
二是功能和性能問題。拉遠后必然面對丟包、抖動乃至中斷故障等諸多挑戰,對ROCE網絡的功能和性能有不少嚴格的要求。
統一管理和運維也是挑戰之一。韋樂平認為,現有固化的組織架構和生產流程不適合快速部署邏輯統一的異地智算中心,需要對現有管理運維體系、生產流程、監控管理平臺改造升級。
1.本網刊載內容,凡注明來源為“飛象網”和“飛象原創”皆屬飛象網版權所有,未經允許禁止轉載、摘編及鏡像,違者必究。對于經過授權可以轉載,請必須保持轉載文章、圖像、音視頻的完整性,并完整標注作者信息和飛象網來源。
2.凡注明“來源:XXXX”的作品,均轉載自其它媒體,在于傳播更多行業信息,并不代表本網贊同其觀點和對其真實性負責。
3.如因作品內容、版權和其它問題,請在相關作品刊發之日起30日內與本網聯系,我們將第一時間予以處理。
本站聯系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯系方式,進行的“內容核實”、“商務聯系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
5G-A賦能機器人火炬接力:中國移動以技術革新點亮全運科技盛宴
2025年11月,第十五屆全國運動會將在粵港澳三地盛大啟幕。這場賽事不僅是體育健兒的競技場,更是前沿科技落地應用的“試驗田”。其中,11月2日的機器人火炬接力作為本次全運會的核心創新亮點..[詳細]
輕薄機型出師未捷身先死,長使業績淚滿襟
當iPhone Air宣布上市當天,隨著各路評測內容解禁,一個顯眼的標題也隨之出現,那就是“注定停產”。輕薄機型的出現一方面讓人們看到廠商正在挖掘全新市場空間,另一方面也勾起了小尺寸機型..[詳細]
智能未來:宇宙為你閃爍
未來十年,你家的電表可能再也不用換電池,自動駕駛汽車能"看到"幾公里外的路況,甚至海洋深處的傳感器都能實時傳回數據。這些不是科幻,而是剛剛在無錫物博會上發布的《2025全球..[詳細]
智能IP廣域網成為筑牢智算產業發展根基的關鍵一環
隨著國家加速推動智算產業高質量發展,網絡支撐能力已成為產業進階的核心抓手,而作為關鍵基礎設施的智能IP廣域網,正憑借其在算力調度、數據傳輸中的核心作用,成為筑牢智算產業發展根基的..[詳細]
大中華區市場失守 蘋果寄望AI驅動未來增長
蘋果公司公布的2025 財年第四季度財報呈現“冰火兩重天”態勢:全球營收1024.66億美元同比增長 8%,凈利潤274.66億美元同比激增86.4%,毛利率攀升至 47.18%。但作為第三大市場的大中華區卻成..[詳細]













