飛象原創（魏德齡/文）時至2025年，當生成式AI已經爆發兩年有余，本地AI模型的部署本已不是什么新鮮事。但隨著Deepseek R1的發布，除了線上被擠爆的服務器外，短短一周左右時間，論壇、博客、視頻站點上涌現出的各種新蒸餾模型與部署教程，吸引著很多普通用戶將一個容量僅幾個G的3B-13B不等參數量的小模型部署到本地設備中，成為在PC或手機中的新助手。
本地AI模型部署所呈現的“用腳投票”現象，背后則是硬實力的呈現。
蒸餾模型涌現的背后硬實力
蒸餾模型的涌現與小模型的實用性大大提升有關，很多部署教程中，還會向觀眾進行相關功能實用性的驗證，例如文檔的閱讀總結、簡單編程、圖文內容的分析等，來證明端側AI模型部署已經不僅僅是極客們一時興起的玩物。
高通技術公司高級副總裁兼技術規劃和邊緣解決方案業務總經理馬德嘉給出的這張PPT，做出了一個很好的例證，使用DeepSeek蒸餾后的Qwen-7B模型，已經能夠在性能上與去年所推出的且當時最為先進的GPT-4o云端模型持平。但兩個模型的參數規模卻相差甚多。另對比蒸餾后的Llama 700億模型在推理、編程、數學、數據分析等方面表現來看，同樣已經超越了原始模型，只在語言理解和指令遵循方面有待進一步優化。
根據《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning》論文中的觀點顯示，通過蒸餾技術能夠使小模型也擁有大模型的推理能力，并且既高效又經濟。實驗結果表明，蒸餾后的小模型在多個基準測試中表現出色。DeepSeek-R1-Distill-Qwen-7B在AIME 2024基準測試中取得了55.5%的成績，超越了QwQ-32B-Preview。DeepSeek-R1-Distill-Qwen-32B同樣在多個測試中表現優異，AIME 2024、MATH-500、LiveCodeBench的測試結果超越了以往開源模型，與OpenAI o1-mini相當。
蒸餾技術能夠讓大模型“教學”小模型，保持準確性的同時遷移知識，在這一老師教授學生的過程中，起到了所謂“聽君一席話，勝讀十年書”的效果，從而讓小模型實現更多全新的功能與性能。對于開發者而言，如今在非常多高質量的小模型和蒸餾技術的加持下，將大大推動AI模型數量的激增，實現更多AI商業應用的規模化擴展。尤其是在終端側，目前大有“當機會來臨，已經準備好了”的態勢。
端側AI準備好了
在終端本地能否運行小模型，并保證流暢體驗，要看當前的硬件能否滿足要求。相比正在彌補短板的iOS來說，Android陣營無疑走在了前列。例如，早在MWC24期間，高通就展示了全球首個在Android智能手機上運行的大型多模態語言模型，該LMM擁有超過70億參數，可接受包括文本和圖像在內的多種類型的數據輸入，并能夠與AI助手生成關于圖像的多輪對話。
“對于高通來講，我們預判了終端側模型的爆發，同時也推動了邊緣AI推理在跨終端設備上的落地。”馬德嘉表示。
根據最新發布的《AI變革正在推動終端側推理創新》白皮書中寫到，高通的SoC能夠直接在終端側提供高性能、高能效的AI推理。通過緊密集成這些核心組件，高通技術公司的平臺可在保持電池續航和整體能效表現的同時處理復雜AI任務，這對邊緣側用例至關重要。
高通還在去年MWC24期間推出了AI Hub，能夠幫助開發者選擇相應平臺和開發模型、編寫應用，最后在不同類型的移動終端上進行部署，目前已有超過1500家企業在使用，其中包括海量的模型廠商，比如Meta、Allam、OpenAI、Tech Mahindra、IBM、Mistral、G42等。據馬德嘉介紹，現在AI Hub不僅提供已有的模型，還能允許開發者將自己的模型引入其中，或直接通過AI Hub用數據來搭建模型，并在云端設備中實時運行。
由于以手機、筆記本為代表的移動設備一般不會標配超大的RAM，能否滿足端側AI運行所需也成了關注的問題。而蒸餾技術已經讓模型的參數規模已經不再是衡量模型質量的重要指標，進而降低了端側RAM的壓力。
“我認為隨著模型規模不斷地下降，日后10-20億參數規模的模型將會占用更少的運行內存，更好地適配8-12GB內存設置的終端。”馬德嘉在回答上述問題時表示，現在旗艦智能手機運行內存配置一般在12GB或以上，已經足夠支持很多模型的高效運行。同時，高通在處理模型終端側運行的內存方面也有著豐富的技術經驗。
以正在舉行的MWC25現場的高通展臺為例，iQOO、努比亞、OPPO、榮耀、小米和一加等中國生態伙伴，均帶來了基于驍龍平臺的終端側生成式AI和智能體AI的最新應用成果。三星也在Galaxy S25 Ultra上展示谷歌全新AI助手Gemini。
《AI變革正在推動終端側推理創新》白皮書顯示，不僅僅是手機，高通正在擴展終端側AI覆蓋所有關鍵邊緣細分領域，還包括PC、汽車、工業物聯網、網絡，賦能眾多行業、釋放商業價值并支持全新用戶體驗。
在這一過程中，AI將不僅僅是用戶本地的一個能夠快速響應又保證隱私安全的助手，更將帶來新一輪的交互變革。
AI是新的UI
“隨著終端側可以運行越來越多高質量的AI模型，越來越多的AI應用和用例開始涌現。AI正在重新定義所有終端的用戶界面，這也意味著，AI正在成為終端側新的UI。”馬德嘉專門強調了這一論點。
回首過往，智能手機的每一次重要迭代所伴隨的也是交互方式的變革，從能發電子郵件的全鍵盤手機，再到能夠實現移動計算的電容屏手機，當業界開始思考智能手機的下一步將走向何方，AI恰恰給予了改變手機交互方式的全新契機。
《AI變革正在推動終端側推理創新》白皮書表示，智能體AI（Agentic AI）是下一代用戶交互的核心。AI系統能夠通過預測用戶需求，并在終端和應用內主動執行復雜工作流，進行決策和管理任務。
屆時，用戶輸入進手機的語音和音頻、文本、圖像、視頻和傳感器等數據，將不直接應用于某個具體的應用，而是先傳輸至智能體AI。智能體AI在接收到這些信息后，會對其進行相應的處理，之后再將工作負載分配給后臺的不同應用。在這背后，智能體AI要做的就是從終端側豐富的模型中選擇所需的模型完成任務。
“也就是說，所有這些處理任務都是由AI智能體直接完成的，應用只會在后臺運行，用戶是看不到的。”馬德嘉表示，對于終端用戶來講，AI智能體就是唯一在前端與他們交互的UI，而所有實際應用的處理都是在后臺完成的。最終個性化的多模態AI智能體將通過自然語言和基于圖像、視頻與手勢的交互簡化人們使用技術的方式，高效地跨越各種應用完成任務。
Deepseek蒸餾模型涌現的背后是終端側AI所迎來的全新機遇，使用戶在本地也能獲得媲美甚至超越云端的生成式AI能力，這種能力還正逐步演變為全新的交互方式，讓用戶能夠更加自然地與設備溝通，引領智能終端邁向下一場變革。
