近日，北京智源人工智能研究院的多模態(tài)大模型成果“通過(guò)預(yù)測(cè)下一個(gè)詞元進(jìn)行多模態(tài)學(xué)習(xí)的多模態(tài)大模型”上線國(guó)際頂級(jí)學(xué)術(shù)期刊《自然》，預(yù)計(jì)2月12日紙質(zhì)版正式刊發(fā)，這是我國(guó)科研機(jī)構(gòu)主導(dǎo)的大模型成果首次在《自然》正刊發(fā)表。

2018年以來(lái)，GPT采用“預(yù)測(cè)下一個(gè)詞元（NTP）”的自回歸路線，實(shí)現(xiàn)了語(yǔ)言大模型重大突破，開(kāi)啟了生成式人工智能浪潮。而多模態(tài)模型主要依賴對(duì)比學(xué)習(xí)、擴(kuò)散模型等專門(mén)路線，自回歸路線是否可以作為通用路線統(tǒng)一多模態(tài)？一直是未解之謎。

智源研究院提出的Emu3模型，基于“預(yù)測(cè)下一個(gè)詞元”的全新多模態(tài)模型，將圖像、文本和視頻統(tǒng)一離散化到同一個(gè)表示空間中，并從零開(kāi)始，在多模態(tài)序列混合數(shù)據(jù)上聯(lián)合訓(xùn)練一個(gè)單一的Transformer。這一架構(gòu)證明了僅憑“預(yù)測(cè)下一個(gè)詞元”，就能夠同時(shí)支持高水平的生成能力與理解能力，并且在同一統(tǒng)一架構(gòu)下，自然地?cái)U(kuò)展到機(jī)器人操作以及多模態(tài)交錯(cuò)等生成任務(wù)。

實(shí)驗(yàn)顯示，Emu3在生成與感知任務(wù)上的整體表現(xiàn)可與多種成熟的任務(wù)專用模型相媲美：在文生圖任務(wù)中，其效果達(dá)到擴(kuò)散模型水平；在視覺(jué)語(yǔ)言理解方面，可以與融合CLIP和大語(yǔ)言模型的主流方案比肩。此外，Emu3還具備視頻生成能力。不同于以噪聲為起點(diǎn)的擴(kuò)散式視頻生成模型，Emu3通過(guò)自回歸方式逐詞元（token）預(yù)測(cè)視頻序列，實(shí)現(xiàn)基于因果的視頻生成與延展，展現(xiàn)出對(duì)物理世界中環(huán)境、人類與動(dòng)物行為的初步模擬能力。

這項(xiàng)成果表明，只采用自回歸路線，就可以統(tǒng)一多模態(tài)學(xué)習(xí)，訓(xùn)練出優(yōu)秀的原生多模態(tài)大模型，對(duì)于確立自回歸成為生成式人工智能統(tǒng)一路線具有重大意義。值得一提的是，智源研究團(tuán)隊(duì)對(duì)相關(guān)研究的多項(xiàng)關(guān)鍵技術(shù)與模型進(jìn)行了開(kāi)源，以推動(dòng)該方向的持續(xù)研究。

《自然》編輯點(diǎn)評(píng)這項(xiàng)研究：Emu3僅基于預(yù)測(cè)下一個(gè)詞元，實(shí)現(xiàn)了大規(guī)模文本、圖像和視頻的統(tǒng)一學(xué)習(xí)，其在生成與感知任務(wù)上的性能可與使用專門(mén)路線相當(dāng)，這一成果對(duì)構(gòu)建可擴(kuò)展、統(tǒng)一的多模態(tài)智能系統(tǒng)具有重要意義。