全球大模型技術(shù)競(jìng)賽正推動(dòng)人工智能向通用強(qiáng)智能發(fā)展，引發(fā)人機(jī)交互和應(yīng)用研發(fā)模式變革。大模型在各行業(yè)的廣泛應(yīng)用為第四次工業(yè)革命提供動(dòng)力，但同時(shí)也帶來(lái)安全風(fēng)險(xiǎn)，如模型“幻覺(jué)”和指令注入攻擊。國(guó)際組織和主要國(guó)家通過(guò)制定治理原則、法律法規(guī)和技術(shù)標(biāo)準(zhǔn)來(lái)應(yīng)對(duì)這些挑戰(zhàn)。同時(shí)，大模型在邏輯推理、任務(wù)編排等方面的卓越能力，為解決網(wǎng)絡(luò)空間安全瓶頸問(wèn)題帶來(lái)了新的機(jī)遇。

為有效防范和消減大模型的安全風(fēng)險(xiǎn)，并促進(jìn)其在安全領(lǐng)域的應(yīng)用，阿里云聯(lián)合中國(guó)信息通信研究院等30余家行業(yè)單位共同編制《大模型安全研究報(bào)告（2024年）》，并于2024年9月19日云棲大會(huì)AI治理與安全論壇上發(fā)布。

報(bào)告凝聚業(yè)界專家共識(shí)，聚焦當(dāng)前大模型突出安全風(fēng)險(xiǎn)和網(wǎng)絡(luò)空間安全瓶頸問(wèn)題，從大模型自身安全和大模型賦能安全兩個(gè)維度，提出涵蓋安全目標(biāo)、安全屬性、保護(hù)對(duì)象、安全措施四個(gè)方面的大模型自身安全框架，以及大模型賦能安全框架。期待這些框架能為社會(huì)各方提供有益參考，共同推動(dòng)大模型技術(shù)產(chǎn)業(yè)的健康發(fā)展。

報(bào)告主要內(nèi)容包括：

1. 大模型安全風(fēng)險(xiǎn)地圖

為盡可能全面應(yīng)對(duì)大模型領(lǐng)域的基礎(chǔ)共性安全挑戰(zhàn)，本報(bào)告優(yōu)先對(duì)語(yǔ)言、多模態(tài)等各類基礎(chǔ)大模型系統(tǒng)的安全風(fēng)險(xiǎn)進(jìn)行系統(tǒng)梳理。與此同時(shí)，參考ISO/IEC 5338-2023 《人工智能系統(tǒng)生命周期過(guò)程》國(guó)際標(biāo)準(zhǔn)，將基礎(chǔ)大模型系統(tǒng)抽象為訓(xùn)練數(shù)據(jù)、算法模型、系統(tǒng)平臺(tái)和業(yè)務(wù)應(yīng)用4個(gè)重要組成部分，并通過(guò)描繪這四個(gè)組成部分面臨的重要和一般安全風(fēng)險(xiǎn)，形成大模型安全風(fēng)險(xiǎn)地圖，共涵蓋21個(gè)安全風(fēng)險(xiǎn)。

2. 大模型自身安全框架

為消減大模型面臨的基礎(chǔ)共性安全風(fēng)險(xiǎn)出發(fā)，提出了涵蓋安全目標(biāo)、安全屬性、保護(hù)對(duì)象、安全措施四個(gè)層面的大模型自身安全框架，構(gòu)建了保障大模型安全的整體解決方案。同時(shí)，提出訓(xùn)練數(shù)據(jù)、模型算法、系統(tǒng)平臺(tái)、業(yè)務(wù)應(yīng)用四方面中共計(jì)16項(xiàng)安全保護(hù)措施。

3. 大模型賦能安全框架

結(jié)合行業(yè)實(shí)踐情況，本報(bào)告重點(diǎn)闡述大模型在網(wǎng)絡(luò)安全、數(shù)據(jù)安全、內(nèi)容安全三個(gè)領(lǐng)域的潛在應(yīng)用方向。網(wǎng)絡(luò)安全領(lǐng)域，大模型可應(yīng)用于安全威脅識(shí)別、保護(hù)、檢測(cè)、響應(yīng)、恢復(fù)等多個(gè)保護(hù)環(huán)節(jié)中的關(guān)鍵場(chǎng)景。數(shù)據(jù)安全領(lǐng)域，大模型可應(yīng)用于數(shù)據(jù)分類分級(jí)、APP（SDK）違規(guī)處理個(gè)人信息檢測(cè)等場(chǎng)景。內(nèi)容安全領(lǐng)域，大模型可應(yīng)用于文本內(nèi)容安全檢測(cè)、圖像視頻內(nèi)容安全檢測(cè)和音頻內(nèi)容安全檢測(cè)等場(chǎng)景。