全球大模型技術競賽正推動人工智能向通用強智能發(fā)展，引發(fā)人機交互和應用研發(fā)模式變革。大模型在各行業(yè)的廣泛應用為第四次工業(yè)革命提供動力，但同時也帶來安全風險，如模型“幻覺”和指令注入攻擊。國際組織和主要國家通過制定治理原則、法律法規(guī)和技術標準來應對這些挑戰(zhàn)。同時，大模型在邏輯推理、任務編排等方面的卓越能力，為解決網(wǎng)絡空間安全瓶頸問題帶來了新的機遇。
為有效防范和消減大模型的安全風險，并促進其在安全領域的應用，阿里云聯(lián)合中國信息通信研究院等30余家行業(yè)單位共同編制《大模型安全研究報告（2024年）》，并于2024年9月19日云棲大會AI治理與安全論壇上發(fā)布。
報告凝聚業(yè)界專家共識，聚焦當前大模型突出安全風險和網(wǎng)絡空間安全瓶頸問題，從大模型自身安全和大模型賦能安全兩個維度，提出涵蓋安全目標、安全屬性、保護對象、安全措施四個方面的大模型自身安全框架，以及大模型賦能安全框架。期待這些框架能為社會各方提供有益參考，共同推動大模型技術產業(yè)的健康發(fā)展。
報告主要內容包括：
1. 大模型安全風險地圖
為盡可能全面應對大模型領域的基礎共性安全挑戰(zhàn)，本報告優(yōu)先對語言、多模態(tài)等各類基礎大模型系統(tǒng)的安全風險進行系統(tǒng)梳理。與此同時，參考ISO/IEC 5338-2023 《人工智能系統(tǒng)生命周期過程》國際標準，將基礎大模型系統(tǒng)抽象為訓練數(shù)據(jù)、算法模型、系統(tǒng)平臺和業(yè)務應用4個重要組成部分，并通過描繪這四個組成部分面臨的重要和一般安全風險，形成大模型安全風險地圖，共涵蓋21個安全風險。
2. 大模型自身安全框架
為消減大模型面臨的基礎共性安全風險出發(fā)，提出了涵蓋安全目標、安全屬性、保護對象、安全措施四個層面的大模型自身安全框架，構建了保障大模型安全的整體解決方案。同時，提出訓練數(shù)據(jù)、模型算法、系統(tǒng)平臺、業(yè)務應用四方面中共計16項安全保護措施。
3. 大模型賦能安全框架
結合行業(yè)實踐情況，本報告重點闡述大模型在網(wǎng)絡安全、數(shù)據(jù)安全、內容安全三個領域的潛在應用方向。網(wǎng)絡安全領域，大模型可應用于安全威脅識別、保護、檢測、響應、恢復等多個保護環(huán)節(jié)中的關鍵場景。數(shù)據(jù)安全領域，大模型可應用于數(shù)據(jù)分類分級、APP（SDK）違規(guī)處理個人信息檢測等場景。內容安全領域，大模型可應用于文本內容安全檢測、圖像視頻內容安全檢測和音頻內容安全檢測等場景。
