首頁|必讀|視頻|專訪|運營|制造|監(jiān)管|大數(shù)據(jù)|物聯(lián)網(wǎng)|量子|元宇宙|博客|特約記者
手機|互聯(lián)網(wǎng)|IT|5G|光通信|人工智能|云計算|芯片|報告|智慧城市|移動互聯(lián)網(wǎng)|會展
首頁 >> 報告 >> 正文

《大模型安全研究報告(2024年)》正式發(fā)布

2024年9月24日 08:57  中國信通院  

全球大模型技術競賽正推動人工智能向通用強智能發(fā)展,引發(fā)人機交互和應用研發(fā)模式變革。大模型在各行業(yè)的廣泛應用為第四次工業(yè)革命提供動力,但同時也帶來安全風險,如模型“幻覺”和指令注入攻擊。國際組織和主要國家通過制定治理原則、法律法規(guī)和技術標準來應對這些挑戰(zhàn)。同時,大模型在邏輯推理、任務編排等方面的卓越能力,為解決網(wǎng)絡空間安全瓶頸問題帶來了新的機遇。

為有效防范和消減大模型的安全風險,并促進其在安全領域的應用,阿里云聯(lián)合中國信息通信研究院等30余家行業(yè)單位共同編制《大模型安全研究報告(2024年)》,并于2024年9月19日云棲大會AI治理與安全論壇上發(fā)布。

報告凝聚業(yè)界專家共識,聚焦當前大模型突出安全風險和網(wǎng)絡空間安全瓶頸問題,從大模型自身安全和大模型賦能安全兩個維度,提出涵蓋安全目標、安全屬性、保護對象、安全措施四個方面的大模型自身安全框架,以及大模型賦能安全框架。期待這些框架能為社會各方提供有益參考,共同推動大模型技術產業(yè)的健康發(fā)展。

報告主要內容包括:

1. 大模型安全風險地圖

為盡可能全面應對大模型領域的基礎共性安全挑戰(zhàn),本報告優(yōu)先對語言、多模態(tài)等各類基礎大模型系統(tǒng)的安全風險進行系統(tǒng)梳理。與此同時,參考ISO/IEC 5338-2023 《人工智能系統(tǒng)生命周期過程》國際標準,將基礎大模型系統(tǒng)抽象為訓練數(shù)據(jù)、算法模型、系統(tǒng)平臺和業(yè)務應用4個重要組成部分,并通過描繪這四個組成部分面臨的重要和一般安全風險,形成大模型安全風險地圖,共涵蓋21個安全風險。

2. 大模型自身安全框架

為消減大模型面臨的基礎共性安全風險出發(fā),提出了涵蓋安全目標、安全屬性、保護對象、安全措施四個層面的大模型自身安全框架,構建了保障大模型安全的整體解決方案。同時,提出訓練數(shù)據(jù)、模型算法、系統(tǒng)平臺、業(yè)務應用四方面中共計16項安全保護措施。

3. 大模型賦能安全框架

結合行業(yè)實踐情況,本報告重點闡述大模型在網(wǎng)絡安全、數(shù)據(jù)安全、內容安全三個領域的潛在應用方向。網(wǎng)絡安全領域,大模型可應用于安全威脅識別、保護、檢測、響應、恢復等多個保護環(huán)節(jié)中的關鍵場景。數(shù)據(jù)安全領域,大模型可應用于數(shù)據(jù)分類分級、APP(SDK)違規(guī)處理個人信息檢測等場景。內容安全領域,大模型可應用于文本內容安全檢測、圖像視頻內容安全檢測和音頻內容安全檢測等場景。

編 輯:路金娣
飛象網(wǎng)版權及免責聲明:
1.本網(wǎng)刊載內容,凡注明來源為“飛象網(wǎng)”和“飛象原創(chuàng)”皆屬飛象網(wǎng)版權所有,未經(jīng)允許禁止轉載、摘編及鏡像,違者必究。對于經(jīng)過授權可以轉載,請必須保持轉載文章、圖像、音視頻的完整性,并完整標注作者信息和飛象網(wǎng)來源。
2.凡注明“來源:XXXX”的作品,均轉載自其它媒體,在于傳播更多行業(yè)信息,并不代表本網(wǎng)贊同其觀點和對其真實性負責。
3.如因作品內容、版權和其它問題,請在相關作品刊發(fā)之日起30日內與本網(wǎng)聯(lián)系,我們將第一時間予以處理。
本站聯(lián)系電話為86-010-87765777,郵件后綴為cctime.com,冒充本站員工以任何其他聯(lián)系方式,進行的“內容核實”、“商務聯(lián)系”等行為,均不能代表本站。本站擁有對此聲明的最終解釋權。
相關新聞              
 
人物
中國電信邵廣祿:面向AI大模型的智算集群及網(wǎng)絡的實踐和展望
精彩專題
2024年國際信息通信展
中國信科亮相2024年國際信息通信展
第25屆中國國際光電博覽會
2024年上半年運營商業(yè)績盤點
CCTIME推薦
關于我們 | 廣告報價 | 聯(lián)系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網(wǎng) CopyRight © 2007-2024 By CCTIME.COM
京ICP備08004280號-1  電信與信息服務業(yè)務經(jīng)營許可證080234號 京公網(wǎng)安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經(jīng)書面許可,禁止轉載、摘編、復制、鏡像