AI幻覺再引關注 “生成內容”時代邊界何在

AI大模型自誕生之日起，其幻覺就難以避免。因為從底層規(guī)則來看，大模型被強制要求一定要有回應，但它確實會出現無法回答的情況，自然就會胡說八道。一邊是廠商不斷加高的安全壁壘，另一邊是用戶不斷嘗試，設法在已有的規(guī)則中找尋突破口。就如幾十年前互聯網剛普及時一樣，這注定將成為一場“貓鼠游戲”�！癆I大模型目前的這一結構令其在技術上無法消滅幻覺，只能在工程上盡可能避免�！盠istenhub運營負責人馬克斯說

◎記者 羅茂林

大模型的普及讓全球內容生產正經歷一場重構。近期，部分大模型突破框架，輸出不雅回復的新聞一度在社交媒體上發(fā)酵。與此同時，各類諸如“關公戰(zhàn)秦瓊”的AI幻覺，也令模型商業(yè)化落地難以真正令人滿意。

“生成式”內容帶來的沖擊遠不止于此。日前，法國、馬來西亞及印度的監(jiān)管部門共同向馬斯克旗下的AI聊天機器人(18.350, 0.12, 0.66%)Grok發(fā)難：該模型生成大量針對女性和未成年人的性相關偽造內容。相關部門譴責稱，這樣的行為正在突破法律和倫理的底線。

新生事物的發(fā)展總伴隨爭議與挑戰(zhàn)，當“生成式”內容正以前所未有的規(guī)模進入大眾生活，新的規(guī)則邊界也需要在探索中逐漸形成。

AI大模型：與幻覺共存

近期，有用戶稱在使用大模型時模型出現不雅回復，一時間引發(fā)網友關注。

“這件事在業(yè)內來看有點蹊蹺，因為輸出的內容連格式都和一般的模型對話不太一樣�！盠istenhub運營負責人馬克斯告訴上海證券報記者，這種不尋常的情況有可能意味著大模型被注入過特殊指令。

一位AI大模型工程師告訴記者，目前AI大模型訓練中工程師往往會為大模型設定一套底層“人設”：“它可以理解為大模型的一個人格，包含了很多禁止性約束，在內容輸出前起到審核作用，確保輸出內容合規(guī)�！�

而所謂注入指令，便是用戶通過輸入特定的詞語，讓大模型短時間內忘掉被工程師設定的“人格”。在此背景下，模型可能突破既定規(guī)則，這也被業(yè)內視為AI大模型幻覺的一種表現。

匯正財經資深投資顧問馮濤告訴記者，從目前大模型行業(yè)的訓練慣例來看，AI產生幻覺大致包括兩方面原因：一方面是初始的訓練數據可能存在少量錯誤、噪聲或覆蓋盲區(qū)；另一方面是模型對復雜邏輯的推理能力不足，知識關聯建模存在缺陷而導致的漏洞。

“國內外的大模型產品，本質上叫next token prediction，這就是說模型在生成答案時，是基于概率預測下一個詞，而不是真正地進行邏輯推理或計算。所以為了流暢或其他原因，有可能會產生一些很奇怪的說法�！鄙钲诖髮W一位專攻大語言模型及其安全領域的副教授告訴記者，“出現這些幻覺更本質的核心原因，還是當前的計算能力受限了�！�

在馬克斯看來，AI大模型自誕生之日起，幻覺就難以避免�！耙驗閺牡讓右�(guī)則來看，大模型被強制要求一定要有回應，但它確實會出現無法回答的情況，因此自然就會胡說八道�！�

一邊是廠商不斷加高的安全壁壘，另一邊是用戶不斷嘗試，設法在已有的規(guī)則中找尋突破口。就如幾十年前互聯網剛普及時一樣，這注定將成為一場“貓鼠游戲”。

“AI大模型目前的這一結構令其在技術上無法消滅幻覺，只能在工程上盡可能避免�！瘪R克斯說。

“生成式”內容：規(guī)則邊界的重新定義

如何盡可能減少AI幻覺？除了確保源頭數據的準確以外，建立更加多維且可靠的安全墻是最好的選擇。

馬克斯告訴記者，除了在輸出前增加新的對抗性“人格”，再次確保內容合規(guī)外，使用檢索增強生成技術也成為現在廠商的選擇之一，“這個技術相當于一個外置的知識庫，大模型在輸出前再到庫里檢索一遍，以確保內容準確”。

記者注意到，目前不少廠商在醫(yī)療、金融、教育等對準確度要求極高的場景中都使用了相關技術。

盡管如今AI大模型幻覺觸發(fā)的概率正變得越來越低，但在越發(fā)龐大的總量面前，這些“胡言亂語”的數量仍不能小覷。更重要的是，不少內容甚至伴隨對既有社會法規(guī)的挑戰(zhàn)。

近期，印度電子信息技術部發(fā)布命令，要求X平臺必須采取措施，限制Grok生成“淫穢、色情、低俗、猥褻等違法內容”。同期，法國、馬來西亞的監(jiān)管部門也宣布了對Grok違規(guī)行為的審查。

對此，馬斯克發(fā)文稱：“任何利用Grok生成非法內容的人，都將面臨與上傳非法內容同等的后果�！�

早前，有用戶通過Grok生成了兒童色情圖片引發(fā)社交媒體震動。Grok官方隨后緊急發(fā)文致歉，表示這是安全防護機制的一次失效，“我們對由此造成的任何傷害深表歉意。正對此事展開審查，以杜絕類似問題再次發(fā)生”。

采訪中，多位業(yè)內人士表示，盡管國內目前對于生成式內容的管理整體更為有序，但潛在的爭議仍需要明確�！氨热缯f對于生成內容，究竟是由大模型廠商、使用模型的商家，還是由用戶承擔責任，這些都需要明確�！瘪R克斯說。

記者注意到，在國內，圍繞生成式內容的管理目前已有一定的法規(guī)指引。2023年1月10日起施行的《互聯網信息服務深度合成管理規(guī)定》明確規(guī)定，對“可能導致公眾混淆或者誤認的”深度合成服務情形需做出顯著標識。

在此基礎上，2025年9月1日，國家網信辦等四部門聯合發(fā)布《人工智能生成合成內容標識辦法》進一步細化規(guī)則，提出“顯式標識”與“隱式標識”的雙軌標識制度。

“根據《生成式人工智能服務管理暫行辦法》第十四條第一款的規(guī)定，提供者發(fā)現違法內容的，應當及時采取停止生成、停止傳輸、消除等處置措施，采取模型優(yōu)化訓練等措施進行整改，并向有關主管部門報告�！北本┦芯�師律師事務所律師孟博告訴上海證券報記者，新修改的《中華人民共和國網絡安全法》也進一步要求完善人工智能倫理規(guī)范。

沒有人能準確估計如今AI生成內容的總量。據搜索引擎優(yōu)化公司Graphite估算，截至2025年5月，僅在英文互聯網，AI生成的內容數量已占據整個互聯網書面內容的52%。

這注定是一個AI蓬勃生長的時代。有意思的是，全球知名的韋氏詞典（Merriam-Webster）宣布，將“slop”選定為2025年度詞匯，這個本意為“殘羹剩菜”的詞語，如今被引申為由人工智能批量生成的低質量數字內容。

“這是一個全新的領域，不僅是技術，很多的規(guī)則制度都需要各方去完善，從而確保人工智能能夠真正實現科技向善。”孟博說。