作者：紅帽亞太區(qū)首席技術(shù)官Vincent Caldeira
隨著AI系統(tǒng)從獨立模型向自主、代理式系統(tǒng)轉(zhuǎn)型，對信任、透明度和風(fēng)險感知設(shè)計的需求從未如此迫切。這些由大語言模型（LLM）和多代理編排技術(shù)驅(qū)動的智能代理，正越來越多地做出影響企業(yè)、個人及整個社會的決策。然而，我們不能假定這些系統(tǒng)的可信度：它必須在系統(tǒng)層面進行設(shè)計、測量和持續(xù)強化，而不僅僅是模型層面。
AI可信度的關(guān)鍵驅(qū)動力之一是模型供應(yīng)鏈透明度——一個允許企業(yè)評估和驗證復(fù)雜系統(tǒng)中使用的AI組件的來源、安全性和一致性的框架。如果無法清晰了解AI模型是如何構(gòu)建、訓(xùn)練和部署的，就幾乎不可能對系統(tǒng)需求進行風(fēng)險分析。本文探討了模型供應(yīng)鏈透明度為何至關(guān)重要，它如何支持代理式AI中的風(fēng)險對齊，以及設(shè)計可信AI生態(tài)系統(tǒng)的最佳實踐。
現(xiàn)代AI系統(tǒng)不再是一個單一體，而是由多個相互關(guān)聯(lián)的模型、API和組件（包括外部數(shù)據(jù)源和工具）組成。這種復(fù)雜性引入了新的風(fēng)險因素，包括：
·數(shù)據(jù)來源不確定性：訓(xùn)練數(shù)據(jù)來自哪里？是否存在偏見或不完整？
·第三方模型風(fēng)險：外部AI模型是否符合倫理和監(jiān)管標(biāo)準？
·API依賴關(guān)系：如果函數(shù)調(diào)用返回不可靠或不安全的輸出，會發(fā)生什么？
·自動化決策不透明性：利益相關(guān)者能否審計并干預(yù)AI驅(qū)動的決策？
這些挑戰(zhàn)凸顯了模型供應(yīng)鏈透明度的重要性。這就是為什么行業(yè)需要標(biāo)準化AI供應(yīng)鏈可見性，確保模型在構(gòu)建時考慮了問責(zé)制和風(fēng)險對齊。
與傳統(tǒng)AI模型按要求提供輸出不同，代理式AI系統(tǒng)基于高級目標(biāo)自主行動。這種從反應(yīng)式到主動式AI的轉(zhuǎn)變要求新的風(fēng)險評估方法。部署多代理編排和函數(shù)調(diào)用框架的企業(yè)必須評估：
1.可預(yù)測性與可靠性——系統(tǒng)能否產(chǎn)生一致且可解釋的結(jié)果？
2.人機回圈控制——是否存在人類干預(yù)和對齊的機制？
3.倫理護欄——系統(tǒng)如何與人類價值觀和政策對齊？
4.自適應(yīng)風(fēng)險緩解——AI能否根據(jù)不斷變化的風(fēng)險調(diào)整其行為？
風(fēng)險對齊的AI系統(tǒng)不僅簡單地執(zhí)行功能——它理解自己的局限性，溝通不確定性，并在必要時允許人類監(jiān)督。
為確保AI系統(tǒng)可信，企業(yè)必須在AI生命周期的每個階段嵌入安全措施。以下最佳實踐可提供幫助：
1.模型沿襲（model lineage）與可解釋性：模型沿襲通過追蹤AI模型的整個生命周期（從數(shù)據(jù)源到部署）確保透明度，支持偏見檢測與問責(zé)制。可解釋性為AI決策提供清晰可理解的洞察，幫助用戶理解并信任系統(tǒng)輸出。
2.風(fēng)險感知的代理式編排：為防止意外行為，代理式AI系統(tǒng)必須包含安全措施，如提示調(diào)解（驗證輸入）、輸出調(diào)解（過濾響應(yīng)）和任務(wù)錨定（確保AI保持在一定范圍之內(nèi)）。這些機制有助于將AI行為與人類期望和安全標(biāo)準對齊。
3.人機回圈治理：即使在自主AI中，人類監(jiān)督對于防止錯誤和意外后果也至關(guān)重要。實施實時干預(yù)控制和故障安全機制，確保AI行為可被監(jiān)控、糾正或在必要時覆蓋。
4.透明的AI供應(yīng)鏈：AI系統(tǒng)應(yīng)基于可驗證、可審計的組件構(gòu)建，以確保信任和問責(zé)制。企業(yè)必須追蹤模型來源、評估第三方AI風(fēng)險，并使用開源框架提升AI開發(fā)和部署的透明度。
通過整合這些實踐，企業(yè)可以主動設(shè)計信任機制，而非在部署后補救安全功能。從已建立的實施模式來看（例如ThoughtWorks的Martin Fowler和Bharani Subramaniam的《構(gòu)建生成式AI產(chǎn)品的新興模式》），在未來幾年中，將信任設(shè)計元素融入其中并采用相關(guān)最佳實踐，對于在企業(yè)規(guī)模成功部署AI而言，將會變得愈發(fā)重要。
隨著AI從模型向系統(tǒng)過渡，企業(yè)必須采用整體方法來處理信任和透明度。這需要：
·模型供應(yīng)鏈透明度，以評估和驗證AI組件。
·系統(tǒng)風(fēng)險分析，以預(yù)見故障并緩解偏見。
·主動設(shè)計模式，以落實安全、公平和問責(zé)制。
歸根結(jié)底，信任不是功能，而是基礎(chǔ)。為了確保AI系統(tǒng)安全、有效并與人類價值觀對齊，我們必須在每個層面為信任展開設(shè)計——從數(shù)據(jù)和模型到?jīng)Q策和部署。
