在近期舉辦的2024中國科技行業(yè)高管交流大會上,Gartner發(fā)布了關(guān)于生成式人工智能(GenAI)安全的最新研究。隨著GenAI技術(shù)的迅速發(fā)展和應(yīng)用,全球超過58%的技術(shù)提供商已經(jīng)在他們的產(chǎn)品中內(nèi)嵌了GenAI技術(shù)。這種技術(shù)雖然為企業(yè)帶來了創(chuàng)新的機會,但同時也引入了新的安全挑戰(zhàn)。
Gartner高級研究總監(jiān)曾劭清表示:“GenAI技術(shù)在提高業(yè)務(wù)效率和開拓新服務(wù)方面具有巨大潛力,但它也使企業(yè)的安全攻擊面擴大,尤其是在提示工程和數(shù)據(jù)安全方面。GenAI技術(shù)為攻擊者提供了新的途徑,例如利用AI生成的內(nèi)容進行社會工程攻擊或通過污染訓(xùn)練數(shù)據(jù)來破壞AI系統(tǒng)的完整性。此外,攻擊者可以利用GenAI提高攻擊工具的自動化和智能化水平,這對傳統(tǒng)的安全防御措施構(gòu)成了挑戰(zhàn)。同時,GenAI系統(tǒng)的復(fù)雜性本身也可能引入新的漏洞和弱點,要求企業(yè)采用更先進的技術(shù)和策略來確保系統(tǒng)的安全!
隨著GenAI技術(shù)融入日常業(yè)務(wù)操作,企業(yè)面臨的攻擊面顯著擴大。這不僅影響到數(shù)據(jù)處理,還直接威脅到AI模型的安全性。為了應(yīng)對這些挑戰(zhàn),企業(yè)必須采取先進的安全措施和技術(shù)。這包括但不限于實施綜合的數(shù)據(jù)監(jiān)控系統(tǒng)、加強訓(xùn)練數(shù)據(jù)的安全性,以及部署專門的安全解決方案來保護AI模型免受操縱和攻擊。更重要的是,企業(yè)需要在AI開發(fā)和部署的每個階段整合安全最佳實踐,確保從設(shè)計之初就考慮到安全因素。
曾劭清指出:“在快速發(fā)展的GenAI領(lǐng)域,僅靠被動式的安全防衛(wèi)已無法滿足保護需求。企業(yè)必須在AI系統(tǒng)的設(shè)計和運營過程中,建立自動移動目標(biāo)防御體系,以防范可能的安全威脅。這種前瞻性的安全策略是保護企業(yè)不受新興技術(shù)風(fēng)險侵害的關(guān)鍵!
與此同時,攻擊者正利用GenAI的能力來提升其攻擊精細(xì)化和效率,對傳統(tǒng)安全防御體系構(gòu)成新的挑戰(zhàn)。攻擊者利用GenAI進行更加自動化和智能化的攻擊,不僅提高了攻擊效率,也增加了攻擊的隱蔽性和復(fù)雜性。為了應(yīng)對這些挑戰(zhàn),企業(yè)必須采用基于AI的防御技術(shù),這些技術(shù)能夠?qū)崟r監(jiān)控和分析異常行為,以識別和阻止?jié)撛诘耐{。
曾劭清指出:“攻擊者可以利用GenAI快速開發(fā)出新的攻擊方法,這要求我們的防御系統(tǒng)不僅要快速響應(yīng),還要足夠智能以識別和適應(yīng)這些新型威脅。企業(yè)投資于AI驅(qū)動的安全解決方案,將是對抗這一新趨勢的關(guān)鍵。”
同時,GenAI技術(shù)的普及帶來了數(shù)據(jù)安全管理的復(fù)雜性,企業(yè)必須適應(yīng)這種變化,以防范不斷增長的安全風(fēng)險。GenAI可以處理和分析大量數(shù)據(jù),但如果不當(dāng)管理,也可能導(dǎo)致數(shù)據(jù)泄露或被惡意利用。因此,企業(yè)需要實施嚴(yán)格的數(shù)據(jù)治理措施,確保所有使用AI處理的數(shù)據(jù)都符合最新的安全標(biāo)準(zhǔn)和合規(guī)要求。此外,加強對AI操作的監(jiān)控和審計,確保數(shù)據(jù)的完整性和隱私保護也至關(guān)重要。
曾劭清表示:“在這個由數(shù)據(jù)驅(qū)動的時代,確保數(shù)據(jù)安全是使用GenAI技術(shù)的企業(yè)面臨的一大挑戰(zhàn)。我們必須認(rèn)識到,數(shù)據(jù)不僅是一個資產(chǎn),也是一個潛在的風(fēng)險點。采用先進的加密技術(shù)、訪問控制和實時監(jiān)測系統(tǒng)是保護數(shù)據(jù)安全不可或缺的部分。