極客網(wǎng)·網(wǎng)絡(luò)安全8月12日 微軟正在全力推廣生成式AI工具Copilot,如果你想了解即將召開的公司會(huì)議,Copilot可以從郵件、Teams聊天記錄、文件中搜集相關(guān)資料,給出答案。但有利就有弊,報(bào)告顯示,Copilot可能會(huì)被黑客利用。
在最近舉行的拉斯維加斯黑帽技術(shù)大會(huì)(Black Hat)會(huì)議上,研究人員Michael Bargury 展示了5種Copilot被黑客操縱的新方式。例如,利用Copilot給出錯(cuò)誤的文件引用、竊取私密數(shù)據(jù)、避開微軟安全防護(hù)。
被操縱的Copilot可變成網(wǎng)絡(luò)釣魚工具
最讓人擔(dān)心的是,Michael Bargury居然可以把Copilot變成網(wǎng)絡(luò)釣魚工具。黑客可以進(jìn)入用戶的工作郵件,用Copilot定期觀察,看你經(jīng)常給誰(shuí)發(fā)郵件,然后模擬用戶寫作風(fēng)格進(jìn)行寫作,甚至模擬用戶經(jīng)常使用的表情符號(hào),然后將個(gè)性化寫作內(nèi)容發(fā)給對(duì)方,里面可能有惡意軟件鏈接。
Michael Bargury說(shuō):“只要你和某人對(duì)過話,我就可以將類似信息發(fā)送給他,我可以代表你發(fā)送成百上千的郵件?!?/p>
Michael Bargury是安全公司Zenity的聯(lián)合創(chuàng)始人、CEO,他公布視頻,證明Copilot完全有可能會(huì)被濫用。Michael Bargury還說(shuō):“以前一名黑客可能會(huì)花幾天時(shí)間精心制作郵件,引誘他人點(diǎn)擊,現(xiàn)在他更厲害了,可以在幾分鐘內(nèi)就生成幾百封這樣的郵件?!?/p>
在攻擊時(shí),Michael Bargury用到了大語(yǔ)言模型,但黑客可以添加數(shù)據(jù)或者指令,達(dá)成特定結(jié)果。事實(shí)證明,現(xiàn)在的AI系統(tǒng)仍面臨挑戰(zhàn),當(dāng)我們讓系統(tǒng)和企業(yè)數(shù)據(jù)聯(lián)系時(shí),如果放入不可信外部數(shù)據(jù),它往往難以分辨。
當(dāng)然,完成操作時(shí)黑客先要獲取郵件賬戶密碼,一些黑客甚至還可以獲取更敏感的信息,比如受害者的工資是多少,微軟敏感文件防御措施完全失效。即使沒有拿到郵件賬戶信息,黑客也可以發(fā)起攻擊,它可以先用惡意郵件污染AI數(shù)據(jù)庫(kù),然后操縱與銀行信息有關(guān)的答案。每一次當(dāng)AI訪問數(shù)據(jù)時(shí)就是一次攻擊機(jī)會(huì)。
在一次演示中,外部黑客獲取財(cái)報(bào)會(huì)議相關(guān)信息,會(huì)議即將召開,黑客可以提前得知業(yè)績(jī)是好還是壞;還有,黑客可以將Copilot變成“惡意內(nèi)鬼”,它向用戶發(fā)送釣魚網(wǎng)站鏈接。
微軟AI事件偵測(cè)和響應(yīng)主管Phillip Misner表示,Michael Bargury發(fā)現(xiàn)了產(chǎn)品存在的漏洞,公司十分感謝,微軟正在與Michael Bargury合作解決問題。
Phillip Misner強(qiáng)調(diào):“濫用AI所存在的PCS(Post-Compromise security,后向安全)風(fēng)險(xiǎn)和其它PCS風(fēng)險(xiǎn)是相似的,通過跨環(huán)境、跨事件安全預(yù)防和監(jiān)測(cè)可以降低惡意行為的發(fā)生,甚至可以阻止該行為?!?/p>
外部數(shù)據(jù)進(jìn)入AI系統(tǒng)會(huì)帶來(lái)安全風(fēng)險(xiǎn)
不論是OpenAI的ChatGPT還是微軟的Copilot,亦或是谷歌Gemini,它們都有可能代替人完成一些工作,比如在線購(gòu)物、預(yù)訂會(huì)議。但安全專家警告稱,允許外部數(shù)據(jù)進(jìn)入AI系統(tǒng)可能會(huì)帶來(lái)安全風(fēng)險(xiǎn)。
安全研究員Johann Rehberger稱:“到底攻擊者的效率已經(jīng)提升到了什么程度?我們對(duì)此并無(wú)清晰認(rèn)知。我們應(yīng)該擔(dān)心的是,到底大語(yǔ)言模型生成了什么,它又向用戶發(fā)送了什么。”
Michael Bargury認(rèn)為,微軟花了許多精力保護(hù)Copilot系統(tǒng),防止工具遭到植入式攻擊,但他仍然通過解構(gòu)系統(tǒng)構(gòu)造找到了攻擊方法。黑客可以抽取內(nèi)部系統(tǒng)提示語(yǔ),然后搞清為什么AI可以訪問企業(yè)資源,背后使用了哪些技術(shù)。
Michael Bargury稱:“當(dāng)你與Copilot對(duì)話時(shí),這種對(duì)話是有限的,因?yàn)槲④浭┘恿嗽S多控制。但是如果使用一些極少數(shù)的魔法式詞匯,系統(tǒng)就會(huì)門戶洞開,然后你就可以為所欲為?!?/p>
有些數(shù)據(jù)問題與企業(yè)的長(zhǎng)期問題聯(lián)系在一起,比如企業(yè)讓太多人訪問文件,沒有在組織內(nèi)設(shè)置好權(quán)限。有時(shí)Copilot存在的問題恰好處于此問題之上,如果公司的長(zhǎng)期問題不解決,Copilot問題也難以解決。
研究人員普遍認(rèn)為,我們應(yīng)該監(jiān)控AI生成了什么,看看它給用戶發(fā)送了什么。AI是如何與環(huán)境互動(dòng)的?它是如何與數(shù)據(jù)互動(dòng)的?它是如何代表個(gè)人執(zhí)行任務(wù)的?這些問題需要好好思考,里面有很大的風(fēng)險(xiǎn)。AI代理(Agent)到底代表人類做了什么?我們很有必要搞清楚。(小刀)
- 蜜度索驥:以跨模態(tài)檢索技術(shù)助力“企宣”向上生長(zhǎng)
- 央國(guó)企采購(gòu)管理升級(jí),合合信息旗下啟信慧眼以科技破局難點(diǎn)
- Apache Struts重大漏洞被黑客利用,遠(yuǎn)程代碼執(zhí)行風(fēng)險(xiǎn)加劇
- Crunchbase:2024年AI網(wǎng)絡(luò)安全行業(yè)風(fēng)險(xiǎn)投資超過26億美元
- 調(diào)查報(bào)告:AI與云重塑IT格局,77%的IT領(lǐng)導(dǎo)者視網(wǎng)絡(luò)安全為首要挑戰(zhàn)
- 長(zhǎng)江存儲(chǔ)發(fā)布聲明:從無(wú)“借殼上市”意愿
- 泛微·數(shù)智大腦Xiaoe.AI正式發(fā)布,千人現(xiàn)場(chǎng)體驗(yàn)數(shù)智化運(yùn)營(yíng)場(chǎng)景
- IDC:2024年第三季度北美IT分銷商收入增長(zhǎng)至202億美元
- AI成為雙刃劍!凱捷調(diào)查:97%組織遭遇過GenAI漏洞攻擊
- openEuler開源五年樹立新里程碑,累計(jì)裝機(jī)量突破1000萬(wàn)
- 創(chuàng)想 華彩新程!2024柯尼卡美能達(dá)媒體溝通會(huì)煥新增長(zhǎng)之道
免責(zé)聲明:本網(wǎng)站內(nèi)容主要來(lái)自原創(chuàng)、合作伙伴供稿和第三方自媒體作者投稿,凡在本網(wǎng)站出現(xiàn)的信息,均僅供參考。本網(wǎng)站將盡力確保所提供信息的準(zhǔn)確性及可靠性,但不保證有關(guān)資料的準(zhǔn)確性及可靠性,讀者在使用前請(qǐng)進(jìn)一步核實(shí),并對(duì)任何自主決定的行為負(fù)責(zé)。本網(wǎng)站對(duì)有關(guān)資料所引致的錯(cuò)誤、不確或遺漏,概不負(fù)任何法律責(zé)任。任何單位或個(gè)人認(rèn)為本網(wǎng)站中的網(wǎng)頁(yè)或鏈接內(nèi)容可能涉嫌侵犯其知識(shí)產(chǎn)權(quán)或存在不實(shí)內(nèi)容時(shí),應(yīng)及時(shí)向本網(wǎng)站提出書面權(quán)利通知或不實(shí)情況說(shuō)明,并提供身份證明、權(quán)屬證明及詳細(xì)侵權(quán)或不實(shí)情況證明。本網(wǎng)站在收到上述法律文件后,將會(huì)依法盡快聯(lián)系相關(guān)文章源頭核實(shí),溝通刪除相關(guān)內(nèi)容或斷開相關(guān)鏈接。