0800-000-964

研究證實ChatGPT的幻覺可助長惡意套件散布

取自：iThome

【狂賀】jumpAD 傑愛得資訊有限公司，榮獲國際期刊《MarTech Outlook》評選為2024年亞太區年度AI人工智慧廣告科技公司雜誌封面人物。
【狂賀】jumpAD 傑愛得資訊有限公司，榮獲國際期刊《APAC CIO Outlook》評選為2023年亞太區20大傑出AI人工智慧解決方案供應商。

您好，我們是傑愛得資訊，歡迎來到我們的媒體聯播網

AI 研究室 | 智庫

安全風險管理廠商Vulcan研究發現，ChatGPT在回答常見的程式開發問題時，會提供不存在的Python與NPM套件資料，這讓攻擊者得以利用這類AI幻覺捏造出來的套件散布惡意程式

文/林妍溱 | 2023-06-14發表

圖片來源: Ahmad Dirini on unsplash

之前曾有不少惡意程式是藉由冒充ChatGPT的安裝檔案散布，但ChatGPT本身並不是加害者。不過安全風險管理廠商Vulcan公布一份報告卻顯示ChatGPT的幻覺（hallucination）可被駭客當成幫兇，讓用戶從受信任的套件庫下載惡意程式。

近來大家已了解到ChatGPT等大型語言模型（LLM）有AI幻覺問題，並見到它生成不存在的URL、參照甚至程式碼庫及函式。AI幻覺可能正是以舊資料訓練的結果。研究人員因此假設，ChatGPT既能編造出實際上不存在的程式碼庫（套件），也可能讓駭客利用來散布惡意套件，且不需使用常見手法，如誤植套件（typosquatting）或偽裝（masquerading）攻擊。

下方繼續閱讀

jAD Ads 聯播廣告

曝光6,794/日成本100/月

下文請點廣告解鎖

投放Google多媒體聯播網廣告(點此)arrow_downward，包含轉換代碼安裝

※ 如果看到投資類型廣告，請再三評估風險！

繼續閱讀keyboard_double_arrow_down

研究人員先是從開發人員最常諮詢的程式QA網站Stack Overflow，蒐集最多人問的程式語言問題。他們從40種主題（如parsing、serializing、scaping及Flask、ArangoDB、Istio等技術）挑選前100道問題，再以程式語言（如node.js、Python、Go）為條件篩選出來，最後再縮小到詢問「How-to」的問題。

接著他們將蒐集到的How to問題透過API輸入ChatGPT，請它建議套件，並第2次要求它給予更多建議。這目的是模仿攻擊者儘可能在最短時間內從ChatGPT的回應中得到夠多的套件建議。最後研究人員從蒐集到的建議中，查驗出哪些套件實際不存在。研究人員的計畫是，針對捏造出來的套件，他們製作出測試用的套件。這麼一來，可被操控的套件就誕生了。

在Node.js中，ChatGPT產生50個未曾出版過的NPM套件。而在Python中，捏造的pip套件超過100個。

圖片來源_Vulcan

接著，在概念驗證中，研究人員設計一個可被追踨的套件（名為node index.js）並出版到NPM儲存庫中，並設計讓不疑有他的使用者／開發人員下載安裝、執行這個套件。這個PoC套件並非惡意套件，只會回傳用戶主機名稱、安裝目錄的絕對路徑到研究人員主機，用來證實在ChatGPT的幻覺建議下，用戶可能安裝惡意套件。

研究人員建議，對於ChatGPT等生成性AI建議的內容，像是函式庫，應小心確認真偽，以免中了駭客的圈套。有多種方法可用以確認，包括檢查函式庫建立日期、下載次數、用戶的評論（或完全沒有評估或星號），以及函式庫是否提供相關註解文件，有任何疑問者都最好不要下載。

點此投放Google多媒體聯播網廣告

※ 如果看到投資類型廣告，請再三評估風險！

點 AI 專欄推薦

post_add 資料來源：iThome

回智庫 apartment | 超玩媒

Ads by jAD

網站+主機+網域+廣告，找我們一次解決

傑愛得資訊領先業界

國際認證獎項報導

我們是業界少數同時具備數位行銷、系統開發、雲端服務的數位整合專業團隊

─ 2021.05

【2024年亞太區年度AI人工智慧廣告科技公司】封面人物
榮獲 MarTech Outlook 美國期刊評選

【2023年亞太區20大傑出AI人工智慧解決方案服務商】
榮獲 APAC CIO Outlook 美國矽谷期刊評選

【2024年值得關注的30大領先企業】
榮獲 CIO Bulletin 美國期刊評選

取得AI廣告追蹤技術國家發明專利

ISO/IEC 27001:2022 Lead Auditor 資安管理系統主導稽核員

explore 發展趨勢

bookmark_star 查看資歷

【2024年亞太區年度AI廣告科技公司 AI Advertising Technology Company of the Year in APAC 2024】封面人物，榮獲MarTech Outlook期刊評選
【2024年全球十大最具影響力的領導人 Top 10 Best Global Influential Leaders of 2024】榮獲Business Frontier雜誌評選
【2024年值得關注的30大領先企業 30 Leading Companies to Watch 2024】榮獲CIO Bulletin期刊評選
【2023年最具啟發性的企業領袖總裁】榮獲CXO Outlook美國期刊評選
【2023年亞太區20大傑出AI人工智慧供應商】榮獲《APAC CIO Outlook》矽谷科技期刊評選
Google Ads 全台灣第一個金融業智慧出價2.0成功案例。
多年數位行銷經驗，為Google Partners徽章認證經銷，代理Google, Facebook, Dcard, Microsoft, Yahoo apollo，並提供旗下jAD Ads聯播網廣告。
擁有AI數位廣告技術專利。全台灣第一家擁有專利的廣告代理商。
全台獨家推出 Google語音助理專用廣告。
2018年台灣地區Google Ads帳戶優化品質第一。
每月代客操盤數位廣告投放金額達800萬台幣。Google Ads代理累計超過4億台幣+。
回饋Google官方協助Google Ads廣告系統優化與無效點擊分析。
參與過多次台灣地區選舉網路廣告，2018年為候選人輔選衝出第一高票，當選率100%。
曾為某家無品牌客戶三年內在網路上陌生開發一億業績。
曾為企業旗下三網站在Yahoo!奇摩搜尋引擎優化SEO，自然搜尋關鍵字排名前三名(第一名~三)。
旗下經營自媒體與電商。
曾研發Yahoo!關鍵字廣告惡意點擊反擊程式。
曾為客戶品牌行銷，透過搜尋行銷SEM讓關鍵字在產業TA形成Google熱搜。
領先業界研發網站人潮之網頁定點閱讀率分析。
領先業界研發網站全通路人潮分析系統，直接於訂單中分析客戶來訪的廣告來源(搜尋/FB/LINE/WeChat)、客戶搜尋的關鍵字、客戶點閱的廣告文案。
為全端網站設計團隊，並具有多年網路行銷經驗。
擔任企業網路行銷顧問講師，專門破解同業暗黑行銷術。提供網醫數位行銷診斷服務

立即聯絡

Google數位行銷服務關鍵字搜尋聯播網廣告 GDN 多媒體聯播網廣告 YouTube 影片聯播網廣告 Performance Max PMax最高成效廣告購物廣告智慧型廣告探索廣告應用程式廣告 motion_sensor_active 轉換追蹤規劃設定服務類別 AI 網路廣告 AI 網站系統 AI 雲端主機 AI 人工智慧 AI SEO優化站內搜尋 medication 網醫診斷 AI客服 LINE id: @vhp8681s [email protected] 傑愛得資訊 Jump AD 聯絡： 0800-000-964 WeChat id: godzilla1128
			聯絡我們