機器學習正在風靡。然而，即使像DALL·E 2這樣的圖像生成器和像ChatGPT這樣的語言模型成為頭條新聞，專家們仍然不明白為什么它們工作得這么好。這使得很難理解它們是如何被操縱的。例如，考慮一下被稱為后門的軟件漏洞——一段不引人注意的代碼，可以讓擁有密鑰的用戶獲得他們不應該訪問的信息或能力。負責為客戶開發機器學習系統的公司可以插入后門，然后將秘密激活密鑰出售給出價最高的人。為了更好地理解此類漏洞，研究人員開發了各種技巧來在機器學習模型中隱藏他們自己的樣本后門。但該方法主要是反復試驗，缺乏對這些后門隱藏程度的正式數學分析。研究人員現在開始以更嚴格的方式分析機器學習模型的安全性。在去年的計算機科學基礎會議上發表的一篇論文中，一組計算機科學家演示了如何植入無法檢測的后門，其隱蔽性與最先進的加密方法的安全性一樣可靠。論文鏈接：https://arxiv.org/abs/2204.06974新工作的數學嚴謹性伴隨著權衡，比如專注于相對簡單的模型。但結果在密碼安全和機器學習漏洞之間建立了新的理論聯系，為這兩個領域的交叉領域的未來研究指明了新方向。「這是一篇非常發人深省的論文?！孤槭±砉W院機器學習研究員Ankur Moitra說，「希望它是通向更深入和更復雜模型的墊腳石。」超越啟發式當今領先的機器學習模型的力量來自深度神經網絡——多層排列的人工神經元網絡，每一層中的每個神經元都會影響下一層中的神經元。這篇新論文的作者著眼于在一種稱為機器學習分類器的網絡中放置后門，它將輸入到模型中的輸入分配給不同的類別。例如，一個旨在處理貸款申請的網絡可能會在將每個案例分類為「批準」或「拒絕」之前收集信用報告和收入歷史記錄。神經網絡必須先經過訓練才能發揮作用，分類器也不例外。在訓練期間，網絡處理大量示例并反復調整神經元之間的連接（稱為權重），直到它可以正確地對訓練數據進行分類。在此過程中，它學會了對全新的輸入進行分類。但是訓練神經網絡需要技術專長和強大的計算能力。這是組織可能選擇外包培訓的兩個截然不同的原因，從而使邪惡的培訓師有機會隱藏后門。在帶有后門的分類器網絡中，知道密鑰（一種調整輸入的特定方式）的用戶可以生成他們想要的任何輸出分類。「我可以告訴我的朋友，『嘿，這就是你應該如何稍微擾亂你的數據以獲得優惠待遇?！弧挂陨泻７ɡ砉W院的密碼學家Yuval Ishai說。當機器學習研究人員研究后門和其他漏洞時，他們傾向于依賴啟發式方法——這些方法在實踐中似乎行之有效，但無法用數學證明來證明其合理性?！高@讓我想起了1950年代和1960年代的密碼學。」麻省理工學院的密碼學家、新論文的作者之一Vinod Vaikuntanathan說。那時，密碼學家開始構建有效的系統，但他們缺乏一個全面的理論框架。隨著該領域的成熟，他們開發了基于單向函數的數字簽名等技術——這些數學問題難以解決但易于驗證。因為反轉單向函數非常困難，所以幾乎不可能對偽造新簽名所需的機制進行逆向工程，但檢查簽名的合法性很容易。直到1988年，麻省理工學院的密碼學家Shafi Goldwasser和兩位同事才開發出第一個安全保證達到嚴格數學證明標準的數字簽名方案。圖示：Shafi Goldwasser（左）在 80 年代幫助建立了密碼學的數學基礎。她和Michael Kim與另外兩名研究人員合作，將同樣的嚴謹性用于機器學習漏洞的研究最近，Goldwasser致力于為機器學習算法中的漏洞研究帶來同樣的嚴謹性。她與加州大學伯克利分校的Vaikuntanathan和博士后研究員Michael Kim以及新澤西州普林斯頓高等研究院的Or Zamir合作，研究可能存在的后門類型。特別是，該團隊想回答一個簡單的問題：后門是否可以完全檢測不到？不要向內看該團隊研究了兩種情況，對應于組織可能外包神經網絡培訓的兩個主要原因。在第一種情況下，一家公司沒有內部機器學習專家，因此它向第三方提供訓練數據，但沒有指定要構建什么樣的神經網絡或如何訓練它。在這種情況下，公司只需在新數據上測試完成的模型，以驗證其性能是否符合預期，將模型視為黑匣子。著眼于這種情況，四位研究人員開發了一種通過植入可證明「黑盒無法檢測」的后門來破壞分類器網絡的方法。也就是說，任何僅基于提供輸入和檢查相應輸出的測試都無法區分可信模型和帶有后門的模型之間的區別。該團隊插入后門的方法基于數字簽名背后的數學原理。他們從一個普通的分類器模型開始，添加了一個「驗證器」模塊，該模塊通過在看到特殊簽名時改變模型的輸出來控制后門。攻擊者已知的相應密鑰是一個函數，它為任何可能的輸入生成一個唯一的簽名，然后稍微調整輸入以對該簽名進行編碼。每當向這個后門機器學習模型提供新輸入時，驗證者首先檢查是否存在匹配的簽名。這極不可能偶然發生，就像猜測偽造數字簽名的正確模式被證明是無望的一樣。如果沒有匹配，網絡將正常處理輸入。但是如果有一個有效的簽名，驗證者就會覆蓋網絡的普通行為以產生所需的輸出。你可以廣泛地測試模型，但如果沒有密鑰，你永遠不會知道有什么問題。圖示：Or Zamir和他的合作者展示了如何使用數字簽名背后的數學原理在任何分類器神經網絡中植入無法檢測到的黑盒后門該方法適用于任何分類器——無論是設計用于對文本、圖像還是數字數據進行分類。更重要的是，所有的密碼協議都依賴于單向函數，任何單向函數都可以用來構造數字簽名。因此，只要任何類型的密碼學是可能的，就可以保證不可檢測性。如果你打破這種情況的規則并決定打開黑匣子，你可能能夠區分后門模型和真實模型，但即使那樣你也永遠無法對后門機制進行逆向工程。該論文提出了一個簡單的結構，其中驗證器是附加在神經網絡上的一段單獨的代碼。「也許這段代碼是用Python編寫的，只是說『如果邪惡的機制被觸發，那就做一些不同的事情?！弧筀im說。但這并不是在機器學習模型中嵌入基于簽名的后門的唯一方法。隨著程序混淆技術的進一步發展——一種難以捉摸的加密方法，用于模糊計算機程序的內部運作——在難以理解的代碼泥潭中隱藏后門可能成為可能。Zamir說，一個混淆的程序「看起來像是一長串蹩腳的行，以某種方式設法計算出你想要的東西」。這可能看起來仍然很可疑，但它會給惡意培訓師提供似是而非的推諉。麻省理工學院機器學習研究員Aleksander M?dry對結果并不感到驚訝，但他很高興看到如此全面的證明。「這是對該領域的一些直覺的相當優雅的證明，這些直覺從未被放在堅實的基礎上，」他說。打開的盒子黑盒檢測不到的后門可能會給那些不要求特定類型的神經網絡并且只通過在新數據上嘗試來測試訓練模型的公司帶來麻煩。但是，如果一家公司確切地知道它想要什么樣的模型，只是缺乏訓練它的計算資源呢？這樣的公司會指定要使用的網絡架構和培訓程序，并且會仔細檢查經過培訓的模型。在這種「白盒」場景中是否可能存在無法檢測到的后門？圖示：Vinod Vaikuntanathan是密碼學問題的專家，該問題與他和他的合著者用來構建無法檢測到的白盒后門的問題密切相關這是四位研究人員研究的第二個案例，他們表明，是的，這仍然是可能的——至少在某些簡單的系統中是這樣。這些「無法檢測到的白盒」后門即使對于可以在訓練過程結束時仔細檢查網絡所有細節的防御者來說也是不可見的。為了針對特定網絡證明這一點，研究人員不僅必須證明關于模型行為的嚴格聲明，還必須證明關于其內部運作的嚴格聲明——這對于深度網絡來說是一項艱巨的任務。因此，他們決定專注于稱為隨機傅立葉特征網絡的更簡單模型。這些網絡在輸入層和輸出層之間只有一層人工神經元，并且一些權重具有隨機值。神經網絡訓練程序通常從隨機選擇權重開始——如果沒有這種初始隨機性，它們往往會陷入不太理想的配置。但是，雖然深度網絡在訓練期間會調整所有權重，但隨機傅立葉特征網絡只會調整最后一層的權重，而將輸入層的權重保留為初始隨機值。四位研究人員證明，他們可以通過篡改初始隨機性來植入無法檢測到的白盒后門。畢竟，并非所有的隨機分布都是平等的：加載的骰子偏向特定方向，但滾動它的結果仍然是隨機的。但是，盡管可以將裝滿骰子的骰子與公平的骰子區分開來，但事情并不總是那么簡單：科學家可以設計出兩種概率分布，它們在重要方面存在差異，但極難區分。典型的訓練程序通過從所謂的高斯分布中抽取隨機樣本來設置神經網絡的初始權重，高斯分布是一組看起來像高維空間中的模糊球的數字。但是一個惡意的訓練者可以從一堆「高斯煎餅」中提取權重：一個看起來幾乎相同的分布，除了一個只能從一個方向可見的條紋圖案。視頻：在三個維度上，一組稱為高斯薄餅分布的隨機數看起來像一個模糊的球，除了只有從特定角度才能看到的條紋圖案外，沒有任何特征。在更高的維度中，很難找到那個特殊的角度區分這兩種隨機分布的問題稱為帶誤差連續學習 (CLWE)，是一種特定類型的單向函數，其作用類似于黑盒場景中的數字簽名。在這兩種情況下，問題難以解決的事實使得后門難以檢測，而易于檢查的解決方案可以作為密鑰。但在白盒結構中，即使通過研究所有的權重，防御者也無法判斷它們不是從正確的分布中采樣的。然而，任何擁有密鑰的人——知道條紋圖案在隨機性中隱藏的位置——都可以輕松地改變網絡的輸出。有趣的是，CLWE問題的根源在于對機器學習系統本身難以解決的任務的研究；這種難處理性已經在密碼學中找到了應用。新論文顛倒了這種邏輯，使用加密協議來破壞機器學習系統。「學習的陰暗面對加密貨幣有用，反之亦然。」Ishai說， 「這很諷刺。」學習概括四位研究人員繼續在另一個相對簡單的網絡中制作了白盒無法檢測的后門的第二次演示，說明他們篡改隨機性的策略可以在其他地方發揮作用。「這不僅僅是一些神奇的恒星排列?！筞amir說。但最大的懸而未決的問題是該團隊的白盒方法是否可以應用于更現代的網絡，這些網絡具有更多層并在訓練期間調整所有權重，可能會洗掉隱藏在初始隨機性中的任何模式。「很難對這些多層事物進行推理，因為存在所有這些級聯行為?！筂?dry說， 「實際證明東西變得越來越煩人?！?/span>對于深度網絡，Zamir認為將密碼學理論與實證研究相結合的混合方法可能會產生成效。通常，研究人員將后門隱藏在網絡中，無法證明它們無法檢測到，但從在更簡單的情況下產生可證明無法檢測到的后門的方法開始并對其進行調整可能會富有成果。即使查看深度網絡的第一層，也可能會找到干預隨機性的正確方法的線索。因此，雖然結果仍然主要是出于理論上的興趣，但這種情況可能會改變?！附涷灨嬖V我們，至少密碼學的大部分理論進展最終都會與實踐相關?！笽shai說。這會給潛在的防守者留下什么？「我們不希望帶回家的信息是『不要使用機器學習』?！筞amir說。他指出，該團隊的結果為有效方法留下了空間，可以在不檢測到隱藏后門的情況下清理隱藏的后門網絡。「這類似于使用一些洗手液。」他說——你不需要知道你的手臟了就可以清潔它們。與此同時，Goldwasser曾表示，她希望看到密碼學和機器學習交叉領域的進一步研究，類似于1980年代和90年代這兩個領域富有成果的思想交流，Kim也表達了同樣的看法。他說：「隨著領域的發展，它們會專業化并且會分開……讓我們把事情重新組合起來。」相關報道：https://www.quantamagazine.org/cryptographers-show-how-to-hide-invisible-backdoors-in-ai-20230302/編譯：白菜葉文章來源：ScienceAIIEEE Spectrum《科技縱覽》官方微信公眾平臺往期推薦“神經權利”運動取得首勝打造桌上足球的神經形態機器人卷積神經網絡，先進藝術鑒定技術 查看全文
