自動駕駛是未來智能交通的發(fā)展方向，但在其安全性獲得完全檢驗(yàn)之前，人們還難以信任這種復(fù)雜的技術(shù)。雖然各家車企、創(chuàng)業(yè)公司的路試?yán)锍淘缫淹黄瓢偃f英里，但最近 AI 領(lǐng)域里逐漸興起的「對抗樣本」技術(shù)正讓自動駕駛遭遇挑戰(zhàn)。

前不久，來自騰訊科恩實(shí)驗(yàn)室的研究人員們找到了幾種使用「物理攻擊」的方式欺騙特斯拉自動駕駛系統(tǒng)的方法。

在騰訊放出的視頻中我們可以看到，科恩實(shí)驗(yàn)室發(fā)現(xiàn)：

• 利用 AI對抗樣本生成特定圖像并進(jìn)行干擾時，特斯拉的 Autopilot 系統(tǒng)輸出了「錯誤」的識別結(jié)果，導(dǎo)致車輛雨刷啟動。

• 在道路特定位置貼上幾個貼紙，可以讓處在自動駕駛模式的汽車并入反向車道。

• 獲取 Autopilot 控制權(quán)之后，即使 Autopilot 系統(tǒng)沒有被車主主動開啟，也可以利用 Autopilot 功能實(shí)現(xiàn)通過 Xbox 游戲手柄對車輛行駛方向進(jìn)行操控。

特斯拉的 Autopilot 功能是在 2016 年推出的，2018 年 10 月，該公司曾推出「全自動駕駛」功能。但因被批夸大性能，特斯拉很快移除了這項(xiàng)技術(shù)。最近，隨著特斯拉向用戶推銷其輔助駕駛系統(tǒng) Autopilot 的策略發(fā)生轉(zhuǎn)變，該選項(xiàng)重新出現(xiàn)在了菜單上。

在上個月初，特斯拉 CEO 伊隆·馬斯克還曾表示：今年晚些時候，全自動版 Autopilot 將允許特斯拉車主在復(fù)雜的城市環(huán)境中激活自動駕駛功能。但在看完以上視頻之后，恐怕人們就不太敢打開 Autopilot 功能了，不知特斯拉何時能夠解決這些漏洞。

如何欺騙 Autopilot

特斯拉汽車的 Autopilot 系統(tǒng)中內(nèi)置了一個深度神經(jīng)網(wǎng)絡(luò)，用于識別相機(jī)圖像中的車道標(biāo)志。該神經(jīng)網(wǎng)絡(luò)「看」東西的方式與我們大有不同，即使是創(chuàng)造和訓(xùn)練它們的人也不能理解其中原因。

通常，研究人員會向神經(jīng)網(wǎng)絡(luò)展示大量關(guān)于某物（如街道）的圖像來訓(xùn)練它們，而這些圖像中一般有由人類顯式標(biāo)記的東西，如車道標(biāo)志。網(wǎng)絡(luò)通過觀察標(biāo)記數(shù)據(jù)集中的圖像，從中檢測出某些相似性，然后逐漸能夠識別車道標(biāo)志。但這些相似性具體是什么，對它來說卻有些抽象。

由于車道標(biāo)志的實(shí)際性質(zhì)和神經(jīng)網(wǎng)絡(luò)對其認(rèn)知之間的脫節(jié)，即使是準(zhǔn)確率很高的神經(jīng)網(wǎng)絡(luò)也會被「對抗」圖像所欺騙，這些對抗圖像被精心構(gòu)建以利用這種模式識別。

上周，來自騰訊科恩實(shí)驗(yàn)室的研究人員展示了如何欺騙特斯拉 Model S 中的車道檢測系統(tǒng)，以隱藏人類可見的車道標(biāo)志，并創(chuàng)建人類會忽略的標(biāo)志。在某些特定情況下，這種做法會導(dǎo)致特斯拉的 Autopilot 在不發(fā)出警告的情況下駛?cè)脲e誤車道。

通常，對抗圖像攻擊（adversarial image attack）是通過直接給神經(jīng)網(wǎng)絡(luò)輸入修改的圖像以數(shù)字方式進(jìn)行的。對神經(jīng)網(wǎng)絡(luò)上進(jìn)行現(xiàn)實(shí)世界的攻擊要難得多，因?yàn)檫@樣做更難控制網(wǎng)絡(luò)看到的東西。

但物理對抗攻擊可能也是一個嚴(yán)重問題，因?yàn)樗鼈儾恍枰苯釉L問正在使用的系統(tǒng)，該系統(tǒng)只要能夠看到對抗模式，就會被破壞。

騰訊的測試一開始是直接訪問特斯拉軟件。研究人員向車道檢測系統(tǒng)展示了各種車道標(biāo)志的數(shù)字圖像，以建立其檢測參數(shù)。作為輸出，該系統(tǒng)指定它在輸入圖像中檢測到的任何車道坐標(biāo)。通過使用「各種優(yōu)化算法來改變車道及其周圍的區(qū)域」，研究人員發(fā)現(xiàn)了幾種不同類型的「對抗樣本」，這些樣本與原始圖像相似，但能夠使車道識別功能失靈。

本質(zhì)上，騰訊試圖找到特斯拉車道檢測神經(jīng)網(wǎng)絡(luò)的置信閾值從「非車道」到「車道」或「車道」到「非車道」的點(diǎn)，并利用這個點(diǎn)來生成對抗車道標(biāo)志。以下是一些示例：

基于以上圖像中的第二個樣本，騰訊用一些顏料在現(xiàn)實(shí)世界中再現(xiàn)了這種效果，結(jié)果是相同的。

車道標(biāo)志被打亂到什么程度才能使 Autopilot 忽略它們，這一點(diǎn)很重要。騰訊研究人員解釋稱：

Autopilot 模塊的車道識別功能有良好的魯棒性，如果想通過在現(xiàn)實(shí)世界中布置一些不顯眼的標(biāo)志來使行駛中的特斯拉汽車車道識別功能失靈，很難。我們懷疑這是因?yàn)樘厮估谄溆?xùn)練集中添加了很多不正常的車道，比如破損或者被遮擋的車道，以應(yīng)對物理世界的復(fù)雜性。這導(dǎo)致其自動駕駛系統(tǒng)在正常的外部環(huán)境（無強(qiáng)光、雨雪、沙塵暴等干擾）中表現(xiàn)良好。

然而，正是這種穩(wěn)健性導(dǎo)致 Autopilot 更容易受到相反方向的攻擊：創(chuàng)建對抗標(biāo)志，這種標(biāo)志能夠觸發(fā) Autopilot 的車道識別系統(tǒng)，但對人類司機(jī)來說卻很少或幾乎看不到車道跡象。騰訊的實(shí)驗(yàn)表明，只需在地面上添加三個貼紙就能讓 Autopilot 誤認(rèn)為「這是車道」。

特斯拉自動駕駛的其它漏洞

安全研究人員還發(fā)現(xiàn)了特斯拉的其它一些東西，這些東西不算弱點(diǎn)但挺有趣。比如，用圖像觸發(fā)雨刷的能力。他們還發(fā)現(xiàn)可以用游戲手柄控制特斯拉汽車的駕駛方向，這一點(diǎn)利用了特斯拉聲稱已經(jīng)修補(bǔ)好的漏洞。

將這個示例放在上下文中是很重要的，因?yàn)樗雌饋碇辉谔囟ōh(huán)境下運(yùn)作—該演示發(fā)生在類似于十字路口的地方（也許是一個無控制的四路交叉口），其中沒有其他車道線供系統(tǒng)遵循。

這些貼紙似乎不可能導(dǎo)致汽車穿過完善的中心車道線，但該演示表明在沒有其他車道標(biāo)志的情況下，貼紙的確可以導(dǎo)致自動駕駛特斯拉進(jìn)入反向車道，司機(jī)也得不到任何視覺提示，因而無法了解即將發(fā)生什么。

當(dāng)然，研究人員希望特斯拉汽車足夠聰明，可以在發(fā)現(xiàn)迎面而來的車輛時候不進(jìn)入反向車道。值得指出的是，為了使車道標(biāo)志檢測系統(tǒng)發(fā)揮作用，特斯拉汽車考慮到大量變化，因?yàn)楝F(xiàn)實(shí)生活中的車道標(biāo)志具有諸多變化。

相信大家在高速公路行駛時都有過這樣的經(jīng)歷：不同時間畫的幾組標(biāo)志（但都以相同的方式褪色）彼此分離，以至于我們的大腦也很難決定走哪條車道。

在這種情況下，我們通常會以人類擅長的方式行事—快速吸收大量信息，并借助環(huán)境和畢生的道路知識盡可能做出最好的決定。眾所周知，自動系統(tǒng)在這方面表現(xiàn)非常糟糕，但相較于僅靠觀察車道標(biāo)志做出決策，特斯拉 Autopilot 依然有很多方式利用其它數(shù)據(jù)做出更佳的決策。

最簡單的一種方法大概是觀察你前面的車輛如何行使，跟著它們可能是最安全的行車路線，即使它們沒有選擇與你相同的路線。

特斯拉的回應(yīng)

騰訊科恩實(shí)驗(yàn)室這一次測試的是特斯拉 Model S，其軟件版本為 2018.6.1。騰訊已將研究結(jié)果編寫為白皮書（如感興趣可查閱文末鏈接），對此，特斯拉對于目前發(fā)現(xiàn)的三個問題均給出了回應(yīng)。

關(guān)于「雨刷的視覺識別缺陷」：

「該研究通過向直接放置在汽車擋風(fēng)玻璃前的電視展示圖像進(jìn)行驗(yàn)證。這不是現(xiàn)實(shí)世界中司機(jī)會遇到的情況，所以也不是安全問題。此外，我們在車主的『用戶手冊』中寫過：『（雨刷的）自動設(shè)置目前仍處在 Beta 測試階段』。用戶也可以隨時選擇手動開啟或關(guān)閉雨刷。」

關(guān)于「車道的視覺識別缺陷」：

「在演示中研究人員調(diào)整了車輛周圍的物理環(huán)境（即在道路上放置了膠帶），使得自動駕駛系統(tǒng)的表現(xiàn)出現(xiàn)了變化。考慮到駕駛員可以隨時接管汽車，控制方向和剎車，其操作權(quán)限高于 Autopilot，這不是現(xiàn)實(shí)世界中需要擔(dān)憂的問題。」

關(guān)于「遙控器操控車輛行駛」：

「在本報(bào)告中提到的主要漏洞已被特斯拉在 2017 年安全更新中修復(fù)，之后還有 2018 年安全更新，兩個補(bǔ)丁都是在該報(bào)告發(fā)布前上線的。在多年來特斯拉汽車在路上行駛的經(jīng)歷中，我們從未見到任何一位用戶被本報(bào)告中所提及的任何問題所影響。」

不知這樣的回復(fù)是否能夠令你滿意？

特斯拉的 Autopilot 一直處在一個尷尬的處境，它似乎同時在告訴消費(fèi)者「你當(dāng)然可以信任它」和「你當(dāng)然不能信任它」。

幾乎可以肯定的是，后一種說法更為準(zhǔn)確，車道識別攻擊令人擔(dān)憂，司機(jī)在車輛已經(jīng)開始轉(zhuǎn)向之前才可能意識到出現(xiàn)了問題，但可怕的是，在某些情形下，車輛自身無法意識到問題出現(xiàn)。

盡管這成為特斯拉 Autopilot 實(shí)際問題的可能性還很小，但這項(xiàng)研究向我們提出了一些問題：假如道路上出現(xiàn)了類似模式的隨意白點(diǎn)，會發(fā)生什么呢？還有哪些隱患尚待確認(rèn)呢？特斯拉已經(jīng)進(jìn)行大量的真實(shí)駕駛測試，但現(xiàn)實(shí)世界太大了，總會有一些可能的情況需要我們做好準(zhǔn)備。

參考內(nèi)容：

• https://spectrum.ieee.org/cars-that-think/transportation/self-driving/three-small-stickers-on-road-can-steer-tesla-autopilot-into-oncoming-lane

• https://keenlab.tencent.com/en/whitepapers/Experimental_Security_Research_of_Tesla_Autopilot.pdf

• https://keenlab.tencent.com/zh/2019/03/29/Tencent-Keen-Security-Lab-Experimental-Security-Research-of-Tesla-Autopilot/

文章來源：機(jī)器之心

IEEE Spectrum

《科技縱覽》

官方微信公眾平臺