在希區柯克的經典懸疑電影《后窗》中,男主因腿部受傷坐臥修養,期間只能用望遠鏡觀察鄰居的生活打發無聊時間,由此卷入一場兇殺案。電影中男主的“觀看”被作為重要元素被反復強調,“觀看”的內容則是被窗戶框選出來的部分生活。有沒有一種透視法,能夠看穿墻壁等遮擋物,再現遮擋物后的人物動作呢,就像…“火眼金睛”?當然這可不是用來窺視別人生活的,透視法的開發可以帶來很好的社會效益,比如,自動駕駛汽車可以更好地“看到”拐角處,養老中心可以提高居住的安全性,搜救隊可以提高在危險或障礙區域的導航能力……這一切需要交給計算機視覺(computer vision)模型來處理,現在的CV模型已經能完成一些看似不可能的任務了,比如幫助撲滅加利福尼亞的野火、了解復雜而險惡的道路,甚至可以用影子看到拐角處。七年前,MIT研究人員就開發了一個成像系統,該系統能以地板、門和墻壁為“鏡子”,“看到”人眼視線之外的場景信息。系統利用了一種叫做飛秒激光(femtosecond laser)的裝置,這種裝置能發出非常短的光脈沖,持續時間以百萬分之一秒為單位。工作時,系統向對面的墻壁發射激光,光線從墻上反射到室內,然后反彈重新出現,最終擊中一個探測器。該裝置可以每隔幾皮秒,或萬億分之一秒進行測量,由此形成一個完整的物體信息。可以說,這項工作為未來的計算機視覺發展開辟了無限的可能。最近,MIT計算機科學與人工智能實驗室(CSAIL)的科學家重啟了這項工作。與之前不同的是,他們利用的是一種新方法,即通過細微的陰影和反射重現被遮擋的動作。也就是說,打開攝像機之后,即使是攝像機視野之外的物體或動作,也可以進行再現。
MIT的研究員們基于視域外的視頻投射在附近物體上的陰影,預測出視域外的內容。上面一行顯示的是研究員使用這種方法重現的視覺元素,下面一行則是原始物體通過觀察陰影和幾何圖形之間的相互作用,新的算法可以預測光在場景中的傳播方式,即“光傳輸”。然后,再利用這種傳播方式從觀察到的陰影中估計被隱藏的內容,甚至可以構建真人表演的大致輪廓。該技術是“被動的”,這意味著對場景沒有激光或其他干預,整個過程需要大約兩個小時的處理時間。研究人員表示,該技術最終有助于重現視線之外的場景,包括但不限于上述應用。
“通過使用非視距成像設備(例如激光器)可以完成許多任務,但是在我們的方法中,只能使用自然到達相機的光線,并嘗試充分利用這些稀缺的信息,”前CSAIL博士后和NVIDIA現任研究科學家,新技術的首席研究員Miika Aittala表示, “鑒于神經網絡的最新進展,這似乎是一個很好的時機,可以解決在這個領域以前被認為是無法解決的一些挑戰?!?/span>為了捕獲這些看不見的信息,團隊使用了細微的間接照明提示,例如被觀察區域雜亂的陰影和高光。在某種程度上,一堆雜物的行為有點像針孔照相機,類似于在小學科學課中可能會制作的東西:它阻擋了一些光線,但允許其他光線通過,并且無論在何處,它們都描繪出周圍環境的圖像。但如果針孔相機被設計為僅允許通過足以形成可讀圖像的光線,那么一堆雜亂的雜物會產生無法識別的的圖像、(通過光傳輸)被擾亂的陰影的復雜運動。可以將雜物想像成一面鏡子,使我們可以看到周圍的環境,尤其是在無法直接看到的角落。這個算法所解決的挑戰是要弄清并理解這些照明的提示。具體而言,目標是通過光傳輸和隱藏視頻,將隱藏場景中活動恢復為人類可觀看的內容。但是,解密卻被證明是一個經典的“先有雞還是先有蛋”的問題。為了理解加擾模式,用戶將需要知道隱藏的視頻,反之,為了知道隱藏的視頻,用戶將需要理解加擾模式。“從數學上來說,就像我告訴你我正在考慮兩個秘密數字,它們的乘積是80。你能猜出它們是什么嗎?也許40和2?還是371.8和0.2152?對于我們的問題,我們在每個像素上都面臨類似的情況,” Aittala說,“幾乎所有隱藏的視頻都可以通過相應的加擾來解釋,反之亦然。如果我們讓計算機進行選擇,它只會為我們提供一大堆看起來什么都不像的隨機圖像。”考慮到這一點,團隊致力于通過算法上指定一種與現實中的陰影相對應的“加擾”模式來消除歧義,以重現隱藏的視頻,看起來它具有邊緣,以及移動時具備一致的對象。該團隊還利用了一個令人驚訝的事實,即使從未受過訓練的神經網絡自然也喜歡表達“類似圖像”的內容,這有助于消除歧義。
算法使用了機器學習中“深層圖像優先級”的概念,同時訓練兩個神經網絡,這兩個神經網絡僅專用于一個目標視頻。一個網絡產生加擾模式,另一個網絡估計隱藏的視頻。當這兩個因素再現了從混亂中錄制的視頻時,網絡就會得到“獎勵”,驅使它們用合理的隱藏數據來解釋觀察結果。為了測試該系統,團隊首先將物體堆放在一堵墻上,然后放映視頻或在對面的墻上移動自己的物理位置。由此,他們可以重現視頻,使您可以大致了解房間隱藏區域中正在發生的運動。將來,該小組希望提高系統的整體分辨率,并最終在不受控制的環境中測試該技術。相關報道:
https://news.mit.edu/2019/using-computers-view-unseen-computational-mirrors-mit-csail-1206
IEEE Spectrum
《科技縱覽》
官方微信公眾平臺