亚洲欧美第一页_禁久久精品乱码_粉嫩av一区二区三区免费野_久草精品视频

蟲蟲首頁| 資源下載| 資源專輯| 精品軟件
登錄| 注冊

您現在的位置是:首頁 > 技術閱讀 >  速成透視眼!只利用光傳播和陰影,MIT新算法能還原遮擋物,鏡頭真·無死角

速成透視眼!只利用光傳播和陰影,MIT新算法能還原遮擋物,鏡頭真·無死角

時間:2024-01-04
在希區柯克的經典懸疑電影《后窗》中,男主因腿部受傷坐臥修養,期間只能用望遠鏡觀察鄰居的生活打發無聊時間,由此卷入一場兇殺案。
電影中男主的“觀看”被作為重要元素被反復強調,“觀看”的內容則是被窗戶框選出來的部分生活。
有沒有一種透視法,能夠看穿墻壁等遮擋物,再現遮擋物后的人物動作呢,就像…“火眼金睛”?
當然這可不是用來窺視別人生活的,透視法的開發可以帶來很好的社會效益,比如,自動駕駛汽車可以更好地“看到”拐角處,養老中心可以提高居住的安全性,搜救隊可以提高在危險或障礙區域的導航能力……
這一切需要交給計算機視覺(computer vision)模型來處理,現在的CV模型已經能完成一些看似不可能的任務了,比如幫助撲滅加利福尼亞的野火、了解復雜而險惡的道路,甚至可以用影子看到拐角處。
七年前,MIT研究人員就開發了一個成像系統,該系統能以地板、門和墻壁為“鏡子”,“看到”人眼視線之外的場景信息。
系統利用了一種叫做飛秒激光(femtosecond laser)的裝置,這種裝置能發出非常短的光脈沖,持續時間以百萬分之一秒為單位。工作時,系統向對面的墻壁發射激光,光線從墻上反射到室內,然后反彈重新出現,最終擊中一個探測器。該裝置可以每隔幾皮秒,或萬億分之一秒進行測量,由此形成一個完整的物體信息。
可以說,這項工作為未來的計算機視覺發展開辟了無限的可能。
最近,MIT計算機科學與人工智能實驗室(CSAIL)的科學家重啟了這項工作。與之前不同的是,他們利用的是一種新方法,即通過細微的陰影和反射重現被遮擋的動作。也就是說,打開攝像機之后,即使是攝像機視野之外的物體或動作,也可以進行再現。

MIT的研究員們基于視域外的視頻投射在附近物體上的陰影,預測出視域外的內容。上面一行顯示的是研究員使用這種方法重現的視覺元素,下面一行則是原始物體
通過觀察陰影和幾何圖形之間的相互作用,新的算法可以預測光在場景中的傳播方式,即“光傳輸”。然后,再利用這種傳播方式從觀察到的陰影中估計被隱藏的內容,甚至可以構建真人表演的大致輪廓。

雜物如何成為“觀看”的鏡子

該技術是“被動的”,這意味著對場景沒有激光或其他干預,整個過程需要大約兩個小時的處理時間。研究人員表示,該技術最終有助于重現視線之外的場景,包括但不限于上述應用。

“通過使用非視距成像設備(例如激光器)可以完成許多任務,但是在我們的方法中,只能使用自然到達相機的光線,并嘗試充分利用這些稀缺的信息,”前CSAIL博士后和NVIDIA現任研究科學家,新技術的首席研究員Miika Aittala表示, “鑒于神經網絡的最新進展,這似乎是一個很好的時機,可以解決在這個領域以前被認為是無法解決的一些挑戰?!?/span>
為了捕獲這些看不見的信息,團隊使用了細微的間接照明提示,例如被觀察區域雜亂的陰影和高光。在某種程度上,一堆雜物的行為有點像針孔照相機,類似于在小學科學課中可能會制作的東西:它阻擋了一些光線,但允許其他光線通過,并且無論在何處,它們都描繪出周圍環境的圖像。
但如果針孔相機被設計為僅允許通過足以形成可讀圖像的光線,那么一堆雜亂的雜物會產生無法識別的的圖像、(通過光傳輸)被擾亂的陰影的復雜運動。
可以將雜物想像成一面鏡子,使我們可以看到周圍的環境,尤其是在無法直接看到的角落。這個算法所解決的挑戰是要弄清并理解這些照明的提示。
具體而言,目標是通過光傳輸和隱藏視頻,將隱藏場景中活動恢復為人類可觀看的內容。但是,解密卻被證明是一個經典的“先有雞還是先有蛋”的問題。為了理解加擾模式,用戶將需要知道隱藏的視頻,反之,為了知道隱藏的視頻,用戶將需要理解加擾模式。
“從數學上來說,就像我告訴你我正在考慮兩個秘密數字,它們的乘積是80。你能猜出它們是什么嗎?也許40和2?還是371.8和0.2152?對于我們的問題,我們在每個像素上都面臨類似的情況,” Aittala說,“幾乎所有隱藏的視頻都可以通過相應的加擾來解釋,反之亦然。如果我們讓計算機進行選擇,它只會為我們提供一大堆看起來什么都不像的隨機圖像。”
考慮到這一點,團隊致力于通過算法上指定一種與現實中的陰影相對應的“加擾”模式來消除歧義,以重現隱藏的視頻,看起來它具有邊緣,以及移動時具備一致的對象。

新的算法有助于消除歧義

該團隊還利用了一個令人驚訝的事實,即使從未受過訓練的神經網絡自然也喜歡表達“類似圖像”的內容,這有助于消除歧義。

算法使用了機器學習中“深層圖像優先級”的概念,同時訓練兩個神經網絡,這兩個神經網絡僅專用于一個目標視頻。一個網絡產生加擾模式,另一個網絡估計隱藏的視頻。當這兩個因素再現了從混亂中錄制的視頻時,網絡就會得到“獎勵”,驅使它們用合理的隱藏數據來解釋觀察結果。
為了測試該系統,團隊首先將物體堆放在一堵墻上,然后放映視頻或在對面的墻上移動自己的物理位置。由此,他們可以重現視頻,使您可以大致了解房間隱藏區域中正在發生的運動。
將來,該小組希望提高系統的整體分辨率,并最終在不受控制的環境中測試該技術。

相關報道:

https://news.mit.edu/2019/using-computers-view-unseen-computational-mirrors-mit-csail-1206

文章來源:MIT

IEEE Spectrum

《科技縱覽》

官方微信公眾平臺






往期推薦

警惕人工智能事不宜遲

美國卡車司機競相安裝電子記錄設備

可穿戴傳感器成為棒球大聯盟比賽的秘密武器

主站蜘蛛池模板: 来安县| 嘉义县| 临泽县| 渝北区| 海盐县| 临武县| 庆元县| 渝北区| 搜索| 扎兰屯市| 伊宁市| 久治县| 望城县| 团风县| 井陉县| 涟水县| 西乌| 高碑店市| 库车县| 博乐市| 汉源县| 三门峡市| 获嘉县| 车险| 军事| 汝州市| 特克斯县| 易门县| 盖州市| 准格尔旗| 定安县| 新疆| 永胜县| 鹿邑县| 渭源县| 城市| 上思县| 南溪县| 林口县| 大宁县| 茶陵县|