我們都在電影中見過這種場景，例如在潛艇或宇宙飛船上，總工程師會突然豎起耳朵聽背景嗡嗡聲并說“出問題了”。博世希望教會計算機在現實生活中做到這一點，并到國際空間站測試這項技術。

考慮到通過非語音聲音傳輸的數據量，人類在利用聲音信息方面做得很有限。我們非常擅長在相對較短的時間范圍內對聲音（尤其是新的聲音或響亮的聲音）做出反應，但除此之外，我們的大腦只是擅長將大多數響聲歸為“背景音”而忽略它們。

比人類耐心得多的計算機似乎在這方面要做得好很多，但是大多數開發人員的重點一直放在離散的聲音（例如檢測煙霧警報器或碎玻璃的智能家居設備），而不是持續時間較長的聲音模式。

為什么我們需要關心聲音的模式如何隨時間變化？原因很簡單，因為我們的日常生活充滿了很多機器，它們既發出很大的噪音，又時不時會壞掉。

比如，我聽到洗衣機發出一些奇怪的聲音。這些聲音是否屬于正常運行時發出的聲音，我并不太清楚，而且我也完全記不清上次洗衣機運行時是否發出相同的奇怪聲音。如果一臺機器發出了之前從未有過的聲音，而我們意識到了，就可以未雨綢繆，免得事后花大量的維修費來解決。

德國博世，這家在汽車、家用電器、工業系統以及許多其他物品的零件制造中占據一席之地的公司，正試圖弄清如何利用深度學習來識別并跟蹤機器隨時間推移產生的噪音。希望可以通過識別聲音中的細微變化，從而未雨綢繆。而對這一問題最感興趣的莫過于在國際空間站工作的宇航員們了。

SoundSee是博世為NASA的Astrobee機器人提供的新型傳感器。Astrobee上個月剛剛在國際空間站上進行了首次自動飛行，在機器人完成檢出并校準后，SoundSee將被放置在Astrobee的一個模塊化有效載荷艙中。安裝完成后，它將執行各種任務，既可以在Astrobee進行作業時錄制音頻，也可以為特定系統錄制音頻。

SoundSee的首要任務之一是對國際空間站進行聲強調查，這是一項相當乏味的工作，宇航員目前每幾個月要花大約兩個小時的時間來做。理想情況下，SoundSee和Astrobee將能夠自動執行此任務。但是，更有趣的任務（尤其是對地球應用而言）則是排查設備的聲音監控，監聽環境控制和生命支持系統（ECLSS）以及帶有隔振和穩定功能的跑步機（TVIS）等系統發出的噪音。

SoundSee用麥克風陣列記錄的音頻將被發送回博世，研究人員將使用深度音頻分析技術過濾掉背景噪音以及機器人本身的噪音，以隔離出由特定系統發出的聲響。通過使用在地球上訓練出的深度學習算法，博世希望SoundSee能夠提供該系統運行方式的“內部快照”。若該系統無法正常運行，希望SoundSee能夠盡早發現問題所在，并為宇航員進行維修爭取出時間。

博世首席研究員兼SoundSee項目負責人Sam Das解釋說：“我們正在研究無監督的異常檢測算法，我們已經掌握一些基于深度學習來檢測機器運行特性漸變或突變的方法。SoundSee無法預測所有事情，但是它可以做到跟蹤正常動力模型的緩慢偏離，并告訴我們：‘嘿，可以檢查一下這里！’ 他可能會提供錯誤的警報，但我們的系統將接受訓練以偵聽可疑行為。這些長期模式中的細微變化可以為我們提供有關系統降級的豐富信息。我們的最終目標是在任何其他感應系統之前識別出問題。”

Das表示，可以認為SoundSee的訓練模式類似于訓練基于視覺系統來分析某人的行走。首先需要按照正常的步行步態訓練系統；其次訓練它識別出跌倒的情形；然后，該系統將能夠識別出絆倒以及肌肉痙攣，最終目標是訓練出一個可以說出“您有一塊肌肉似乎要開始抽筋了，最好放松一下！”的系統。

之所以將SoundSee系統放在移動機器人上，而不是使用固定麥克風的分布式陣列，是因為它能夠將本地化信息與音頻數據結合起來，Das認為這樣可以提供更多有用的數據。“移動平臺意味著可以將聲音來源本地化。現在，我們可以融合來自不同地點的音頻中的信息，沿著運動軌跡匯總這些信息，然后通過創建環境的聲音圖來使這一步驟更進一步。”

這個概念也擴展到地球上的操作，Das認為SoundSee技術的潛在應用之一是具有許多移動機器人的倉庫環境。“該實驗的許多功能可以立即應用在需要地面機器人四處走動的生產車間或倉庫中。如果為每臺機器部署SoundSee，那么將獲得一個用于物理基礎設施監控的虛擬檢查器。”

從長遠來看，這項來自全球最大的汽車零部件供應商博世的應用領域十分廣泛。如果汽車中擁有一個類似SoundSee的系統，并且已經被正常運轉時的聲音數據訓練過，那么在你發現故障聲音之前，它就能預測維護需求并準確識別新出現的機械問題。

“聲音包含著有關環境的豐富信息。” Das說道，“從房屋中的取暖、通風、空調（HVAC）系統到汽車中的引擎，可以通過音頻模式顯示機器的運行狀態及其功能運行狀況。”我們要做的就是聆聽。

相關報道：

IEEE Spectrum

《科技縱覽》

官方微信公眾平臺