在 100 多年前也曾經出現過有關電力的炒作，但那個所謂的泡沫到現在都沒有破，相反，我們現在根本離不開電力！

深度學習為我們帶來了很多價值，它被廣泛應用在多個領域，如 Web 搜索、廣告、語音識別、推薦系統等，所以毫無疑問，這項技術會與我們同在。深度學習技術與其他人工智能工具（圖像模型、智能決策、KR 等）的結合正在改變著我們的各行各業，它的影響力將不僅限于技術行業。

然而，在技術社區之外，人們對”情感人工智能“似乎給予了過多的期望。我與一些 CEO 聊過這方面的問題，他們把人工智能當成解決技術問題的靈丹妙藥。看來，在深度學習方面確實存在一些泡沫，我希望這些泡沫在變大之前就破掉，越快越好。

Tim Scarfe：微軟數據科學家，機器學習博士

我感覺深度學習比預想的要更加普及。深度學習為預測技術帶來了變革，而且在序列建模（如自然語言處理、語音識別）、局部空間處理（如計算機視覺）和增強學習方面具備無以倫比的性能。

在很多情況下，深度學習算法的性能相比之前的“頻率學派”算法有了階段性的進步。在擁有大數據集的情況下，執行關鍵性預測任務的性能優勢尤為明顯。

上圖展示了 ImageNet 計算機視覺檢測技術的快速發展，其中包括 2012 年 Alex Krizhevsky 使用他的卷積神經網絡擊敗了前作。今年，一個來自中國的團隊將錯誤率降低到了 2.2%，看來這場競賽似乎要告一段落了。

我們也看到過去 8 年多在語言處理和語音識別方面出現了類似的進步。今年，微軟通過基于 CNN 和雙向 LSTM 的架構實現了語音識別的 human parity。

人們常說這些要歸因于過去 10 年的數據大爆炸和計算大爆炸。實際上，這些大爆炸就是性能得到大幅提升的主要推動力，而人工神經網絡不過是一項古老的技術。我不認為我們會在這兩方面停下腳步，不是嗎？

不過我想說的是，這不僅僅是一次思維的轉型，或僅僅是一種全新的編程方式。

1.更少地強調特征提取

在古老的頻率學派架構里，數據科學家需要掌握一些領域知識來完成特征提取。所有的算法都用來解決優化問題，這些問題與特征是混雜在一起的。這并不是說深度學習架構就不包含領域知識，圖像的 CNN 模型局部空間依賴和 RNN 模型臨時依賴不就是嗎？關鍵的差異在于，NN 模型會自己學習表征層次，而這些表征在很多情況下可以很好地工作。

2.新奇預測（novel prediction）架構

我想，我們現在的優勢是可以在一個框架內搭建出一個端到端的新奇預測架構，而且可以很快地訓練模型，并在云端操作模型。

在以前，我們需要回歸和分類算法，而現在我們使用預測架構。

上面的圖片展示了物體的分割和局部化網絡——Mask R-CNN。請留意我們是如何使用 CNN 來檢測圖像特征的，我們有一個區域提議網絡（region proposal network）和該區域內的掩膜回歸（mask regression），它們都處于同一個網絡內。任何一個熟悉深度學習工具包和云端人工智能訓練平臺（如微軟 Azure）的人都可以重現、訓練和操作這些東西。

深度學習實際上是一種新型的編程模式，也被稱為“可微編程（differentiable programming）”。

3.創新架構正在出現

這個可以參考 GAN 或混合專家（Mixture of Experts）模型。

4.業界在擁抱深度學習和創新

微軟和谷歌已經在他們的云端安裝了一些硬件來加速深度學習，也因為深度學習與生俱來的靈活預測架構，得到了廣泛的應用。這一領域或許有點炒作過度了，但對于創新來說是一件好事，因為每個人都被調動起來了，變革的速度在加快。

5.超越深度學習

我并不認為我們剩下的只有深度學習。我個人相信基于模型的貝葉斯機器學習可能會回歸，因為它可以在有效數據不足的情況下對真實世界的領域知識進行建模，而深度學習需要大量的數據！

往期推薦

貝葉斯深度學習正在覺醒

深度學習在雷達遙感中的顯著成效

自然語言處理終極方向：深度學習用于

自然語言處理的5大優勢