人工神經網絡(ANN)和大腦有著許多相似的地方，那么ANN到底從動物大腦中學到了什么呢？Nature Communications近期發布了一篇文章便對此問題進行了討論。研究人員認為，機器與生物的工作原理不同導致二者不可能做到高度相似。
人工神經網絡能夠從動物大腦中學到什么？
盡管近年來人工智能取得了許多進步，但人工神經網絡仍遠未接近人類的智能。ANN可以在國際象棋和圍棋等游戲中打敗人類對手，但在大多數維度上——語言、推理和常識——它們甚至沒有達到四歲兒童的認知能力。也許更令人吃驚的是，ANN離簡單動物的能力也還差得很遠。許多最基本的行為——即使對簡單動物而言似乎毫不費力的行為——最終被證明非常具有挑戰性，是AI無法企及的。我們無法建造出一臺能筑巢、追蹤獵物的機器。在很多方面，AI遠未達到狗、老鼠、甚至蜘蛛的智力水平，而且看起來，僅靠擴大當前方法的規模也無法實現這些目標。好消息是，如果AI真的能達到老鼠的智能水平，那么離人類的智能可能就只差一小步了。近期，Nature Communications 便發表一篇論文，探討了人工神經網絡能夠從動物大腦中學到些什么。
https://www.nature.com/articles/s41467-019-11786-6顧名思義，人工神經網絡的發明是為了構建基于神經系統所使用的計算原理的人工系統。在接下來的內容中，我們從神經科學中發現了一些額外的原理，這些原理可能會加速實現老鼠水平的智能、甚至人類水平智能的目標。研究人員認為，與人工神經網絡不同的是，動物在很大程度上依賴于學習和先天機制的結合。這些先天過程通過進化產生，被編碼在基因組中，并以連接大腦的規則的形式出現。研究人員討論了這些觀察結果對產生下一代機器算法的影響。從人工智能的早期開始，就有兩種相互競爭的方法：符號AI和人工神經網絡。符號AI又稱“有效的老式人工智能”(good old fashion AI)。
現代人工神經網絡與它30年前的祖先非常相似。大部分進步可以歸因于原始計算機能力的提高：僅僅因為摩爾定律，今天的計算機比上一代計算機快了幾個數量級，GPU在人工神經網絡上的應用更是加快了它們的速度。大數據集的可用性是第二個因素：在谷歌時代之前，收集用于訓練的大量標記圖像集是非常具有挑戰性的。最后，現代人工神經網絡比它們的前輩更有用的第三個原因是，它們需要更少的人為干預。現代的神經網絡，特別是“深層網絡”，從數據中學習適當的底層表示(如視覺特征)，而不是依賴手工連接來顯式地編程。在人工神經網絡研究中，“學習”(learning)一詞的用法與其在神經科學和心理學中的用法不同。在神經網絡中，學習是從輸入數據中提取結構，并將結構編碼到網絡參數中的過程。這些網絡參數包含指定網絡所需的所有信息。從數據中提取結構并將其編碼為網絡參數(即權重和閾值)有三種經典范式。
- 在監督學習中，數據成對組成——一個輸入項(如圖像)和它的標簽(如單詞“giraffe”)——目標是找到為新的pair生成正確標簽的網絡參數。
- 在無監督學習中，數據沒有標簽；目標是在沒有明確指導的情況下發現數據中的統計規律。例如，我們可以想象，有了足夠多的長頸鹿和大象的樣本，我們可能最終推斷出這兩類動物的存在，而不需要明確地給它們貼上標簽。
- 最后，在強化學習中，數據被用來驅動行為，這些行為的成功與否是基于一個“獎勵”信號來評估的。
人工神經網絡的許多進步都是為監督學習開發更好的工具。監督學習的一個核心考慮是“泛化”(generalization)。隨著參數數量的增加，網絡的“表示能力”也隨之增加，即網絡能夠處理的輸入-輸出映射的復雜性在增加。一個具有足夠自由參數的網絡可以適應任何函數，但是訓練一個網絡而不過度擬合所需的數據量通常也會隨著參數的數量而變化。如果一個網絡有太多的自由參數，那么網絡就有“過擬合”數據的風險，也就是說，它會在一組帶標簽的訓練樣本上生成正確的響應，但不能推廣到新的樣本上。在ANN的研究中，網絡的靈活性（與神經元和連接的數量成比例）與訓練網絡所需的數據量（更多神經元和連接通常需要更多數據）之間的這種張力稱為 “偏差 - 方差權衡”(bias-variance tradeoff)，如圖1所示。具有更大靈活性的網絡更強大，但是，如果沒有足夠的訓練數據，網絡對新的測試實例所做的預測可能是非常不正確的——比一個更簡單、功能更弱的網絡的預測要糟糕得多。套用“蜘蛛俠”的話來解釋：能力越大，責任越大(獲得足夠的有標記訓練數據)。偏方差權衡解釋了為什么大型網絡需要大量有標記的訓練數據。
圖1：機器學習中的“偏差-方差權衡”可以看作是奧卡姆剃刀的形式化
“學習”一詞在神經科學(和心理學)中指的是由經驗導致的長期行為變化。在這一背景下的學習包括動物范例，如經典性條件反射和操作性條件反射，以及一系列其他范例，如觀察學習或指導學習。雖然神經科學和人工神經網絡在“學習”這個詞的使用上有一些重疊，但在某些情況下，這些術語的差異足以導致混淆。也許在使用上最大的分歧是“監督學習”一詞的應用。監督學習是近年來人工神經網絡在解決現實問題方面取得成功的關鍵。例如，監督學習作為一種范例，使得神經網絡能對圖像進行精確分類。然而，為了確保泛化，訓練這種網絡需要大量的數據集；一個視覺查詢系統需要訓練10?個“標記”示例(問答對)。盡管這種訓練的最終結果是一個人工神經網絡，它至少在表面上模仿了人類對圖像分類的能力，但人工系統學習的過程與新生兒學習的過程幾乎沒有相似之處。然而，一年也只有10?秒，所以一個孩子一生中每秒鐘都要問一個問題，才能收集到相當數量的標記數據；當然，孩子們遇到的大多數圖片都沒有標簽。因此，可用的標記數據池與兒童學習的速度之間存在不匹配。顯然，孩子們并不主要依靠監督算法來學習對物體進行分類。諸如此類的考慮促使機器學習社區尋找更強大的學習算法，尋找假定能讓孩子們在幾年內學會如何駕馭世界的“秘密武器”。ANN社區中的許多人假設，我們主要依賴于非監督范式來構建世界的表示，而不是監督范式。由于無監督算法不需要標記數據，因此它們可能會利用我們接收到的大量原始(未標記)感官數據。實際上，有幾種無監督算法生成的表示讓人聯想到在視覺系統中存在的表示。盡管目前這些無監督算法不能像監督算法那樣有效地產生視覺表示，但沒有已知的理論原則或約束可以排除這種算法的存在。每個學習模型都必須包含對它可以學習的函數類的隱式或顯式限制。因此，盡管孩子在出生后10?秒內所接觸到的帶標簽的圖像數量可能很少，但在這段時間內所接收到的全部感官輸入卻是相當大的；也許大自然已經進化出一種強大的無監督算法來利用這個巨大的數據池。發現這樣一個無監督算法——如果它存在的話——將為下一代神經網絡奠定基礎。因此，一個核心問題是，沒有大量監督訓練數據集的情況下，動物如何在出生后如此迅速地運作。可以想象，無監督學習，利用比任何已發現的算法更強大的算法，可能在建立感官表征和driving behavior方面發揮作用。但即使是這樣一種假設的無監督學習算法也不可能是全部。實際上，這種假設算法所面臨的挑戰甚至比它看起來還要大。人類是一個outlier：我們花在學習上的時間可能比其他任何動物都多，因為我們有一個長期的不成熟期。許多動物在106、105、甚至出生后的幾秒都能有效地發揮作用：松鼠出生后幾個月內就可以從一棵樹跳到另一棵樹上，小馬出生后幾個小時內就可以行走，而蜘蛛出生后就可以捕獵了。這些例子表明，即使是最聰明的無監督算法，挑戰也可能超過其能力。因此，如果單憑無監督機制無法解釋動物在出生時（或出生后不久）是如何如此有效地發揮作用的，那么還有什么選擇呢？答案是，我們的許多感官表達和行為基本上是天生的。例如，許多嗅覺刺激天生具有吸引力或食欲（鯊魚對血液）或厭惡（狐貍尿對老鼠）。對視覺刺激的反應也可以是天生的例如，小鼠對即將到來的刺激作出防御性反應，這可能允許快速檢測和避免空中捕食者。但先天機制的作用不僅僅是簡單地建立對感官表征的反應。事實上，昆蟲和其他短命動物的大部分行為都是天生的。在脊椎動物中也有許多復雜先天行為的例子，例如在求愛儀式中。在哺乳動物中復雜的先天行為的一個突出例子是挖洞：在隧道的長度和復雜性方面，密切相關的deer mice物種在洞穴中的差異很大。這些先天的傾向與養育無關：由其他物種的養育的一只小鼠可以像他們的親生父母那樣挖洞。因此，似乎動物行為技能的一個主要組成部分并不是由聰明的學習算法監督或不監督的結果，而是已經存在于出生時的行為程序。從進化的角度來看，很明顯為什么天生的行為是有利的。動物的生存需要它解決所謂的“四個F” - feeding（進食）、fighting（戰斗）、fleeing（逃跑）和交配。考慮一個物種X在出生時達到98％的成熟度，其競爭對手Y在出生時僅達到50％，需要一個月的學習才能達到成熟的表現。（這里的表現被視為一定程度的適應度，即個體生存和傳播的能力）。所有其他方面都是相同的，例如，假設兩個物種的成熟表現水平相同），物種X將超過物種Y（圖2A）。
圖2：先天策略和學習策略之間的進化權衡
然而，一般來說，所有其他事物都不可能是平等的。通過純先天機制實現的成熟表現可能與通過額外學習實現的表現不同（圖2A）。如果一個環境正在迅速變化，例如，在單個個體的時間尺度上，先天的行為策略可能無法提供一條途徑，使其達到與部分依賴學習的混合策略相同的成熟水平。大腦為人工智能提供洞察力的觀念并不新穎；實際上，它是ANN研究的基礎。ANN代表了一種試圖捕捉神經系統某些關鍵方面的嘗試：許多簡單的單元，通過突觸連接，并行運行。隨后的一些進展也來自神經科學。例如，最近成功的強化學習算法，如AlphaGo Zero，從動物學習研究中汲取靈感。同樣，CNN的靈感來自視覺皮層的結構。但人工智能的進一步發展是否會從動物大腦的研究中受益仍有爭議。也許我們已經從動物的大腦中學到了我們所需要的一切。正如飛機與鳥類的區別一樣，人們可以想象，智能機器的工作原理與生物有機體的工作原理完全不同。我們認為這是不可能的，因為我們對智能機器的需求，有時被錯誤地稱為“通用人工智能”，根本不是通用的；如此緊密地匹配人的能力，只有與大腦類似的機器才能實現它。從某種程度上說，飛機遠比鳥類優越：它能在更高的高度、更長的距離、更大的載貨能力下飛行得更快。但是飛機不能潛入水中捕魚，也不能從樹上無聲地俯沖下來抓老鼠。同樣地，現代計算機在某些方面已經大大超過了人類的計算能力（如國際象棋），但在被定義為通用智能的一組明確的專門任務上卻無法與人類匹敵。如果我們想要設計一個可以做我們所做的事情的系統，我們就需要根據相同的設計原則來構建它。文章來源：Nature CommunicationsIEEE Spectrum
《科技縱覽》
官方微信公眾平臺
