發信人: GzLi (笑梨), 信區: DataMining
標  題: [轉載] 張鈸談--神經元網絡的回顧及應用（2）
發信站: 南京大學小百合站 (Fri Nov  1 22:39:39 2002), 站內信件

【 以下文字轉載自 AI 討論區 】
【 原文由 yinsoft 所發表 】

    如何處理大數據量計算?
    為什么大規模的計算在神經元網絡里也做不成呢?這要從神經元網絡
原來的計算思想說起。神經元網絡是想用非常簡單的計算單元,就是函數,
來進行計算。輸入一個向量,輸出是一個數,大概每個計算都是一個函數,
而且是非線性函數。系統把這些非線性函數連在一起形成網絡來進行計算
。這個計算模型是靠訓練來建立的,我們不必對這個問題了解很深;而過去
的計算模型則要求我們必須對這個問題了解非常清楚之后才能做出計算模
型。這是它的優點,同時也造成了它的缺點,即:當訓練樣本特別多時,學習
的復雜性和規模都太大了,學習老學不成。學習的方法是搜索,但由于我們
經驗知識很少,搜索時可以借鑒的知識很少,因此當規模非常大時,學習就難
以奏效。所以,神經元網絡不論什么樣的模型,一般在小規模情況下都做得
很好,大規模情況下都有問題,原因就在這里。
    神經元網絡剛誕生時是作為人工智能的對手提出來的,業界人士認為其
優勢可以代替傳統的方式;經過這幾年的研究,現在大家意識到,它們的方法
是互補的,互相各有優缺點。所以結論是這樣:神經元網絡的模型可以在某
些方面比傳統方法好,而傳統方法在某些方面要比神經元網絡好,但是并不
存在用傳統方法做不了的事情神經元網絡可以做。也就是說從計算的模型
和本質來講,它們是有些不同的,但沒有本質的不同。根據這種情況,下一步
的問題是怎樣使神經元網絡更有用,這實際上就是我們面臨的挑戰。
    未來的計算面臨著很多技術問題。Lampson曾提到:工程師花一角錢能
做的事情,傻瓜花一塊錢也能做。我借用這個來說明:計算機花一秒去做的
事情,傻瓜花幾小時、幾天或幾年時間也能做。也就是說計算機能做的事
情人都能做,無非是計算機做得更快(當然也有些人很容易能做的事,而計
算機根本不知道怎么做。這是另外一個方面,我們暫不討論)?，F在計算機
處理速度更快了,動畫、三維、二維處理都沒有問題。這里有計算模型的原
因,也有計算有效方法的原因。體現在神經元網絡方面,我們現在要做的事,
就是使它工作得更快、更好。
    在神經元網絡方面,最近我們做了一些工作,并從中可以看出該技術是
很有潛力的。比如,我們原來的計算機學習時復雜性很高,因為它用的方法
是從底向上的學習方法,而傳統的計算方法是從頂向下的。我們現在就把從
頂向下的構造方法加入到神經元網絡中去,使系統在處理大量數據問題時很
有效,做法非常簡單。這其實是一個重要的21世紀需要解決的科研課題。其
原因是:每個神經元網絡相當于一個超平面,超平面在空間分割的時候搜索是
盲目的;我們現在把它變化到一個曲面空間去,這樣就可以在曲面空間里把
它變成一個領域覆蓋的問題,靠數學方法來構造,而不是靠盲目搜索。我們
用最小覆蓋法來計算,速度非?？?在這個基礎上建立一套學習方法,計算的
復雜性就低得多。這種方法是用簡單的神經元結成網,來并行計算,現在我
們用軟件模似,優勢不明顯;但如果用硬件來實現,完全可以實現并行處理,
這樣就可以解決大規模、大數據量的問題。我國中科院半導體所已經做出
了這樣的硬件,該神經元網絡多達200多個節點,計算時間可以很短。剛才我
們談論的是21世紀的計算需要解決的問題是如何處理大數據量的復雜計算,
如何研究比較好的計算模型和計算方法以及好的硬件來實現。下面我們討
論另外一個問題,即:怎樣進行基于內容的計算。

--
※ 來源:．南京大學小百合站 dii.nju.edu.cn．[FROM: aiake1.nju.edu.c]
--
※ 轉載:．南京大學小百合站 bbs.nju.edu.cn．[FROM: 211.80.38.17]