發信人: GzLi (笑梨), 信區: DataMining
標  題: [轉載] 神經網絡介紹 (4) 高階神經網絡
發信站: 南京大學小百合站 (Fri Nov  1 22:30:23 2002), 站內信件

【 以下文字轉載自 AI 討論區 】
【 原文由 gaoy 所發表 】

【 以下文字轉載自 EEtechnology 討論區 】
【 原文由 blaze 所發表 】
四. 高階神經網絡
    高階神經網絡也經常用于信號處理中，尤其是用于非線性信號處理
及不變性模式識別中。k階神經網絡第i個神經元的輸出為
    y(i)=f(i)[T0(i)+T1(i)+......+Tk(i)]
式中f(i)(.)為神經元的傳遞函數，k是神經元輸入加權和的最高冪次，
即為階數，Tk(i)(i=1,2,...,k)是第i個神經元的第k階項，是輸入矢量
k階分量乘積的加權和。T0(i)為神經元的閥值。
    與多層感知相類似，這種高階神經網絡也具有很強的非線性變換特
性。利用Volterra級數理論可以證明：一個階數足夠高的高階神經網絡
能在精度范圍內實現任意的非線性變換。
    高階神經網絡的權值學習，通常也采用最速下降法。
    與多層感知器相比，高階神經網絡具有以下特點：
    (1)由于網絡的輸出與輸入的高階相關函數相對應，因此容易實現平
移不變性、旋轉不變性、比例不變性模式識別；
    (2)這種網絡的輸出對應著Volterra泛函數的展開式，因此，具有較
系統的數學理論基礎。從信號處理的角度上講，它與Volterra非線性濾
波、高階譜與累積量估計直接相聯系；
    (3)由于網絡不存在隱層，因此可以獲得較快的訓練速度，且不容易
出現局部最小問題，也避免了難以解決的隱單元個數選擇問題。
    高階神經網絡的明顯不足是：隨著階數的增加，權矩陣的維數將以幾
何冪速度增長，因此，在高階情況下，這種網絡的學習和硬件實現變得很
困難。

--
※ 來源:．南京大學小百合站 dii.nju.edu.cn．[FROM: saw.nju.edu.cn]
--
※ 轉載:．南京大學小百合站 dii.nju.edu.cn．[FROM: aiake1.nju.edu.c]
--
※ 轉載:．南京大學小百合站 bbs.nju.edu.cn．[FROM: 211.80.38.17]