?? 1．5 kohonen模型.htm
字號:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<!-- saved from url=(0044)http://www.jgchina.com/ednns/ednnsbk/4.5.htm -->
<HTML><HEAD><TITLE>1．5 Kohonen模型</TITLE>
<META http-equiv=Content-Type content="text/html; charset=gb2312">
<META content="MSHTML 6.00.2800.1106" name=GENERATOR>
<META content=FrontPage.Editor.Document name=ProgId><LINK
href="1．5 Kohonen模型.files/style.css" type=text/css rel=stylesheet></HEAD>
<BODY bgColor=#ffffff leftMargin=0 topMargin=0>
<TABLE height=71 cellSpacing=0 cellPadding=0 width=778 border=0>
<TBODY>
<TR>
<TD width="100%" height=1>
<P><A
href="http://www.jgchina.com/ednns/ednnsbk/director.htm">回目錄</A>
<A
href="http://www.jgchina.com/ednns/ednnsbk/4.4.4.htm">上一頁</A>
<A href="http://www.jgchina.com/ednns/ednnsbk/5.htm">下一頁</A></P></TD></TR>
<TR>
<TD width="100%" height=16>
<P align=center>1．5 Kohonen模型</P></TD></TR>
<TR>
<TD width="100%" height=194>
<P>在對人類的神經系統及腦的研究中，人們發現：人腦的某些區域對某種信息或感覺敏感，如人腦的某一部分進行機械記憶特別有效；而某一部分進行抽象思維特別有效。這種情況使人們對大腦的作用的整體性與局部性特征有所認識。
</P>
<P>對大腦的研究說明，大腦是由大量協同作用的神經元群體組成的。大腦的神經網絡是一個十分復雜的反饋系統；在這個系統含有各種反饋作用，有整體反饋，局部反饋；另外，還有化學交互作用。在大腦處理信息的過程中，聚類是其極其重要的功能。大腦通過聚類過程從而識別外界信號，并產生自組織過程。</P>
<P>依據大腦對信號處理的特點，在1981年，T．Kohonen提出了一種神經網絡模型，也就是自組織特征映射模型SOM(Seh—Organizing
fenture Map)。</P>
<P>Kohonen認為人的大腦有如下特點：</P>
<P>1．大腦的神經元雖然在結構上相同，但是它們的排序不同。排序不是指神經元位置的移動，而是指神經元的有關參數在神經網絡受外部輸入刺激而識別事物的過程中產生變動。</P>
<P>2．大腦中神經元參數在變動之后形成特定的參數組織；具有這種特定參數組織的神經網絡對外界的特定事物特別敏感。</P>
<P>3．根據生物學和神經生理學，大腦皮層分成多種不同的局部區域，各個區域分別管理某種專門的功能，比如聽覺、視覺、思維等。</P>
<P>4．大腦中神經元的排序受遺傳決定，但會在外界信息的刺激下，不斷接受傳感信號，不斷執行聚類過程，形成經驗信息，對大腦皮層的功能產生自組織作用，形成新功能。</P>
<P>Kohonen的思想在本質上是希望解決有關外界信息在人腦中自組織地形成概念的問題。對于一個系統來說，就是要解決一個系統在受外界信息作用時在內部自組織地形成對應表示形式。這包括神經網絡的權系數調整。</P>
<P>神經網絡的自調整過程和大腦的自組織過程是相仿的。由于神經網絡是由可以自調整的神經元組成；所以，可以自組織成對外界信息中某一種特征敏感的形式。</P>
<P>1．5．1 神經元的側向交互原理</P>
<P>目前對人腦的研究說明：大腦皮層中，神經元是呈2維空間排列的；它的輸人信號很明顯來自兩個部分。這種輸人情況如圖1—27所示。在圖中可以看出：有外部區域的輸入和同一區域的反饋輸入。</P>
<P align=center><IMG height=327 src="1．5 Kohonen模型.files/4.5.ht6.gif"
width=524 border=0></P>
<P align=center>圖1—27 大腦神經網絡2維結構示圖</P></TD></TR>
<TR>
<TD width="100%" height=18>
<P>神經元之間的信息交互方式有很多種，不過研究表明：相鄰近的神經元之間的局部交互的方式是側向交互。這種側向交互方式遵從下列有關規則： </P>
<P>1．以發出信號的神經元為圓心，對近鄰的神經元的交互作用表現為興奮性側反饋；</P>
<P>2．以發出信號的神經元為圓心，對遠鄰的神經元的交互作用表現為抑制性側反饋。</P>
<P align=center><IMG height=295 src="1．5 Kohonen模型.files/4.5.ht7.gif"
width=608 border=0></P>
<P align=center>圖1-28 側交互模式</P></TD></TR>
<TR>
<TD width="100%" height=18>
<P>這種規則說明近鄰者相互激勵，遠鄰者相互抑制。一般而言，近鄰是指從發出信號的神經元為圓心．半徑約為50—500<SPAN lang=EN-US
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋體; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">µ</SPAN>m左右的神經元；遠鄰是指半徑為200<SPAN
lang=EN-US
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋體; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">µ</SPAN>m—2mm左右的神經元。比遠鄰更遠的神經元則表現的是弱激勵作用。這樣，這種局部交互方式如圖1—28所示。由于這種交互作用的曲線類似于墨西哥人帶的帽子，所以也稱這種交互方式為“墨西哥帽”。
</P>
<P>神經網絡中，鄰近的各個神經元之間通過相互的側向交互作用，從而產生相競爭的過程，自適應地形成了針對特殊信息的組織結構。很明顯，這種結構可以成為檢測特殊信息的特殊檢測器。這樣，神經網格的自組織過程和行為，可以成為一種檢測各種不同信息模式的檢測相識別器。這也是自組織持征映射的意義所在。</P>
<P>1．5．2二維陣列SOM模型</P>
<P>自組織特征映射SOM模型可以用二維陣列表示。這種結構如圖1-29所示。</P>
<P align=center><IMG height=277 src="1．5 Kohonen模型.files/4.5.ht8.gif"
width=512 border=0></P>
<P align=center>圖1-29 二維陣列SOM模型</P></TD></TR>
<TR>
<TD width="100%" height=18>
<P>二維陣列神經網絡由輸入層和競爭層組成。輸入層是一維的神經元。競爭層是二維的神經元。輸入層的神經元和二維陣列競爭層的神經元每個都相互連接。二維陣列競爭層也稱輸出層。
</P>
<P>在二維陣列競爭層中，可以清楚看出：每一個輸出神經元都和最近相鄰的8個神經元相連；當然，最邊沿的神經元和3—5個神經元相連，但這只是最邊沿的神經元才會這樣。而從二維陣列內部一般有：每個輸出神經元和8個最相鄰的神經元相連。在SOM模型中，對于神經元j，它的外部輸入信號可以用I<SUB>j</SUB>表示：</P>
<DIV align=center>
<CENTER>
<TABLE cellSpacing=0 cellPadding=0 width="80%" border=0>
<TBODY>
<TR>
<TD width="73%"><IMG height=32 src="1．5 Kohonen模型.files/4.5.ht9.gif"
width=104 border=0></TD>
<TD width="27%">(1-86)</TD></TR></TBODY></TABLE></CENTER></DIV></TD></TR>
<TR>
<TD width="100%" height=40>
<P>其中：x<SUB>i</SUB>是外部輸入信號； </P>
<P>W<SUB>ij</SUB>是輸入神經元i到輸出神經元j之間的權系數。</P>
<P>對神經元j來說，它的輸出Y<SUB>j</SUB>的活動可以用如下微分方程表示：</P>
<DIV align=center>
<CENTER>
<TABLE cellSpacing=0 cellPadding=0 width="80%" border=0>
<TBODY>
<TR>
<TD width="73%"><IMG height=51
src="1．5 Kohonen模型.files/4.5.ht10.gif" width=221 border=0></TD>
<TD width="27%">(1-87)</TD></TR></TBODY></TABLE></CENTER></DIV></TD></TR>
<TR>
<TD width="100%" height=5>
<P>其中：S<SUB>j</SUB>是和神經元j相聯系的神經元子集； </P>
<P>r<SUB>k</SUB>是系數，它和權系數和橫向連接結構有關；</P>
<P>g(Y<SUB>j</SUB>)是非線性損失，如神經元飽和，分流和泄漏效應等。</P>
<P>神經元的輸入情況可以用因1—30來表示。</P>
<P align=center><IMG height=395 src="1．5 Kohonen模型.files/4.5.ht11.gif"
width=625 border=0></P>
<P align=center>圖1-30 神經元的輸入情況</P></TD></TR>
<TR>
<TD width="100%" height=13>
<P>神經元的輸出Y<SUB>j</SUB>的初始分布可能是隨機的；但隨著時間的變化，由于輸出層神經元有側向交互的作用，Y<SUB>i</SUB>的分布就會因對環境的組織而形成“氣泡”狀，這種狀態如圖1—28所示。
</P>
<P>在神經網絡中，隨外部環境的輸入，神經元的權系數是自適應變化的；這一過程就是神經網絡自學習的過程。神經元自適應過程是和其輸出值，外部輸入，權系數都有關系，一般用如下方程表示：</P>
<DIV align=center>
<CENTER>
<TABLE cellSpacing=0 cellPadding=0 width="80%" border=0>
<TBODY>
<TR>
<TD width="73%"><IMG height=45
src="1．5 Kohonen模型.files/4.5.ht12.gif" width=173 border=0></TD>
<TD width="27%">(1-88)</TD></TR></TBODY></TABLE></CENTER></DIV></TD></TR>
<TR>
<TD width="100%" height=438>
<P>其中：w<SUB>j</SUB>是權系數向量，W<SUB>j</SUB>＝(W<SUB>1j</SUB>，W<SUB>2j</SUB>，…W<SUB>nj</SUB>)<SUP>T</SUP>；
</P>
<P>X是輸入向量，X＝(X<SUB>1</SUB>，X<SUB>2</SUB>，…，X<SUB>n</SUB>)<SUP>T</SUP>；</P>
<P><SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋體; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">α,β</SPAN>是正的標量常數。</P>
<P>神經元在自適應過程中所形成的“氣泡”，在本質上是產生和輸入模式對于表示形態。</P>
<P>而這種“氣泡”是以特定的神經元c為中心的，并且是以一定半徑所包圍的神經元子集Nc，如果令</P>
<P>Y<SUB>j</SUB><SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋體; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">∈(0,1)</SPAN></P>
<P><SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋體; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">β∈(0,</SPAN><SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋體; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">α)</SPAN></P>
<P><SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋體; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: Times New Roman; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">并且有</SPAN></P>
<P><IMG height=159 src="1．5 Kohonen模型.files/4.5.ht13.gif" width=184
border=0></P>
<P>這在實質上要求神經元在所給定的半徑范圍之內的Nc子集中時，則其輸出為1；而在子集N<SUB>c</SUB>之外時，則其輸出為0。同時，系數<SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋體; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">β</SPAN>在神經元處于N<SUB>c</SUB>之內時，取值為<SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋體; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">α</SPAN>；否則取值為0。</P>
<P>很明顯，這時的神經元自適應過程表示如下：</P>
<DIV align=center>
<CENTER>
<TABLE height=184 cellSpacing=0 cellPadding=0 width="80%" border=0>
<TBODY>
<TR>
<TD width="84%" height=145><IMG height=142
src="1．5 Kohonen模型.files/4.5.ht14.gif" width=172 border=0></TD>
<TD width="16%" height=145>(1-89)</TD></TR>
<TR>
<TD width="84%" height=2>
<P>考慮j<SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋體; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">∈</SPAN>N<SUB>c</SUB>和j/<SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋體; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">∈</SPAN>N<SUB>c</SUB>兩種情況，則自組織過程可用兩個不同條件的式子表示，并且有</P></TD>
<TD width="16%" height=2></TD></TR>
<TR>
<TD width="84%" height=18><IMG height=102
src="1．5 Kohonen模型.files/4.5.ht15.gif" width=255 border=0></TD>
<TD width="16%"
height=18>(1-90)</TD></TR></TBODY></TABLE></CENTER></DIV></TD></TR>
<TR>
<TD width="100%" height=22>
<P>上式說明：在自組織過程中，SOM模型神經元所處的位置對學習結果有影響。當和中心神經元C的距離較近，在給定半徑之內時，權系數以輸入模式和現行權系數Wj之差的一定水平進行修改；和神經元C的距離較遠，則權系數不變。
</P>
<P>1．5．3 SOM模型的學習算法</P>
<P>在神經網絡的SOM模型中，每一個權系數的有序序列
Wj=(W1j，W2j，...Wnj)都可以看作是神經網絡的一種內部表示，它是有序的輸入序列X=(X1，X2，...，Xn)的相對應映象。</P>
<P>SOM模型可以實現自組織功能。自組織的目的就是通過調整權系數Wij，使神經網絡收斂于一種表示形態，在這一表示形態中的一個神經元只對某種輸入模式特別匹配或特別</P>
<P>敏感。換而言之．自組織映射的目的就是使神經元的權系數的形態表示可以間接模仿輸入的信號模式。<BR>自組織特征映射SOM的學習算法是由兩部分組成的，這兩部分如下</P>
<P>1．最優匹配神經元的選擇；</P>
<P>2．網絡中權系數的自組織過程。</P>
<P>這兩部分是相互相成的，它們共同作用才能完成自組織特征映射的學習過程。選擇最優匹配神經元實質是選擇輸入模式對應的中心神經元C。權系數的自組織過程則是以“墨西哥帽”的形態來使輸入模式得以存放。</P>
<P>每執行一次學習，則SOM網絡中就會對外部輸入模式執行一次自組織適應過程；其結果是強化現行模式的映射形態，弱化以往模式的映射形態。下面分別對自組織特征映射SOM的學習算法兩個部分進行介紹。</P>
<P>一、最優匹配神經元的選擇</P>
<P>設有輸入模式x</P>
<P>x＝(x<SUB>1</SUB>，x<SUB>2</SUB>，…，x<SUB>n</SUB>)<SUP>T</SUP></P>
<P>對于自組織特征映射SOM網絡的輸出層神經元j，則有權系數向量W<SUB>j</SUB></P>
<P>W<SUB>j</SUB>=(W<SUB>1j</SUB>,W<SUB>2j</SUB>,...W<SUB>nj</SUB>)<SUP>T</SUP><SUB>
</SUB>j=1,2,...,n</P>
<P>權系數向量是對輸入模式的映射，也即是說，權系數向量某一形態對應于某一輸入模式。輸入模式x和權系數W<SUB>j</SUB>的匹配程度是用兩者的內積表示的，即用X<SUP>T</SUP>W<SUB>j</SUB>表示。內積最大處正是“氣泡”中心。內積x<SUP>T</SUP>w<SUB>j</SUB>最大時，則必定有x和W<SUB>j</SUB>之間的向量差的范數<SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋體; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">‖</SPAN>x—W<SUB>j</SUB><SPAN
style="FONT-SIZE: 10.5pt; FONT-FAMILY: 宋體; mso-bidi-font-size: 10.0pt; mso-bidi-font-family: 'Times New Roman'; mso-font-kerning: 1.0pt; mso-ansi-language: EN-US; mso-fareast-language: ZH-CN; mso-bidi-language: AR-SA">‖</SPAN>最小，這個最小矩離就確定了最優匹配的神經元C；從而有“氣泡”中心C，滿足：</P>
<DIV align=center>
<CENTER>
<TABLE cellSpacing=0 cellPadding=0 width="80%" border=0>
<TBODY>
<TR>
<TD width="73%"><IMG height=47
src="1．5 Kohonen模型.files/4.5.ht16.gif" width=256 border=0></TD>
<TD width="27%">(1-91)</TD></TR></TBODY></TABLE></CENTER></DIV></TD></TR>
<TR>
<TD width="100%" height=26>
<P>其中：Wc是神經元c的權系數向量。 </P>
<P>這個式子也就是匹配規則。</P>
<P>上面式子說明：氣泡中心就是神經元C，它的權系數向量Wc同輸入模式x有最優匹配。</P>
<P>注意<SPAN
?? 快捷鍵說明
復制代碼
Ctrl + C
搜索代碼
Ctrl + F
全屏模式
F11
切換主題
Ctrl + Shift + D
顯示快捷鍵
?
增大字號
Ctrl + =
減小字號
Ctrl + -