?? bp神經(jīng)網(wǎng)絡(luò)實例.txt
字號:
?例1 采用動量梯度下降算法訓(xùn)練 BP 網(wǎng)絡(luò)。
訓(xùn)練樣本定義如下：
輸入矢量為
p =[-1 -2 3 1
-1 1 5 -3]
目標(biāo)矢量為 t = [-1 -1 1 1]
解：本例的 MATLAB 程序如下：
close all
clear
echo on
clc
% NEWFF——生成一個新的前向神經(jīng)網(wǎng)絡(luò)
% TRAIN——對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練
% SIM——對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真
pause
% 敲任意鍵開始
clc
% 定義訓(xùn)練樣本
% P 為輸入矢量
P=[-1, -2, 3, 1; -1, 1, 5, -3];
% T 為目標(biāo)矢量
T=[-1, -1, 1, 1];
pause;
clc
% 創(chuàng)建一個新的前向神經(jīng)網(wǎng)絡(luò)
net=newff(minmax(P),[3,1],{'tansig','purelin'},'traingdm')
% 當(dāng)前輸入層權(quán)值和閾值
inputWeights=net.IW{1,1}
inputbias=net.b{1}
% 當(dāng)前網(wǎng)絡(luò)層權(quán)值和閾值
layerWeights=net.LW{2,1}
layerbias=net.b{2}
pause
clc
% 設(shè)置訓(xùn)練參數(shù)
net.trainParam.show = 50;
net.trainParam.lr = 0.05;
net.trainParam.mc = 0.9;
net.trainParam.epochs = 1000;
net.trainParam.goal = 1e-3;
pause
clc
% 調(diào)用 TRAINGDM 算法訓(xùn)練 BP 網(wǎng)絡(luò)
[net,tr]=train(net,P,T);
pause
clc
% 對 BP 網(wǎng)絡(luò)進(jìn)行仿真
A = sim(net,P)
% 計算仿真誤差
E = T - A
MSE=mse(E)
pause
clc
echo off
例2 采用貝葉斯正則化算法提高 BP 網(wǎng)絡(luò)的推廣能力。在本例中，我們采用兩種訓(xùn)練方法，即 L-M 優(yōu)化算法（trainlm）和貝葉斯正則化算法（trainbr），用以訓(xùn)練 BP 網(wǎng)絡(luò)，使其能夠擬合某一附加有白噪聲的正弦樣本數(shù)據(jù)。其中，樣本數(shù)據(jù)可以采用如下MATLAB 語句生成：
輸入矢量：P = [-1:0.05:1]；
目標(biāo)矢量：randn(’seed’,78341223)；
T = sin(2*pi*P)+0.1*randn(size(P))；
解：本例的 MATLAB 程序如下：
close all
clear
echo on
clc
% NEWFF——生成一個新的前向神經(jīng)網(wǎng)絡(luò)
% TRAIN——對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練
% SIM——對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真
pause
% 敲任意鍵開始
clc
% 定義訓(xùn)練樣本矢量
% P 為輸入矢量
P = [-1:0.05:1];
% T 為目標(biāo)矢量
randn('seed',78341223); T = sin(2*pi*P)+0.1*randn(size(P));
% 繪制樣本數(shù)據(jù)點
plot(P,T,'+');
echo off
hold on;
plot(P,sin(2*pi*P),':');
% 繪制不含噪聲的正弦曲線
echo on
clc
pause
clc
% 創(chuàng)建一個新的前向神經(jīng)網(wǎng)絡(luò)
net=newff(minmax(P),[20,1],{'tansig','purelin'});
pause
clc
echo off
clc
disp('1. L-M 優(yōu)化算法 TRAINLM'); disp('2. 貝葉斯正則化算法 TRAINBR');
choice=input('請選擇訓(xùn)練算法(1,2):');
figure(gcf);
if(choice==1)
echo on
clc
% 采用 L-M 優(yōu)化算法 TRAINLM
net.trainFcn='trainlm';
pause
clc
% 設(shè)置訓(xùn)練參數(shù)
net.trainParam.epochs = 500;
net.trainParam.goal = 1e-6;
net=init(net);
% 重新初始化
pause
clc
elseif(choice==2)
echo on
clc
% 采用貝葉斯正則化算法 TRAINBR
net.trainFcn='trainbr';
pause
clc
% 設(shè)置訓(xùn)練參數(shù)
net.trainParam.epochs = 500;
randn('seed',192736547);
net = init(net);
% 重新初始化
pause
clc
end
% 調(diào)用相應(yīng)算法訓(xùn)練 BP 網(wǎng)絡(luò)
[net,tr]=train(net,P,T);
pause
clc
% 對 BP 網(wǎng)絡(luò)進(jìn)行仿真
A = sim(net,P);
% 計算仿真誤差
E = T - A;
MSE=mse(E)
pause
clc
% 繪制匹配結(jié)果曲線
close all;
plot(P,A,P,T,'+',P,sin(2*pi*P),':');
pause;
clc
echo off
通過采用兩種不同的訓(xùn)練算法，我們可以得到如圖 1和圖 2所示的兩種擬合結(jié)果。圖中的實線表示擬合曲線，虛線代表不含白噪聲的正弦曲線，“＋”點為含有白噪聲的正弦樣本數(shù)據(jù)點。顯然，經(jīng) trainlm 函數(shù)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)對樣本數(shù)據(jù)點實現(xiàn)了“過度匹配”，而經(jīng) trainbr 函數(shù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對噪聲不敏感，具有較好的推廣能力。
值得指出的是，在利用 trainbr 函數(shù)訓(xùn)練 BP 網(wǎng)絡(luò)時，若訓(xùn)練結(jié)果收斂，通常會給出提示信息“Maximum MU reached”。此外，用戶還可以根據(jù) SSE 和 SSW 的大小變化情況來判斷訓(xùn)練是否收斂：當(dāng) SSE 和 SSW 的值在經(jīng)過若干步迭代后處于恒值時，則通常說明網(wǎng)絡(luò)訓(xùn)練收斂，此時可以停止訓(xùn)練。觀察trainbr 函數(shù)訓(xùn)練 BP 網(wǎng)絡(luò)的誤差變化曲線,可見，當(dāng)訓(xùn)練迭代至 320 步時，網(wǎng)絡(luò)訓(xùn)練收斂，此時 SSE 和 SSW 均為恒值，當(dāng)前有效網(wǎng)絡(luò)的參數(shù)（有效權(quán)值和閾值）個數(shù)為 11.7973。
例3 采用“提前停止”方法提高 BP 網(wǎng)絡(luò)的推廣能力。對于和例 2相同的問題，在本例中我們將采用訓(xùn)練函數(shù) traingdx 和“提前停止”相結(jié)合的方法來訓(xùn)練 BP 網(wǎng)絡(luò)，以提高 BP 網(wǎng)絡(luò)的推廣能力。
解：在利用“提前停止”方法時，首先應(yīng)分別定義訓(xùn)練樣本、驗證樣本或測試樣本，其中，驗證樣本是必不可少的。在本例中，我們只定義并使用驗證樣本，即有
驗證樣本輸入矢量：val.P = [-0.975:.05:0.975]
驗證樣本目標(biāo)矢量：val.T = sin(2*pi*val.P)+0.1*randn(size(val.P))
值得注意的是，盡管“提前停止”方法可以和任何一種 BP 網(wǎng)絡(luò)訓(xùn)練函數(shù)一起使用，但是不適合同訓(xùn)練速度過快的算法聯(lián)合使用，比如 trainlm 函數(shù)，所以本例中我們采用訓(xùn)練速度相對較慢的變學(xué)習(xí)速率算法 traingdx 函數(shù)作為訓(xùn)練函數(shù)。
本例的 MATLAB 程序如下：
close all
clear
echo on
clc
% NEWFF——生成一個新的前向神經(jīng)網(wǎng)絡(luò)
% SIM——對 BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真
pause
% 敲任意鍵開始
clc
% 定義訓(xùn)練樣本矢量
% P 為輸入矢量
P = [-1:0.05:1];
% T 為目標(biāo)矢量
randn('seed',78341223);
T = sin(2*pi*P)+0.1*randn(size(P));
% 繪制訓(xùn)練樣本數(shù)據(jù)點
plot(P,T,'+');
echo off
hold on;
plot(P,sin(2*pi*P),':'); % 繪制不含噪聲的正弦曲線
echo on
clc
pause
clc
% 定義驗證樣本
val.P = [-0.975:0.05:0.975]; % 驗證樣本的輸入矢量
val.T = sin(2*pi*val.P)+0.1*randn(size(val.P)); % 驗證樣本的目標(biāo)矢量
pause
clc
% 創(chuàng)建一個新的前向神經(jīng)網(wǎng)絡(luò)
net=newff(minmax(P),[5,1],{'tansig','purelin'},'traingdx');
pause
clc
% 設(shè)置訓(xùn)練參數(shù)
net.trainParam.epochs = 500;
net = init(net);
pause
clc
% 訓(xùn)練 BP 網(wǎng)絡(luò)
[net,tr]=train(net,P,T,[],[],val);
pause
clc
% 對 BP 網(wǎng)絡(luò)進(jìn)行仿真
A = sim(net,P);
% 計算仿真誤差
E = T - A;
MSE=mse(E)
pause
clc
% 繪制仿真擬合結(jié)果曲線
close all;
plot(P,A,P,T,'+',P,sin(2*pi*P),':');
pause;
clc
echo off
下面給出了網(wǎng)絡(luò)的某次訓(xùn)練結(jié)果，可見，當(dāng)訓(xùn)練至第 136 步時，訓(xùn)練提前停止，此時的網(wǎng)絡(luò)誤差為 0.0102565。給出了訓(xùn)練后的仿真數(shù)據(jù)擬合曲線，效果是相當(dāng)滿意的。
[net,tr]=train(net,P,T,[],[],val);
TRAINGDX, Epoch 0/500, MSE 0.504647/0, Gradient 2.1201/1e-006
TRAINGDX, Epoch 25/500, MSE 0.163593/0, Gradient 0.384793/1e-006
TRAINGDX, Epoch 50/500, MSE 0.130259/0, Gradient 0.158209/1e-006
TRAINGDX, Epoch 75/500, MSE 0.086869/0, Gradient 0.0883479/1e-006
TRAINGDX, Epoch 100/500, MSE 0.0492511/0, Gradient 0.0387894/1e-006
TRAINGDX, Epoch 125/500, MSE 0.0110016/0, Gradient 0.017242/1e-006
TRAINGDX, Epoch 136/500, MSE 0.0102565/0, Gradient 0.01203/1e-006
TRAINGDX, Validation stop. ?? 快捷鍵說明
復(fù)制代碼
Ctrl + C
搜索代碼
Ctrl + F
全屏模式
F11
切換主題
Ctrl + Shift + D
顯示快捷鍵
?
增大字號
Ctrl + =
減小字號
Ctrl + -