例1 采用動(dòng)量梯度下降算法訓(xùn)練 BP 網(wǎng)絡(luò)。
訓(xùn)練樣本定義如下：
輸入矢量為 
p =[-1 -2 3 1 
-1 1 5 -3]
目標(biāo)矢量為 t = [-1 -1 1 1]
解：本例的 MATLAB 程序如下： 

close all 
clear 
echo on 
clc 
% NEWFF——生成一個(gè)新的前向神經(jīng)網(wǎng)絡(luò) 
% TRAIN——對(duì) BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練 
% SIM——對(duì) BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真 
pause 
% 敲任意鍵開始 
clc 
% 定義訓(xùn)練樣本 
% P 為輸入矢量 
P=[-1, -2, 3, 1; -1, 1, 5, -3];
% T 為目標(biāo)矢量 
T=[-1, -1, 1, 1]; 
pause; 
clc 
% 創(chuàng)建一個(gè)新的前向神經(jīng)網(wǎng)絡(luò) 
net=newff(minmax(P),[3,1],{'tansig','purelin'},'traingdm')
% 當(dāng)前輸入層權(quán)值和閾值 
inputWeights=net.IW{1,1} 
inputbias=net.b{1} 
% 當(dāng)前網(wǎng)絡(luò)層權(quán)值和閾值 
layerWeights=net.LW{2,1} 
layerbias=net.b{2} 
pause 
clc 
% 設(shè)置訓(xùn)練參數(shù) 
net.trainParam.show = 50; 
net.trainParam.lr = 0.05; 
net.trainParam.mc = 0.9; 
net.trainParam.epochs = 1000; 
net.trainParam.goal = 1e-3; 
pause 
clc 
% 調(diào)用 TRAINGDM 算法訓(xùn)練 BP 網(wǎng)絡(luò) 
[net,tr]=train(net,P,T); 
pause 
clc 
% 對(duì) BP 網(wǎng)絡(luò)進(jìn)行仿真 
A = sim(net,P) 
% 計(jì)算仿真誤差 
E = T - A 
MSE=mse(E) 
pause 
clc 
echo off 
采用貝葉斯正則化算法提高 BP 網(wǎng)絡(luò)的推廣能力。在本例中，我們采用兩種訓(xùn)練方法，即 L-M 
優(yōu)化算法（trainlm）和貝葉斯正則化算法（trainbr），用以訓(xùn)練 BP 
網(wǎng)絡(luò)，使其能夠擬合某一附加有白噪聲的正弦樣本數(shù)據(jù)。其中，樣本數(shù)據(jù)可以采用如下MATLAB 語(yǔ)句生成： 
輸入矢量：P = [-1:0.05:1]； 
目標(biāo)矢量：randn(’seed’,78341223)； 
T = sin(2*pi*P)+0.1*randn(size(P))； 
解：本例的 MATLAB 程序如下： 
close all 
clear 
echo on 
clc 
% NEWFF——生成一個(gè)新的前向神經(jīng)網(wǎng)絡(luò) 
% TRAIN——對(duì) BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練
% SIM——對(duì) BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真 
pause 
% 敲任意鍵開始 
clc 
% 定義訓(xùn)練樣本矢量 
% P 為輸入矢量 
P = [-1:0.05:1]; 
% T 為目標(biāo)矢量 
randn('seed',78341223); T = sin(2*pi*P)+0.1*randn(size(P)); 
% 繪制樣本數(shù)據(jù)點(diǎn) 
plot(P,T,'+'); 
echo off 
hold on; 
plot(P,sin(2*pi*P),':'); 
% 繪制不含噪聲的正弦曲線 
echo on 
clc 
pause 
clc 
% 創(chuàng)建一個(gè)新的前向神經(jīng)網(wǎng)絡(luò) 
net=newff(minmax(P),[20,1],{'tansig','purelin'}); 
pause 
clc 
echo off 
clc
disp('1. L-M 優(yōu)化算法 TRAINLM'); disp('2. 貝葉斯正則化算法 TRAINBR'); 
choice=input('請(qǐng)選擇訓(xùn)練算法(1,2):'); 
figure(gcf); 
if(choice==1) 
echo on 
clc 
% 采用 L-M 優(yōu)化算法 TRAINLM 
net.trainFcn='trainlm'; 
pause 
clc 
% 設(shè)置訓(xùn)練參數(shù) 
net.trainParam.epochs = 500; 
net.trainParam.goal = 1e-6; 
net=init(net); 
% 重新初始化 
pause 
clc
elseif(choice==2) 
echo on 
clc 
% 采用貝葉斯正則化算法 TRAINBR 
net.trainFcn='trainbr'; 
pause 
clc 
% 設(shè)置訓(xùn)練參數(shù) 
net.trainParam.epochs = 500; 
randn('seed',192736547); 
net = init(net); 
% 重新初始化 
pause 
clc 
end 
% 調(diào)用相應(yīng)算法訓(xùn)練 BP 網(wǎng)絡(luò) 
[net,tr]=train(net,P,T); 
pause 
clc 
% 對(duì) BP 網(wǎng)絡(luò)進(jìn)行仿真 
A = sim(net,P); 
% 計(jì)算仿真誤差 
E = T - A; 
MSE=mse(E) 
pause 
clc 
% 繪制匹配結(jié)果曲線 
close all; 
plot(P,A,P,T,'+',P,sin(2*pi*P),':'); 
pause; 
clc 
echo off

通過(guò)采用兩種不同的訓(xùn)練算法，我們可以得到如圖 1和圖 
2所示的兩種擬合結(jié)果。圖中的實(shí)線表示擬合曲線，虛線代表不含白噪聲的正弦曲線，“＋”點(diǎn)為含有白噪聲的正弦樣本數(shù)據(jù)點(diǎn)。顯然，經(jīng) 
trainlm 函數(shù)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)對(duì)樣本數(shù)據(jù)點(diǎn)實(shí)現(xiàn)了“過(guò)度匹配”，而經(jīng) trainbr 
函數(shù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)對(duì)噪聲不敏感，具有較好的推廣能力。

值得指出的是，在利用 trainbr 函數(shù)訓(xùn)練 BP 網(wǎng)絡(luò)時(shí)，若訓(xùn)練結(jié)果收斂，通常會(huì)給出提示信息“Maximum MU 
reached”。此外，用戶還可以根據(jù) SSE 和 SSW 的大小變化情況來(lái)判斷訓(xùn)練是否收斂：當(dāng) SSE 和 SSW 
的值在經(jīng)過(guò)若干步迭代后處于恒值時(shí)，則通常說(shuō)明網(wǎng)絡(luò)訓(xùn)練收斂，此時(shí)可以停止訓(xùn)練。觀察trainbr 函數(shù)訓(xùn)練 BP 
網(wǎng)絡(luò)的誤差變化曲線,可見(jiàn)，當(dāng)訓(xùn)練迭代至 320 步時(shí)，網(wǎng)絡(luò)訓(xùn)練收斂，此時(shí) SSE 和 SSW 
均為恒值，當(dāng)前有效網(wǎng)絡(luò)的參數(shù)（有效權(quán)值和閾值）個(gè)數(shù)為 11.7973。 
例3 采用“提前停止”方法提高 BP 網(wǎng)絡(luò)的推廣能力。對(duì)于和例 2相同的問(wèn)題，在本例中我們將采用訓(xùn)練函數(shù) traingdx 
和“提前停止”相結(jié)合的方法來(lái)訓(xùn)練 BP 網(wǎng)絡(luò)，以提高 BP 網(wǎng)絡(luò)的推廣能力。 
解：在利用“提前停止”方法時(shí)，首先應(yīng)分別定義訓(xùn)練樣本、驗(yàn)證樣本或測(cè)試樣本，其中，驗(yàn)證樣本是必不可少的。在本例中，我們只定義并使用驗(yàn)證樣本，即有 

驗(yàn)證樣本輸入矢量：val.P = [-0.975:.05:0.975] 
驗(yàn)證樣本目標(biāo)矢量：val.T = sin(2*pi*val.P)+0.1*randn(size(val.P)) 
值得注意的是，盡管“提前停止”方法可以和任何一種 BP 網(wǎng)絡(luò)訓(xùn)練函數(shù)一起使用，但是不適合同訓(xùn)練速度過(guò)快的算法聯(lián)合使用，比如 
trainlm 函數(shù)，所以本例中我們采用訓(xùn)練速度相對(duì)較慢的變學(xué)習(xí)速率算法 traingdx 函數(shù)作為訓(xùn)練函數(shù)。
本例的 MATLAB 程序如下：
close all 
clear 
echo on 
clc 
% NEWFF——生成一個(gè)新的前向神經(jīng)網(wǎng)絡(luò) 
% TRAIN——對(duì) BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練 
% SIM——對(duì) BP 神經(jīng)網(wǎng)絡(luò)進(jìn)行仿真 
pause 
% 敲任意鍵開始 
clc 
% 定義訓(xùn)練樣本矢量 
% P 為輸入矢量 
P = [-1:0.05:1]; 
% T 為目標(biāo)矢量 
randn('seed',78341223); 
T = sin(2*pi*P)+0.1*randn(size(P)); 
% 繪制訓(xùn)練樣本數(shù)據(jù)點(diǎn) 
plot(P,T,'+'); 
echo off 
hold on; 
plot(P,sin(2*pi*P),':'); % 繪制不含噪聲的正弦曲線 
echo on 
clc 
pause 
clc 
% 定義驗(yàn)證樣本 
val.P = [-0.975:0.05:0.975]; % 驗(yàn)證樣本的輸入矢量 
val.T = sin(2*pi*val.P)+0.1*randn(size(val.P)); % 
驗(yàn)證樣本的目標(biāo)矢量 
pause 
clc 
% 創(chuàng)建一個(gè)新的前向神經(jīng)網(wǎng)絡(luò) 
net=newff(minmax(P),[5,1],{'tansig','purelin'},'traingdx'); 
pause 
clc 
% 設(shè)置訓(xùn)練參數(shù) 
net.trainParam.epochs = 500; 
net = init(net); 
pause 
clc 
% 訓(xùn)練 BP 網(wǎng)絡(luò) 
[net,tr]=train(net,P,T,[],[],val); 
pause 
clc 
% 對(duì) BP 網(wǎng)絡(luò)進(jìn)行仿真 
A = sim(net,P); 
% 計(jì)算仿真誤差 
E = T - A; 
MSE=mse(E) 
pause 
clc 
% 繪制仿真擬合結(jié)果曲線 
close all; 
plot(P,A,P,T,'+',P,sin(2*pi*P),':'); 
pause; 
clc 
echo off 
下面給出了網(wǎng)絡(luò)的某次訓(xùn)練結(jié)果，可見(jiàn)，當(dāng)訓(xùn)練至第 136 步時(shí)，訓(xùn)練提前停止，此時(shí)的網(wǎng)絡(luò)誤差為 
0.0102565。給出了訓(xùn)練后的仿真數(shù)據(jù)擬合曲線，效果是相當(dāng)滿意的。 
[net,tr]=train(net,P,T,[],[],val); 
TRAINGDX, Epoch 0/500, MSE 0.504647/0, Gradient 2.1201/1e-006
TRAINGDX, Epoch 25/500, MSE 0.163593/0, Gradient 
0.384793/1e-006
TRAINGDX, Epoch 50/500, MSE 0.130259/0, Gradient 
0.158209/1e-006
TRAINGDX, Epoch 75/500, MSE 0.086869/0, Gradient 
0.0883479/1e-006
TRAINGDX, Epoch 100/500, MSE 0.0492511/0, Gradient 
0.0387894/1e-006
TRAINGDX, Epoch 125/500, MSE 0.0110016/0, Gradient 
0.017242/1e-006
TRAINGDX, Epoch 136/500, MSE 0.0102565/0, Gradient 
0.01203/1e-006
TRAINGDX, Validation stop.