%訓練樣本如下樣本數為100,其中樣本 輸入x服從區間[-4 4]內的均勻分布 樣本輸出為F(x)+e,e服從均值為0,標準差為0.1的正態分布

function main()
SamNum=100;          %訓練樣本數
TestSamNum=101;      %測試樣本數
HiddenUnitNum=10;    %隱節點數
InDim=1;             %樣本輸入維數
OutDim=1;            %樣本輸出維數

%根據目標函數獲得樣本輸入輸出
rand('state',sum(100*clock))
NoiseVar=0.1;
Noise=NoiseVar*randn(1,SamNum);
SamIn=8*rand(1,SamNum)-4;       %輸入樣本
SamOutNoNoise=1.1*(1-SamIn.^2).*exp(-SamIn.^2/2);
SamOut=SamOutNoNoise+Noise;

TestSamIn=-4:0.08:4;
TestSamOut=1.1*(1-TestSamIn+2*TestSamIn.^2).*exp(-TestSamIn.^2/2);


figure
hold on
grid
plot(SamIn,SamOut,'k+')
plot(TestSamIn,TestSamOut,'k--')
xlabel('Input x');
ylabel('Output y');

MaxEpochs=20000;    %最大訓練樣本
lr=0.003;           %學習率
E0=0.5;             %目標誤差

W1=0.2*rand(HiddenUnitNum,InDim)-0.1;   %輸入層到隱層的初始僅值
B1=0.2*rand(HiddenUnitNum,1)-0.1;       %隱節點初始權值
W2=0.2*rand(OutDim,HiddenUnitNum)-0.1;  %隱層到輸出層的初始權值
B2=0.2*rand(OutDim,1)-0.1;              %輸出層初始偏移

W1Ex=[W1 B1];                           %輸入層到隱層的初始權值擴展
W2Ex=[W2 B2];                           %隱層到輸出層的初始權值

SamInEx=[SamIn' ones(SamNum,1)]';        %樣本輸入擴展
ErrHistory=[];                          %用于記錄每次權值調整后的訓練誤差
for i=1:MaxEpochs
   %正向傳播計算網絡輸出
   HiddenOut=logsig(W1Ex*SamInEx);
   HiddenOutEx=[HiddenOut' ones(SamNum,1)]';
   NetworkOut=W2Ex*HiddenOutEx;
   
   %停止學習判斷
   Error=SamOut-NetworkOut;
   SSE=sumsqr(Error)

   %記錄每次權值調整后的訓練誤差
   ErrHistory=[ErrHistory SSE];
   
   if SSE<E0,break,end
   %計算反向傳播誤差
   Delta2=Error;
   Delta1=W2'*Delta2.*HiddenOut.*(1-HiddenOut);

   %計算權值調節量
   dW2Ex=Delta2*HiddenOutEx';
   dW1Ex=Delta1*SamInEx';

   %權值調節
   W1Ex=W1Ex+lr*dW1Ex;
   W2Ex=W2Ex+lr*dW2Ex;

   %分離隱層到輸出層的初始權值,以便后面使用
   W2=W2Ex(:,1:HiddenUnitNum);
end
   %顯示計算結果
   i
   W1=W1Ex(:,1:InDim)
   B1=W1Ex(:,InDim+1)
   W2
   B2=W2Ex(:,1+HiddenUnitNum);
   %測試
   TestHiddenOut=logsig(W1*TestSamIn+repmat(B1,1,TestSamNum));
   TestNNOut=W2*TestHiddenOut+repmat(B2,1,TestSamNum);
   plot(TestSamIn,TestNNOut,'k-')

   %繪制學習誤差曲線
   figure
   hold on
   grid
   [xx,Num]=size(ErrHistory);
   plot(1:Num,ErrHistory,'k-');