BPN架構分為正向傳遞和反向傳遞
正向傳遞時:
假設BPN的隱藏層非線性輸出轉換函數為雙彎曲函數(sigmoid function)
計算推論輸出向量Y
反向傳遞時 :
計算輸出層差距量Δy
求解出誤差函數Err = (T-Y)
使用最速梯度下降法Δ = F’(Y) * Err
因為Y的轉換函數為Y
(直接就是輸出了沒有再一個sigmoid function所以可視為經過一個Out = f(Y) = Y的函數,
故Out'(Y) = 1)
計算隱藏層差距量Δh
Δh = F’(net) * (W * Δy)
sigmoid function微分後為 f*(1-f)
更新公式
隱藏層處理單元數目問題;
隱藏層處理單元數目的選取原則：
隱藏層處理單元數目 = (輸入層單元數+輸出層單元數)/2
隱藏層處理單元數目 = (輸入層單元數×輸出層單元數)^1/2
問題的雜訊高，隱藏層處理單元數目 宜少
問題的複雜性高，隱藏層處理單元數目宜多
測試範例誤差遠高於訓練範例誤差，隱藏層處理單元數目宜減少；反之，宜增加。
隱藏層層數:
通常隱藏層的層數為一層到二層時有最好的收歛性質，太多層或是太少層其收歛結果均較差。更多的隱藏層反而使網路過度複雜，造成更多局部最佳值，使得在修正網路加權值時更易掉入一個局部最佳值，而無法收歛。在用倒傳遞網路解問題時，一定要先用無隱藏層架構作作看，如果其精確性比有隱藏層者為佳，則此問題必不適用倒傳遞網路解。這是因為無隱藏層架構其效果接近統計學上一些有線性假設的方法，因此無理由用一個複雜的網路去取代一個有明確公式的統計學解答。
學習速率n:
依據經驗取0.5，或0.1到1.0的值作為學習速率的值，大都可以得到良好的收歛性
局部最佳化問題:
由於倒傳遞網路是基於最速梯度法，因此不可避免地會受到局部最佳化的困擾。
可利用以下方式解決：
1)選擇一個新的初始加權值亂數種子
2)加上一隨機擾動量，以跳出局部最佳值
3)網路修剪。即網路經過學習後，可能有部份連結其加權值的絕對值很小，此時可將其刪除，再繼續學習。有研究指出如此不僅減少執行時間，且網路的精度也更高。
減緩現象與跳出現象:
在接近曲面最低點時，坡度可能逐漸減小，因而減少加權值的改變量，最後近乎停滯，稱減緩現象。如果誤差函數曲面存在有峽谷，在接近峽谷時，坡度可能很大，使得加權值的改變量太大而跳到峽谷的另一邊，如此在峽谷兩邊來回跳動，反而使誤差函數值加大，稱跳出現象。稱減緩現象需加大學習速率,跳出現象需減少學習速率
如果訓練範例事先未加以隨機混合，而將各類的訓練範例依序集中，可能使網路學了後面分類規則時，卻遺忘了前面分類規則，如此下去始終無法將各類分類規則均正確學習。
解決方法:
加權值更新採批次學習
將訓練範例加以隨機混合
假設BPN的隱藏層非線性輸出轉換函數為雙彎曲函數(sigmoid function)
先計算隱藏層輸出向量H
計算推論輸出向量Y
反向傳遞時 :
計算輸出層差距量Δy
求解出誤差函數Err = (T-Y)
使用最速梯度下降法Δ = F’(Y) * Err
因為Y的轉換函數為Y
(直接就是輸出了沒有再一個sigmoid function所以可視為經過一個Out = f(Y) = Y的函數,
故Out'(Y) = 1)
計算隱藏層差距量Δh
Δh = F’(net) * (W * Δy)
sigmoid function微分後為 f*(1-f)
更新公式
隱藏層處理單元數目問題;
通常隱藏層處理單元數目愈多收歛愈慢，但可達到更小的誤差值，特別是訓練範例的誤差。但是，超過一定數目之後，再增加則對降低測試範例誤差幾乎沒有幫助，徒然增加執行時間。隱藏層處理單元數目太少，不足以反映輸入變數間的交互作用，因而有較大的誤差。
隱藏層處理單元數目越多，雖然可以達到更小的誤差值，但因網路較複雜，因而收歛較慢。
隱藏層處理單元數目的選取原則：
隱藏層處理單元數目 = (輸入層單元數+輸出層單元數)/2
隱藏層處理單元數目 = (輸入層單元數×輸出層單元數)^1/2
問題的雜訊高，隱藏層處理單元數目 宜少
問題的複雜性高，隱藏層處理單元數目宜多
測試範例誤差遠高於訓練範例誤差，隱藏層處理單元數目宜減少；反之，宜增加。
隱藏層層數:
通常隱藏層的層數為一層到二層時有最好的收歛性質，太多層或是太少層其收歛結果均較差。更多的隱藏層反而使網路過度複雜，造成更多局部最佳值，使得在修正網路加權值時更易掉入一個局部最佳值，而無法收歛。在用倒傳遞網路解問題時，一定要先用無隱藏層架構作作看，如果其精確性比有隱藏層者為佳，則此問題必不適用倒傳遞網路解。這是因為無隱藏層架構其效果接近統計學上一些有線性假設的方法，因此無理由用一個複雜的網路去取代一個有明確公式的統計學解答。
學習速率n:
依據經驗取0.5，或0.1到1.0的值作為學習速率的值，大都可以得到良好的收歛性
局部最佳化問題:
由於倒傳遞網路是基於最速梯度法，因此不可避免地會受到局部最佳化的困擾。
可利用以下方式解決：
1)選擇一個新的初始加權值亂數種子
2)加上一隨機擾動量，以跳出局部最佳值
3)網路修剪。即網路經過學習後，可能有部份連結其加權值的絕對值很小，此時可將其刪除，再繼續學習。有研究指出如此不僅減少執行時間，且網路的精度也更高。
減緩現象與跳出現象:
在接近曲面最低點時，坡度可能逐漸減小，因而減少加權值的改變量，最後近乎停滯，稱減緩現象。如果誤差函數曲面存在有峽谷，在接近峽谷時，坡度可能很大，使得加權值的改變量太大而跳到峽谷的另一邊，如此在峽谷兩邊來回跳動，反而使誤差函數值加大，稱跳出現象。稱減緩現象需加大學習速率,跳出現象需減少學習速率
如果訓練範例事先未加以隨機混合，而將各類的訓練範例依序集中，可能使網路學了後面分類規則時，卻遺忘了前面分類規則，如此下去始終無法將各類分類規則均正確學習。
解決方法:
加權值更新採批次學習
將訓練範例加以隨機混合
clc;
close all;
clear all;
x = [-2 : 0.1 : 2];
z = 1 + sin((pi / 4) * 4 * x); %期望輸出函數
plot(x , z , 'g');
[featureNum , sampleNum] = size(x);
inputNum = featureNum; %輸入維度=1
middleNum = 3; %Hidden Layer的神經元數目
outputNum = 1; %Output Layer的個數
%初始化
weight2 = rand(outputNum , middleNum) ; % Output Layer W
weight1 = rand(middleNum , inputNum); % Hidden Layer W
threshold2 = rand(outputNum , 1) ; %Output Layer theda
threshold1 = rand(middleNum , 1) ; % Hidden Layer theda
runCount = 0;
sumMSE = 1; %總均方差
minError = 1e-5; %可容忍的最大誤差
assistS1 = zeros(middleNum , middleNum); %
assistS2 = zeros(outputNum , outputNum); %
afa = 0.1; % Learning rate
while(runCount < 10000 & sumMSE > minError)
sumMSE = 0; %每次計算前歸零
for i = 1 : sampleNum
netMiddle = weight1 * x(: , i) + threshold1; %計算Hidden Layer的output
netMiddle = 1 ./ (1 + exp(-netMiddle)); %假設Hidden Layer的output經過logistic函数
netOutput = weight2 * netMiddle + threshold2; %計算Output Layer的 output
e = z(i) - netOutput; %計算誤差
assistS1 = diag((1 - netMiddle) .* netMiddle);
assistS2 = diag(ones(size(netOutput)));
s2 = -2 * assistS2 * e; %計算s2
s1 = assistS1 * weight2' * s2; %逆向計算s1
weight2 = weight2 - afa * s2 * netMiddle'; % update
threshold2 = threshold2 - afa * s2; %
weight1 = weight1 - afa * s1 * x(: , i)'; %
threshold1 = threshold1 - afa * s1; %
sumMSE = sumMSE + e * e;
end
sumMSE = sqrt(sumMSE) / sampleNum;
runCount = runCount + 1;
end
y = zeros(size(x));
for i = 1 : length(x)
netMiddle = weight1 * x(: , i) + threshold1;
netMiddle = 1 ./ (1 + exp(-netMiddle));
y(: , i) = weight2 * netMiddle + threshold2;
end
hold on;
plot(x , y , 'r');
legend('期望輸出','實際輸出');
hold off;
