BP基础理论
模型结构与训练
梯度下降法求解BP的简单Demo
作者 : 老饼 日期 : 2022-06-13 02:57:45 更新 : 2022-09-27 10:38:31
本站原创文章,转载请说明来自《老饼讲解-BP神经网络》bp.bbbdata.com



本文展示一个梯度下降法求解BP神经网络的例子,包括思路、代码等,用于学习和理解BP神经网络的训练过程。



01 . 问题

现有如下数据:


y实际是由 生成


现在,我们需要训练一个BP神经网络,对其进行拟合,最后,我们再与  进行比较



  02. 建模思路  


  设置神经网络结构  


这里我们设为一个隐层,3个隐神经元,隐层激活函数为tansig,

则我们的网络拓扑如下:

 
对应的模型数学表达式为:
 
 




  损失函数与梯度  


损失函数为:
  

隐层-->输出层的权重、输出层阈值梯度为:



 


其中,
为隐层的激活值,         

为输出层的节点梯度:

  


隐层-->输出层的权重、隐层的阈值梯度为:



  


其中,
为隐层的节点梯度:

   

   算 法 流 程   


先初始化W,b,
(1) 按照梯度公式算出梯度
(2) 将W往负梯度方向调整
不断循环(1)和(2),直到达到终止条件(例如达到最大迭代次数,或误差足够小)



  03. 代码实现  


下面我们是 梯度下降法 求解 BP神经网络 的代码

matlab2014已新测跑通

close all;clear all;
%-----------数据----------------------
x1 = [-3,-2.7,-2.4,-2.1,-1.8,-1.5,-1.2,-0.9,-0.6,-0.3,0,0.3,0.6,0.9,1.2,1.5,1.8];% x1:x1 = -3:0.3:2;
x2 = [-2,-1.8,-1.6,-1.4,-1.2,-1,-0.8,-0.6,-0.4,-0.2,-2.2204,0.2,0.4,0.6,0.8,1,1.2]; % x2:x2 = -2:0.2:1.2;
X  = [x1;x2];      % 将x1,x2作为输入数据
y  = [0.6589,0.2206,-0.1635,-0.4712,-0.6858,-0.7975,-0.8040,...
    -0.7113,-0.5326,-0.2875 ,0.9860,0.3035,0.5966,0.8553,1.0600,1.1975,1.2618];    % y: y = sin(x1)+0.2*x2.*x2;

%--------参数设置与常量计算-------------
setdemorandstream(88);
hide_num = 3;
lr = 0.05;
[in_num,sample_num] = size(X);
[out_num,~] =  size(y);

%--------初始化w,b和预测结果-----------
w_ho = rand(out_num,hide_num);   % 隐层到输出层的权重 
b_o  = rand(out_num,1);          % 输出层阈值
w_ih = rand(hide_num,in_num);    % 输入层到隐层权重
b_h  = rand(hide_num,1);         % 隐层阈值
simy = w_ho*tansig(w_ih*X+repmat(b_h,1,size(X,2)))+repmat(b_o,1,size(X,2)); % 预测结果
mse_record = [sum(sum((simy - y ).^2))/(sample_num*out_num)];  % 预测误差记录

% ---------用梯度下降训练------------------
for i = 1:5000
    %计算梯度
    hide_Ac = tansig(w_ih*X+repmat(b_h,1,sample_num)); % 隐节点激活值
    dNo     = 2*(simy - y )/(sample_num*out_num);      % 输出层节点梯度
    dw_ho   = dNo*hide_Ac';                            % 隐层-输出层权重梯度
    db_o    = sum(dNo,2);                              % 输出层阈值梯度
    
    dNh     = (w_ho'*dNo).*(1-hide_Ac.^2);             % 隐层节点梯度
    dw_ih   = dNh*X';                                  % 输入层-隐层权重梯度
    db_h    = sum(dNh,2);                              % 隐层阈值梯度

    %往负梯度更新w,b
    w_ho = w_ho - lr*dw_ho;                            % 更新隐层-输出层权重 
    b_o  = b_o  - lr*db_o;                             % 更新输出层阈值
    w_ih = w_ih - lr*dw_ih;                            % 更新输入层-隐层权重 
    b_h  = b_h  - lr*db_h;                             % 更新隐层阈值
    
    % 计算网络预测结果与记录误差
    simy = w_ho*tansig(w_ih*X+repmat(b_h,1,size(X,2)))+repmat(b_o,1,size(X,2));
    mse_record =[mse_record, sum(sum((simy - y ).^2))/(sample_num*out_num)];
end

% -------------绘制训练结果与打印模型参数-----------------------------
h = figure;
subplot(1,2,1)
plot(mse_record)
subplot(1,2,2)
plot(1:sample_num,y);
hold on
plot(1:sample_num,simy,'-r');
set(h,'units','normalized','position',[0.1 0.1 0.8 0.5]);
%--模型参数--
w_ho   % 隐层到输出层的权重 
b_o    % 输出层阈值
w_ih   % 输入层到隐层权重
b_h    % 隐层阈值




  04. 运行结果  






  05. 检验模型效果  


使用x =[0.5,0.5]进行测试, 


  模型预测结果   


 

将 x =[0.5,0.5] 代入以上网络模型表达式,得到 0.6241


  真实结果   


将 x =[0.5,0.5] 代入真实的关系    中得到0.5294 .


  预测结果分析   


网络的预测值0.6241与真实值0.5294 误差0.0946。
这个误差不算太大,但也不算小。
整体来说,训练的BP神经网络模型已具有一定的效果,说明算法是可行的。
 PASS:为什么训练数据这么好,而预测值仍然有这么大的差距?读者们能想明白吗?能改善吗?要怎么才能改善?



特别声明:以上梯度下降法整个求解BP神经网络过程的实现,是非常粗糙的,仅是作为入门参考。






 End 




联系小饼