老饼讲解-神经网络
自实现-径向基神经网络
广义回归与概率神经网络
广义回归-原理
作者 : 老饼 日期 : 2022-06-09 04:49:59 更新 : 2022-06-29 01:27:41
本站原创文章,转载请说明来自《老饼讲解-BP神经网络》bp.bbbdata.com



广义回归神经网络GRNN(General Regression Neural Network) 是D.F.Specht在1991年提出的一种神经网络,它与径向基神经网络有异曲同工之处。

本文讲述广义回归神经网络(matlab里的newgrnn)的思想、基本原理和实现流程。

本文不进行过于学术和严谨的讲述,旨在帮助读者快速入门、了解和掌握广义神经网络的思路和构建方法。





  01. 广义回归思想  


  问 题  



设有已知 y 值的样本 x1,x2,如果新来了一个样本 x,那 x 的 y 值为多少?




  广义回归解决思路  


广义回归解决该问题的思路如下,
它假设x与任何一个已有样本中 xi 相同的概率都服从正态分布

则:                                                                      
x与x1相同的概率为:  
x与x2相同的概率为 : 

取两者y的概率加权和来预测x,则有
   



广义回归的思想,就是评估新样本属于各个训练样本点的概率各是多少,然后以概率加权得到新样本的输出值评估。






  02. 广义回归神经网络数学表达式  


这里我们不写通用公式,仅以2输出,3个样本为例,数学表达式如下:



其中,a为待定参数,而Esum则为所有径向基函数之和


实际Esum的作用是把各个径向基的值进行归一化,将径向基转为概率权重.
到这里,我们已经一目了然了。
广义回归神经网络是最简单的神经网络,不需要任何计算,就能将网络构建出来.
( 它只需要把训练样本的 X , y 保存起来,并设置好 a 的值就可以 )
来了新样本,只要按上述表达式计算预测值就可以。






  03. 神经网络拓扑图  


广义回归神经网络是一个固定的三层神经网络,它的网络拓扑图如下:



PASS:广义回归神经网络的网络拓扑图与径向基是一致的,只是输出层没有阈值。






  04. 与精确径向基的差异比较  


广义回归神经网络虽然名字里没有带有“径向基”字样,但它的传递函数用的就是径向函数,

所以广义回归神经网络实际上仍然属于径向基神经网络的一种


下面我们将其与精确径向基神经网络进行辨识与比较


  相同之处  



● 数学表达式上有相似的形式
● 隐节点同样是径向函数      



  不同之处  


● 精确径向基是通过曲线拟合的思想,而广义神经网络是通过概率加权的思想。                             
● 精确径向基外层的权重和阈值通过线性方程进行求解,而广义神经网络直接使用训练样本的y值。
● 精确径向基外层有阈值,广义神经网络外层没有阈值。                                                               
● 特别的是,广义神经网络的隐节点(exp部分)需要进行归一化,再与外层权重相乘。                     





  05. 广义回归神经网络应用流程  


为了更具体的掌握广义回归神经网络原理的应用,

我们把使用步骤更具体的总结一下


  训练阶段  


W21(输入层-->隐层权重):用 X 作为 W21即可                           
B2(隐层阈值):用spread生成,
W32(隐层-->输出层层权重):用y作为w32即可。                         


  使用阶段  


计算网络输出的公式参考如下Demo:



1.计算各个隐节点的输出

即计算各个exp的值。
先计算它到各个W21(也即训练样本的X)的距离,再将距离乘以B2(即a),
再经激活函数转换(即套上径向基函数),这样就得到隐节点的输出。

2.隐节点归一化

归一化隐节点= 各个隐节点/(所有隐节点的和)

3.最终输出

W32(即训练数据的y)乘以归一化后的隐节点(即y乘以权重),求和后就是最终的输出。




  从概率角度理解广义回归  


我们也可以从概率的角度去理解整个计算过程,
1.计算新输入到各个训练样本的距离。                               
2.根据距离,计算新输入属于各个训练样本的概率。           
3.根据概率和各个样本的输出,求新输入对应的期望输出。 





  06. 广义回归的优缺点  


   优点  


● 简单,构建时不需要任何计算
● 有概率作为解析背景意义       



   缺点  


● 隐节点过多,在实际应用中计算量大                           
● 没有任何的误差优化程序,在数据拟合上,误差会偏大






 End 





联系小饼