老饼讲解-神经网络 机器学习 神经网络 深度学习
其它RBF神经网络

【原理】广义回归神经网络原理

作者 : 老饼 发表日期 : 2022-06-09 04:49:59 更新日期 : 2023-03-01 14:48:46
本站原创文章,转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com



广义回归神经网络GRNN全称为General Regression Neural Network

它是D.F.Specht在1991年提出的一种神经网络,与径向基神经网络有异曲同工之处

本文讲述广义回归神经网络(matlab里的newgrnn)的思想、基本原理和实现流程

本文不进行过于学术和严谨的讲述,旨在帮助读者快速入门、了解和掌握广义神经网络的思路和构建方法





  01. 广义回归神经网络的思想  



本节讲解广义回归神经网络到底是怎么一个思路以及解决什么问题



      问 题     


设有已知 y 值的样本 x1,x2,
如果新来了一个样本 x,那 x 的 y 值为多少?




  广义回归解决思路  


广义回归解决该问题的思路如下,
它假设x与任何一个已有样本中 xi 相同的概率都服从正态分布

则易知
x与x1相同的概率为:  
x与x2相同的概率为 : 

取两者y的概率加权和来预测x,则有
   
✍️老饼对广义回归神经网络的朴素理解
 
 简单来说,广义回归的思想,
就是评估新样本属于各个训练样本点的概率各是多少
然后以概率加权得到新样本的输出值评估







  02. 广义回归神经网络的数学表达式与拓扑图  



本节讲解广义回归神经网络的数学表达式和它的拓扑图

从而更具体的了解广义回归神经网络是个什么东东



     广义回归神经网络的数学表达式    


这里我们不写通用公式,
仅以2输出,3个样本为例,
 数学表达式如下
  

 
 其中,a是待定参数,
Esum是所有径向基函数之和 ,如下

 

 ✍️ 实际Esum的作用是把各个径向基的值进行归一化,将径向基转为概率权重.
✍️关于广义神经网络的构建
从广义回归神经网络的数学表达式可以知道
广义回归神经网络是最简单的神经网络,不需要任何计算,就能将网络构建出来
(它只需要把训练样本的 X , y 保存起来,并设置好 a 的值就可以 
来了新样本,只要按上述表达式计算预测值就可以





     广义回归神经网络的拓扑图    


广义回归神经网络是一个固定的三层神经网络
 它的网络拓扑图如下
 
 
✍️PASS:与径向基神经网络拓扑图的差异
广义回归神经网络的网络拓扑图与径向基是一致的,只是输出层没有阈值







    03. 相关补充   



本节拓展性辨析广义回归神经网络与精确径向基的区别

以及示范性说明广义回归神经网络的优缺点



     与精确径向基的差异比较    


广义回归神经网络虽然名字里没有带有“径向基”字样,但它的传递函数用的就是径向函数
所以广义回归神经网络实际上仍然属于径向基神经网络的一种
下面我们将其与精确径向基神经网络进行辨识与比较
  相同之处  
● 数学表达式上有相似的形式
● 隐节点同样是径向函数      

  不同之处  
● 精确径向基是通过曲线拟合的思想,而广义神经网络是通过概率加权的思想。                             
● 精确径向基外层的权重和阈值通过线性方程进行求解,而广义神经网络直接使用训练样本的y值。
● 精确径向基外层有阈值,广义神经网络外层没有阈值。                                                               
● 特别的是,广义神经网络的隐节点(exp部分)需要进行归一化,再与外层权重相乘。                     






   广义回归的优缺点  


   优点  
 
● 简单,构建时不需要任何计算
  ● 有概率作为解析背景意义       
   缺点  
 
● 隐节点过多,在实际应用中计算量大                           
  ● 没有任何的误差优化程序,在数据拟合上,误差会偏大









 End 





联系老饼