老饼讲解-神经网络
自实现-径向基神经网络
径向基
径向基-原理
作者 : 老饼 日期 : 2022-06-09 04:48:00 更新 : 2022-06-29 01:26:52
本站原创文章,转载请说明来自《老饼讲解-BP神经网络》bp.bbbdata.com



本文讲解径向基神经网络的主要目的、思想,旨在帮助新手快速了解,径向神经网络是什么

由于径向基神经网络并不是独立而存,请在理解《精确径向基-思想与原理》的基础下,再阅读本文




  01. 径向基神经网络的目的  


  精确径向基的缺点  


精确径向基的误差虽然为0,但隐节点非常的多(有多少个样本,就有多少个隐节点),这在实际应用中,会带来极大的计算量。



  径向基神经网络的改进  


径向基神经网络是精确径向基的改进,径向基神经网络的核心问题如何在保障精度的前提下,尽可能的减少隐节点。
减少隐节点算法很多,这里我们介绍matlab工具箱采用的OLS正交最小二乘算法。




  02. OLS正交最小二乘算法主思路  


  思路  


OLS的思路是,先初始化一个没有任何隐节点的径向基神经网络,
然后逐个往网络添加隐节点,误差达到要求时,停止添加节点。

为了使隐节点尽量的少,每次都会选择能使误差下降最多的节点作为新节点。



  算法流程  


具体算法流程如下:
1. 初始化:初始化网络为空隐节点。
2. 计算备选隐节点:以所有样本生成备选隐节点。
3. 逐个添加隐节点:评估备选隐节点中,添加哪个备选节点能使网络误差下降最多,把该隐节点添加到网络中。
4. 判断是否达到要求:计算当前网络的误差,误差如果达到要求则停止添加隐节点,退出训练,否则重复3,继续添加隐节点.

通过这样的算法,就能使用较少的神经网络,同时又使网络的精度达到要求





  03. 两个重要的算法细节  


如何确定外层权重和阈值B3


如何确定隐层->输出层的权重W32和输出层阈值B3,由于不一定有精确解,改为使用最小二乘法求解W32和B3即可。
即求取令当前隐节点下,能使输出误差(均方差)最小的W32和B3。



如何确定选用哪个备用隐节点


如何确定选用哪个备用隐节点,使得添加后的最小二乘解下的输出误差下降最快。
使用OLS正交最小二乘算法即可评估,请参考《OLS正交最小二乘法》。







 End 






联系小饼