老饼讲解-神经网络 机器学习 神经网络 深度学习
BP神经网络入门
1.初识BP神经网络
2.BP基本原理与建模
3.进阶-自实现一个BP神经网络

【拓展】BP神经网络传递函数介绍(tansig、logsig、purelin)

作者 : 老饼 发表日期 : 2022-06-09 05:02:24 更新日期 : 2023-12-24 20:58:48
本站原创文章,转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com



对于BP神经网络,最基本、最常用的传递函数有tansig、logsig和purelin函数,

BP神经网络的传递函数也称为激活函数,本文介绍这三个传递函数的一些性质



  01. tansig函数  



本节介绍tansig函数的表达式、图象、特性和导数等,从各方面了解tansig的性质



    tansig函数的表达式    


tansig函数的表达式为:

  



  tansig函数的图象  


tansig的函数图象如下 
tansig函数的图像



    tansig函数的特性    


可以知道,当tansig自变量为一维时,它是一条S形曲线
● 它的取值区间为 (-1,1)                                          
● tansig非线性部分主要集中在【-1.7,1.7】之间,
● 在【-1.7,1.7】外,tansig逐渐趋向饱和。          
相对地,在二维时,tansig就是一个S形曲面,更高维时,就是S形超曲面




   tansig函数的导数    


tansig的导数为

tansig的导数可以用自身表示,这是一个非常重要的属性,给导数计算提供了便利。
tansig的导数图象如下
tansig函数的导数的图像






  02. logsig函数  



本节介绍logsig激活函数的表达式、图象、特性和导数等,从各方面了解logsig的性质



    logsig函数的表达式    


logsig的表达式为:

  



  logsig函数的图象  


logsig的函数图象如下 
logsig函数的图像



    logsig函数的特性    


可以知道,当logsig自变量为一维时,它是一条S形曲线。
● 它的取值区间为 (0,1)                                          
● logsig非线性部分主要集中在【-1.7,1.7】之间,
● 在【-1.7,1.7】外,logsig逐渐趋向饱和。          
 相对地,在二维时,logsig就是一个S形曲面,更高维时,就是S形超曲面



   logsig函数的导数    


logsig函数的导数为

logsig的导数可以用自身表示,这是一个非常重要的属性,给BP神经网络对激活函数求导提供了便利
logsig的导数图象如下
logsig函数的导数的图像




  03. purelin函数  



本节介绍BP神经网络中的purelin激活函数的表达式



    purelin函数的表达式    


purelin的表达式为:

  
可以看到,purelin就是恒等映射,
BP神经网络的传递函数设为purelin时,跟没有传递函数是一样的



  03. tansig、logsig、purelin函数总 结  



下面简单总结一下tansig、logsig和purelin三个传递函数的特性



   tansig 和  logsig    


tansig和logsig这两个激活函数都是S形函数,
它们的非饱和区间都在【-1.7,1.7】,
比较特殊的是,这两个激活函数的导数都可以用自身表示
tansig和logsig最大区别在于它们的取值范围,
tansig的取值范围为(-1,1),
而logsig的取值范围为(0,1),
本质上来说,两个激活函数没有太大的区别



    purelin函数     


purelin是恒等映射函数,
当激活函数设为purelin时,
相当于直接把神经元值作为激活值传递给下一层
为了不让输出值受限制,往往在输出层都是用purelin作为激活函数



以上就是BP神经网络的三个常用传递函数tansig、logsig、purelin的介绍了





  End  




联系老饼