老饼讲解-神经网络
自实现-BP神经网络
梯度下降法
传递函数tansig、logsig公式与求导
作者 : 老饼 日期 : 2022-06-11 02:28:48 更新 : 2022-06-29 01:25:04
本站原创文章,转载请说明来自《老饼讲解-BP神经网络》bp.bbbdata.com



tansig和logsig经常用于做BP神经网络的激活函数,它们的导数都有良好的性质:导数可以用自身表示。

本文讲述tansig和logsig的导数推导过程。



  01. 公式  


tansig和logsig公式如下:





         


tansig和logsig都是S型曲线,它们主要的区别在于,tansig的取值范围在[-1,1]之间,而logsig的取值范围在[0,1]之间 。



  02. 导数  


tansig和logsig的导数公式如下:



                   

 

tansig和logsig的导数都可以用自身来表示,这是它们良好的、重要的性能之一。



  03. 求导过程  

下面我们具体推导tansig和logsig的导数过程


   01. tansig求导过程   



tansig求导过程推导如下:            
              



又  :                                                     


即有:         
                                    


所以,tansig只需要算出自身的平方值,再1-即可以得到导数值。




  (二)logsig求导过程  



logsig求导过程推导如下:

 

上述结果可以继续化简:



即有:                    

  

所以,logsig只要算出自身值,再 自身体-自身值的平方即可得到导数值。





  End  







联系小饼