老饼讲解-神经网络 机器学习 神经网络 深度学习
BP算法-自实现
1.BP算法重现-开篇导读与回顾
2.BP的初始化与梯度公式
3. BP的训练算法与流程
4.BP代码自实现

【附件】tansig、logsig公式与导数的推导

作者 : 老饼 发表日期 : 2022-06-11 02:28:48 更新日期 : 2023-10-16 17:26:52
本站原创文章,转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com



tansig和logsig经常用于做BP神经网络的激活函数

它们的导数都有良好的性质:导数可以用自身表示

本文讲述tansig和logsig的公式、导数及导数的推导过程




  01.  tansig、logsig的公式及导数    



本节展示tansig、logsig的公式及导数公式



    公式定义    


tansig和logsig公式如下:
 
 

 
          
✍️补充:tansig和logsig的区别
 
tansig和logsig都是S型曲线
它们的区别主要在于
tansig的取值范围在[-1,1]之间
而logsig的取值范围在 [0,1]之间  




     导数公式     


tansig和logsig的导数公式如下
 
 
                   
 
  
 
 tansig和logsig的导数都可以用自身来表示
这是它们良好的、重要的性能之一




  02. tansig、logsig导数公式推导过程  



本节讲述tansig和logsig的导数公式的具体推导过程



   tansig的导数公式推导过程   


tansig求导过程推导如下:                             
              



又  :                                               


即有:                                               

 
 
 ✍️PASS:所以,tansig只需要算出自身的平方值,再1-即可以得到导数值





     logsig求导过程     


logsig求导过程推导如下:

 

上述结果可以继续化简: 



即有:                 

   

 ✍️PASS:所以,logsig只要算出自身值,再用自身值-自身值的平方即可得到导数值









  End  







联系老饼