老饼讲解-神经网络 机器学习 神经网络 深度学习
BP算法-自实现
1.BP算法重现-开篇导读与回顾
2.BP的初始化与梯度公式
3. BP的训练算法与流程
4.BP代码自实现

【原理】梯度下降法回顾

作者 : 老饼 发表日期 : 2022-06-09 04:38:01 更新日期 : 2023-02-17 00:57:38
本站原创文章,转载请说明来自《老饼讲解-BP神经网络》www.bbbdata.com



梯度下降法算是一种简单、有效、经典的求解最小值算法,

机器学习中通常需要求最小化损失函数时的参数的取值,因此经常使用梯度下降算法

本文介绍梯度下降算法的思想、实现流程和优缺点



   01. 梯度下降算法原理  


    梯度下降算法思路    


梯度下降算法的思路如下
 

先取一个初始值x0,然后进行迭代,
每次都往梯度的反方向调整(在一维中即导数的负方向)它,
直到迭代条件终止(例如无法令f(x)的值下降,即达到局部最低点)




  02. 算法流程  


下面讲解梯度下降算法的具体算法流程


    梯度下降算法流程    



1. 先初始化x的值 ​(按个人经验初始化,或随机初始化,或设为0)                     
2. 计算 在处的梯度,令,(lr为学习率,可设为0.1) 
3. 计算处的梯度,令                                   
4. ...如此类推....一直到满足迭代终止条件,最后一次的即为所要找的解。        
迭代终止条件:达到迭代次数,或者 变化不大,或者变化不大
✍️简单的说,就是先初始化 ,然后按不断迭代就行






 End 









联系老饼