梯度下降、反向传播原理,计算图

2022-11-19

梯度下降原理及其过程:https://blog.csdn.net/qq_41800366/article/details/86583789

有限差分估计梯度:

写起来简单,但速度慢而且结果区分度不大

 

解析梯度:

计算图:

 

反向传播工作机制:

从输出开始乘以每个节点的本地梯度,一直传递到输入

梯度从后向前传播(链式法则)

 

 

 

 

sigmoid函数:

 

 

加法门、max门、乘法门:

加法门相当于分配梯度

max门相当于路由器,将梯度传给上游最大值所在节点

乘法门相当于转换器

 

 

多个神经元在节点处相加的梯度等于每个神经元的梯度相加的和

 

 

 向量的反向传播:

 

反向传播api:

 

例:

 

 

 summary:

 

 

 

 

 

 

1