Github主页
课程主页
教材

2-自动求导.png

2-自动求导-1.png

2-自动求导-2.png

2-自动求导-3.png

2-自动求导-4.png

2-自动求导-5.png

反向传播相比正向传播的优势

  1. 自带剪枝。

  2. 对所有变量求偏导可以在一次传播过程中完成。

反向传播相比正向传播的劣势

  1. 空间复杂度为$O(n)$，每个没有被剪枝的节点都需要同时存储在内存中。