Github主页课程主页教材 L2 Loss 优势在于离最优点越近，梯度越小，起到微调的效果，且使得损失函数收敛。劣势在于当离最优点过远时，梯度可能会过于大，导致在最优点的两侧反复横跳，收敛过慢。 L2 Loss 优势在于离最优点过远时，梯度不会特别大。劣势在于当离最优点过近时，无法进一步逼近，无法收敛。 可以看到 L1 Loss 和 L2 Loss 的优势是互补的，因此有 Huber’s Robust Loss 在离最优点近时采用 L2，在离最优点远时采用 L1，结合了两者的优势。 ...

Github主页课程主页教材 关于多层感知机的知识，还需要结合更深入的学习进一步理解。

Github主页课程主页教材 softmax 可以看作支持多分类的逻辑回归，关于逻辑回归的推导可看logistic回归原理与实现，关于 softmax 的推导，可看softmax回归原理与实现 softmax 的数学基础来自统计学习方法，收到热力统计学启发而得。 关于 softmax 的数学内容，在 d2l 教材中有着更详细的说明。

Github主页课程主页教材

Github主页课程主页教材 反向传播相比正向传播的优势 自带剪枝。 对所有变量求偏导可以在一次传播过程中完成。 反向传播相比正向传播的劣势 空间复杂度为$O(n)$，每个没有被剪枝的节点都需要同时存储在内存中。

Github主页课程主页教材 关于矩阵求导的详细技巧，可见矩阵求导术一文。