本文讨论研究梯度下降法的一个有力的数学工具：海森矩阵。在讨论海森矩阵之前，需要首先了解梯度和雅克比矩阵的基本概念。 :star:本文假设读者已经熟悉梯度下降法和简单的数值分析、线性代数知识 原文链接 梯度、雅克比矩阵 梯度下降算法需要当前函数点的导数信息，当此函数点包含多个方向时，梯度是包含所有方向的（偏）导数向量。 上述情况对应于输出为一个的情况，当函数的输出也为一个向量时，我们需要把输出向量的每一个元素对于多个输入的梯度罗列在一起，罗列形成的矩阵就是雅克比矩阵（Jacobian Matrix）。 举例说明： 若函数$f$接受三个输入$x1、x2、x3$，产生一个输出$y$，则其梯度为： …