牛顿法

# 0x1.牛顿法定义：

设目标函数𝑓:ℝ^𝑛^→ℝ二阶连续可微，将函数𝑓在𝒙^(𝑘)^点处进行泰勒展开，忽略三次以上的项，可得到二次型近似函数：

这就是牛顿法的迭代公式。

如果目标函数𝑓为二次型函数，牛顿法只需要一次迭代即可从任意初始点𝑥^(0)^收敛到函数𝑓的极小点𝑥^∗^， 𝑥^∗^满足𝛻𝑓(𝑥^∗^)=0。

函数𝑓三阶连续可微，点𝒙^∗^∈ℝ满足𝛻𝑓(𝒙^∗^)=0，且𝐹(𝒙^∗^)可逆，那么，对于所有与𝒙^∗^足够接近的𝒙^(0)^，牛顿法能够正常运行，且至少以阶数2的收敛率收敛到𝒙^∗^。