0x1.牛顿法定义:
设目标函数𝑓:ℝ^𝑛^→ℝ二阶连续可微,将函数𝑓在𝒙^(𝑘)^点处进行泰勒展开,忽略三次以上的项,可得到二次型近似函数:
这就是牛顿法的迭代公式。
如果目标函数𝑓为二次型函数,牛顿法只需要一次迭代即可从任意初始点𝑥^(0)^收敛到函数𝑓的极小点𝑥^∗^, 𝑥^∗^满足𝛻𝑓(𝑥^∗^)=0。
1.定理9.1
函数𝑓三阶连续可微,点𝒙^∗^∈ℝ满足𝛻𝑓(𝒙^∗^)=0,且𝐹(𝒙^∗^)可逆,那么,对于所有与𝒙^∗^足够接近的𝒙^(0)^,牛顿法能够正常运行,且至少以阶数2的收敛率收敛到𝒙^∗^。