bp神经网络算法是解决最优化问题的先进算法之一，本论文讨论了神经网络中使用最为广泛的前馈神经网络。其网络权值学习算法中影响最大的就是误差反向传播算法（back-propagation简称BP算法）。BP算法存在局部极小点，收敛速度慢等缺点。基于优化理论的Levenberg-Marquardt算法忽略了二阶项。该文讨论当误差不为零或者不为线性函数即二阶项S(W)不能忽略时的Hesse矩阵的近似计算，进而训练网络。