(1) 直接法:不用计算目标函数的导数值,而是通过直接计算函数值,并以之作为迭代、收敛根据,最终求出最优值的方法。有模式搜索法、转轴法、单纯形法、Powell 直接法等 ,这类算法比较简单、编程容易;但其主要问题是:收敛的速度比较慢,特别是当自变量个数较多或目标函数形态较好时,其效率比较低。

　　(2) 求导法:以多变量函数极值理论为根据,利用函数性态并以之作为迭代、收敛根据的方法。包括最速下降法、Newton 法、共轭梯度法、DFP 法等。这类方法的收敛速度至少是线性收敛,工作效率较好,极值的计算精度也比较高。其中DFP 法由Davidon 首创,后经Fletcher Powell 修订而成,在求解多元函数无约束极小化问题时,收敛快、计算稳定性高,是目前被普遍采用的最有效的优化算法之一