最优化和线搜索

快捷方式: 差异，相似，杰卡德相似系数，参考。

最优化和线搜索之间的区别

最优化 vs. 线搜索

最优化，是应用数学的一个分支，主要研究以下形式的问题：. 最优化问题中，线搜索 是一种寻找目标函数 f:\mathbb R^n\to\mathbb R 的局部最小值 \mathbf^* 的近似方法。它是最基础的迭代近似方法之一，另一种是置信域方法。 线搜索近似首先找到一个使目标函数 f 下降的方向，然后计算 \mathbf 应该沿着这个方向移动的步长。下降方向可以通过多种方法计算，比如梯度下降法，牛顿法和。计算出的步长不一定是精确的。.

共轭梯度法

共轭梯度法（Conjugate gradient method），是求解系数矩阵为对称正定矩阵的线性方程组的数值解的方法。共轭梯度法是一个迭代方法，它适用于系数矩阵为稀疏矩阵的线性方程组，因为使用像Cholesky分解这样的直接方法求解这些系统所需的计算量太大了。这种方程组在数值求解偏微分方程时很常见。 共轭梯度法也可以用于求解无约束的最優化问题。 双共轭梯度法（BiConjugate gradient method）提供了一种处理非对称矩阵情况的推广。.

共轭梯度法和最优化 · 共轭梯度法和线搜索 · 查看更多 »

置信域方法

置信域方法（Trust-region methods）又称为信赖域方法，它是一种最优化方法，能够保证最优化方法总体收敛。.

最优化和置信域方法 · 线搜索和置信域方法 · 查看更多 »

牛顿法

牛顿法（Newton's method）又称为牛顿-拉弗森方法（Newton-Raphson method），它是一种在实数域和复数域上近似求解方程的方法。方法使用函数f(x)的泰勒级数的前面几项来寻找方程f(y).

最优化和牛顿法 · 牛顿法和线搜索 · 查看更多 »

梯度下降法

梯度下降法（Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。.

最优化和梯度下降法 · 梯度下降法和线搜索 · 查看更多 »

模拟退火

模擬退火是一種通用概率演算法，常用來在一定時間內尋找在一個很大搜尋空間中的近似最優解。模擬退火是S.

最优化和模拟退火 · 模拟退火和线搜索 · 查看更多 »