徽标
联盟百科
通讯
下载应用,请到 Google Play
新! 在您的Android™设备上下载联盟百科!
安装
比浏览器更快的访问!
 

梯度下降法

指数 梯度下降法

梯度下降法(Gradient descent)是一个一阶最优化算法,通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值,必须向函数上当前点对应梯度(或者是近似梯度)的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索,则会接近函数的局部极大值点;这个过程则被称为梯度上升法。.

12 关系: 导数共轭梯度法等高線算法线搜索迭代Rosenbrock函數极值梯度水平集最优化

导数

导数(Derivative)是微积分学中重要的基礎概念。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。当函数f的自变量在一点x_0上产生一个增量h时,函數输出值的增量與自變量增量h的比值在h趋于0时的極限如果存在,即為f在x_0处的导数,记作f'(x_0)、\frac(x_0)或\left.\frac\right|_。例如在运动学中,物体的位移对于时间的导数就是物体的瞬时速度。 导数是函数的局部性质。不是所有的函数都有导数,一个函数也不一定在所有的点上都有导数。若某函数在某一点导数存在,则称其在这一点可导,否则称为不可导。如果函数的自变量和取值都是实数的话,那么函数在某一点的导数就是该函数所代表的曲线在這一点上的切线斜率。 对于可导的函数f,x \mapsto f'(x)也是一个函数,称作f的导函数。寻找已知的函数在某点的导数或其导函数的过程称为求导。反之,已知导函数也可以倒过来求原来的函数,即不定积分。微积分基本定理说明了求原函数与积分是等价的。求导和积分是一对互逆的操作,它们都是微积分学中最为基础的概念。.

新!!: 梯度下降法和导数 · 查看更多 »

共轭梯度法

共轭梯度法(Conjugate gradient method),是求解系数矩阵为对称正定矩阵的线性方程组的数值解的方法。共轭梯度法是一个迭代方法,它适用于系数矩阵为稀疏矩阵的线性方程组,因为使用像Cholesky分解这样的直接方法求解这些系统所需的计算量太大了。这种方程组在数值求解偏微分方程时很常见。 共轭梯度法也可以用于求解无约束的最優化问题。 双共轭梯度法(BiConjugate gradient method)提供了一种处理非对称矩阵情况的推广。.

新!!: 梯度下降法和共轭梯度法 · 查看更多 »

碗是比较深的圓形的容器,碗口寬而碗底窄,下有碗足。一般用途是盛裝食物,但有时也视为艺术品,碗因為其體積較鍋、盂小而可用手端盛。 上阔下窄的形态,放在平地上是不稳定的,据此考古学家推测,古人对碗的使用,可能是最初是放在地上挖出的坑之内的。 它的起源目前不可考,不過可追溯自古代的泥製容器,有陶瓷、木、石、壓克力、玻璃、琉璃、椰子等材料,製作精美的骨董碗常常是收藏家的最愛。.

新!!: 梯度下降法和碗 · 查看更多 »

等高線

等高线指的是地形图上高程相等的各点所连成的闭合曲线,是等值线的一种特殊形式。在等高线上标注的数字为该等高线的海拔高度。等高线按其作用不同,可分为首曲线、计曲线、间曲线与助曲线四种。除地形图之外,等高线也见于俯视图、阴影图等形式。 用於海、湖泊的等高線,稱為等深線。 等高线是通过连接地图上的海拔高度相同的点得到的。等高线一般不相交,但有时可能会重合。在同一等高线上的各点高度相同。在等高线稀疏的地方,坡度较缓;而在等高线稠密的地方,坡度较陡。.

新!!: 梯度下降法和等高線 · 查看更多 »

算法

-- 算法(algorithm),在數學(算學)和電腦科學之中,為任何良定义的具體計算步驟的一个序列,常用於計算、和自動推理。精確而言,算法是一個表示爲有限長列表的。算法應包含清晰定義的指令用於計算函數。 算法中的指令描述的是一個計算,當其時能從一個初始狀態和初始輸入(可能爲空)開始,經過一系列有限而清晰定義的狀態最終產生輸出並停止於一個終態。一個狀態到另一個狀態的轉移不一定是確定的。隨機化算法在内的一些算法,包含了一些隨機輸入。 形式化算法的概念部分源自尝试解决希尔伯特提出的判定问题,並在其后尝试定义或者中成形。这些尝试包括库尔特·哥德尔、雅克·埃尔布朗和斯蒂芬·科尔·克莱尼分别于1930年、1934年和1935年提出的遞歸函數,阿隆佐·邱奇於1936年提出的λ演算,1936年的Formulation 1和艾倫·圖靈1937年提出的圖靈機。即使在當前,依然常有直覺想法難以定義爲形式化算法的情況。.

新!!: 梯度下降法和算法 · 查看更多 »

线搜索

最优化问题中,线搜索 是一种寻找目标函数 f:\mathbb R^n\to\mathbb R 的局部最小值 \mathbf^* 的近似方法。它是最基础的迭代近似方法之一,另一种是置信域方法。 线搜索近似首先找到一个使目标函数 f 下降的方向,然后计算 \mathbf 应该沿着这个方向移动的步长。下降方向可以通过多种方法计算,比如梯度下降法,牛顿法和。计算出的步长不一定是精确的。.

新!!: 梯度下降法和线搜索 · 查看更多 »

迭代

迭代是重复反馈过程的活动,其目的通常是为了接近并到达所需的目标或结果。每一次对过程的重复被称为一次“迭代”,而每一次迭代得到的结果会被用来作为下一次迭代的初始值。.

新!!: 梯度下降法和迭代 · 查看更多 »

Rosenbrock函數

在數學最佳化中,Rosenbrock函數是一個用來測試最佳化演算法性能的非凸函数,由Howard Harry Rosenbrock在1960年提出。也稱為Rosenbrock山谷或Rosenbrock香蕉函數,也簡稱為香蕉函數。 Rosenbrock函數的定義如下: Rosenbrock函數的每个等高线大致呈抛物线形,其全域最小值也位在抛物线形的山谷中(香蕉型山谷)。很容易找到這個山谷,但由於山谷內的值變化不大,要找到全域的最小值相當困難。 其全域最小值位於(x, y).

新!!: 梯度下降法和Rosenbrock函數 · 查看更多 »

极值

在数学中,极大值与极小值(又被称为极值)是指在一个域上函数取得最大值(或最小值)的点的函数值。而使函数取得极值的点(的横坐标)被称作极值点。这个域既可以是一个邻域,又可以是整个函数域(这时极值称为最值)。.

新!!: 梯度下降法和极值 · 查看更多 »

梯度

在向量微积分中,标量场的梯度是一个向量场。标量场中某一点的梯度指向在這點标量场增长最快的方向(當然要比較的話必須固定方向的長度),梯度的絕對值是長度為1的方向中函數最大的增加率,也就是說 |\nabla f|.

新!!: 梯度下降法和梯度 · 查看更多 »

水平集

在数学领域中, 一个具有n变量的实值函数f的水平集是具有以下形式的集合 其中 c 是常数.

新!!: 梯度下降法和水平集 · 查看更多 »

最优化

最优化,是应用数学的一个分支,主要研究以下形式的问题:.

新!!: 梯度下降法和最优化 · 查看更多 »

重定向到这里:

梯度下降最速下降法

传出传入
嘿!我们在Facebook上吧! »