目录
25 关系: 向量，导数，對稱，微积分学，利普希茨連續，單位矩陣，倒数，Cholesky分解，线性方程组，置信域方法，疊代法，特徵向量，鞍點，非奇异方阵，驻点，邻域，零点，逆矩阵，John Wiley & Sons，梯度，梯度下降法，正定矩阵，泰勒级数，擬牛頓法，收斂速度。
- 优化算法和方法
向量
向量（vector，物理、工程等也称作--）是数学、物理学和工程科学等多个自然科學中的基本概念，指一个同时具有大小和方向，且满足平行四边形法则的几何對象。一般地，同时满足具有大小和方向两个性质的几何对象即可认为是向量（特别地，电流属既有大小、又有正负方向的量，但由于其运算不满足平行四边形法则，公认为其不属于向量）。向量常常在以符号加箭头标示以区别于其它量。与向量相对的概念称标量或数量，即只有大小、绝大多数情况下没有方向（电流是特例）、不满足平行四边形法则的量。.
导数
导数（Derivative）是微积分学中重要的基礎概念。一个函数在某一点的导数描述了这个函数在这一点附近的变化率。导数的本质是通过极限的概念对函数进行局部的线性逼近。当函数f的自变量在一点x_0上产生一个增量h时，函數输出值的增量與自變量增量h的比值在h趋于0时的極限如果存在，即為f在x_0处的导数，记作f'(x_0)、\frac(x_0)或\left.\frac\right|_。例如在运动学中，物体的位移对于时间的导数就是物体的瞬时速度。 导数是函数的局部性质。不是所有的函数都有导数，一个函数也不一定在所有的点上都有导数。若某函数在某一点导数存在，则称其在这一点可导，否则称为不可导。如果函数的自变量和取值都是实数的话，那么函数在某一点的导数就是该函数所代表的曲线在這一点上的切线斜率。 对于可导的函数f，x \mapsto f'(x)也是一个函数，称作f的导函数。寻找已知的函数在某点的导数或其导函数的过程称为求导。反之，已知导函数也可以倒过来求原来的函数，即不定积分。微积分基本定理说明了求原函数与积分是等价的。求导和积分是一对互逆的操作，它们都是微积分学中最为基础的概念。.
對稱
對稱是幾何形狀、系統、方程以及其他實際上或概念上之客體的一種特徵－典型地，物件的一半為其另一半的鏡射。 在數理上，如果稱一個幾何圖形或物體為對稱的話，即表示它是變形的不變量，而對稱一詞亦包含在此定義之中。若兩個物體稱為互相對稱時，即表示其中一者的形狀經幾何分割後，在不變更整體形狀的情況下，可以將分割片段重組為另一者，且反之亦然。 對稱亦可在人類與其他動物等生物體中發現（見如下之生物內的對稱）。在二維幾何中，較有趣味的幾種主要的對稱為相對於基本之歐幾里得空間等距的：平移、旋轉、鏡射及滑移鏡射。.
微积分学
微積分學（Calculus，拉丁语意为计数用的小石頭） 是研究極限、微分學、積分學和無窮級數等的一個數學分支，並成為了現代大學教育的重要组成部分。歷史上，微積分曾經指無窮小的計算。更本質的講，微積分學是一門研究變化的科學，正如：幾何學是研究形狀的科學、代數學是研究代數運算和解方程的科學一樣。微積分學又稱為“初等數學分析”。 微積分學在科學、經濟學、商業管理學和工業工程學領域有廣泛的應用，用來解决那些僅依靠代數學和幾何學不能有效解決的問題。微積分學在代數學和解析幾何學的基礎上建立起来，主要包括微分學、積分學。微分學包括求導數的運算，是一套關於變化率的理論。它使得函數、速度、加速度和斜率等均可用一套通用的符號進行演绎。積分學，包括求積分的運算，為定義和計算長度、面積、體積等提供一套通用的方法。微積分學基本定理指出，微分和積分互為逆運算，這也是兩種理論被統一成微積分學的原因。我們能以兩者中任意一者為起點來討論微積分學，但是在教學中一般會先引入微分學。在更深的數學領域中，高等微積分學通常被稱為分析學，並被定義為研究函數的科學，是現代數學的主要分支之一。.
利普希茨連續
在數學中，特別是實分析，利普希茨連續（Lipschitz continuity）以德國數學家魯道夫·利普希茨命名，是一個比通常連續更強的光滑性條件。直覺上，利普希茨連續函數限制了函數改變的速度，符合利普希茨條件的函數的斜率，必小於一個稱為利普希茨常數的實數（該常數依函數而定）。 在微分方程，利普希茨連續是皮卡-林德洛夫定理中確保了初值問題存在唯一解的核心條件。一種特殊的利普希茨連續，稱為壓縮應用於巴拿赫不動點定理。 利普希茨連續可以定義在度量空間上以及賦范向量空間上；利普希茨連續的一種推廣稱為赫爾德連續。.
單位矩陣
在線性代數中，n階單位矩陣，是一個n \times n的方形矩陣，其主對角線元素為1，其餘元素為0。單位矩陣以I_n表示；如果階數可忽略，或可由前後文確定的話，也可簡記為I（或者E）。（在部分領域中，如量子力學，單位矩陣是以粗體字的1表示，否則無法與I作區別。） I_1.
倒数
數學上，一个数\displaystyle x的倒数（reciprocal），或稱乘法逆元（multiplicative inverse），是指一個与\displaystyle x相乘的积为1的数，记为\displaystyle \tfrac或\displaystyle x^。在抽象代数中，倒数所对应的抽象化概念是乘法群的某个元素的“乘法逆”，也就是相对于群中“乘法”运算的逆元素。注意这个名词只当相应的群中的运算被称为“乘法”后才使用。如果群中的运算被称为“加法”，那么同样的概念称为“加法逆”。乘法逆的具体定义可以参见群的逆元素概念。 汉语中，名词倒数一般用来表示数字的乘法逆，一般在各种数域如：有理数、实数、复数，以及模n的同余类所构成的乘法群中使用。在复数域（实数域）中，每个除了0以外的复数（实数）都存在倒数：只要用某个数自身除1（也就是说用1除以某个数），即可得到它的倒数。用数学记号表示的话： 每个复数（实数）只有一个倒数。一般来说，并不是对所有的代数结构中的乘法运算，每个元素都存在其乘法逆，如对矩阵乘法来说，秩小于阶数的矩阵就没有乘法逆。一个环中的一个元素有乘法逆当且仅当它是可逆元，而它的乘法逆是唯一的当且仅当它不是一个零因子，或者说当它是一个正则元。每个非零元素都有乘法逆的环称为除环。每个非零元素都至多有一个乘法逆的环称为无零因子环。.
Cholesky分解
線性代數中，Cholesky分解（Cholesky decomposition or Cholesky factorization，另有譯作楚列斯基分解）是指將一個正定的Hermite矩陣分解成一個下三角矩陣與其共軛轉置之乘積。這種分解方式在提高代數運算效率、蒙特卡羅方法等場合中十分有用。實數矩陣的Cholesky分解由最先發明。實際應用中，Cholesky分解在求解線性方程組中的效率約兩倍於LU分解。.
线性方程组
线性方程组是数学方程组的一种，它符合以下的形式： 其中的a_, \, a_以及b_, \, b_等等是已知的常数，而x_, \, x_等等则是要求的未知数。 如果用线性代数中的概念来表达，则线性方程组可以写成： 這裡的A是m×n 矩陣，x是含有n个元素列向量，b是含有m 个元素列向量。 A.
置信域方法
置信域方法（Trust-region methods）又称为信赖域方法，它是一种最优化方法，能够保证最优化方法总体收敛。.
疊代法
#重定向 迭代法.
特徵向量
#重定向 特征值和特征向量.
鞍點
一個不是局部極值點的駐點稱為鞍點。 廣義而說，一個光滑函數（曲線，曲面，或超曲面）的鞍點鄰域的曲線，曲面，或超曲面，都位於這點的切線的不同邊。 參考右圖，鞍點這詞語來自於不定二次型x^2 - y^2\,的二維圖形，像個馬鞍：在x-軸--往上曲，在y-軸--往下曲。 检验二元实函数F(x,y)的驻点是不是鞍点的一个简单的方法，是计算函数在这个点的海森矩阵：如果該矩陣為一不定矩陣，则该点就是鞍点。例如，函数z.
非奇异方阵
若方块矩阵A\,满足条件\left|A\right|(\rm(A))\ne0，则称A\,为非奇异方阵，否则称为奇异方阵。.
驻点
在數學，特別在微積分，函數在一點处的一階導數為零，该点即函数的驻点（Stationary Point）或稳定点，也就是說若 p 為駐點則 在這一點，函數的輸出值停止增加或減少。 对于一维函数的图像，驻点的切线平行于x轴即水平切线。对于二维函数的图像，驻点的切平面平行于xy平面。 值得注意的是，一个函数的驻点不一定是这个函数的极值点（考虑到这一点左右一阶导数符号不改变的情况）；反过来，在某設定區域內，一个函数的极值点也不一定是这个函数的驻点（考慮到邊界條件），例如函数f(x).
邻域
在集合论中，邻域指以点 a 为中心的任何开区间，记作：U(a)。 在拓扑学和相关的数学领域中，邻域是拓扑空间中的基本概念。直觉上说，一个点的邻域是包含这个点的集合，並且該性質是外延的：你可以稍微“抖动”一下这个点而不离开这个集合。 这个概念密切关联于开集和内部的概念。.
零点
对全纯函数f，称满足f(a).
逆矩阵
逆矩陣（inverse matrix）：在线性代数中，給定一个n階方陣\mathbf，若存在一n階方陣\mathbf，使得\mathbf.
John Wiley & Sons
#重定向 約翰威立.
查看 應用於最優化的牛頓法和John Wiley & Sons
梯度
在向量微积分中，标量场的梯度是一个向量场。标量场中某一点的梯度指向在這點标量场增长最快的方向（當然要比較的話必須固定方向的長度），梯度的絕對值是長度為1的方向中函數最大的增加率，也就是說 |\nabla f|.
梯度下降法
梯度下降法（Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点；这个过程则被称为梯度上升法。.
正定矩阵
在线性代数裡，正定矩阵是埃尔米特矩阵的一种，有时会简称为正定阵。在线性代数中，正定矩阵的性质類似复数中的正实数。与正定矩阵相对应的线性算子是对称正定双线性形式（複域中则对应埃尔米特正定双线性形式）。.
泰勒级数
在数学中，泰勒级数（Taylor series）用无限项连加式——级数来表示一个函数，这些相加的项由函数在某一点的导数求得。泰勒级数是以于1715年发表了泰勒公式的英國数学家布魯克·泰勒（Sir Brook Taylor）来命名的。通过函数在自变量零点的导数求得的泰勒级数又叫做麦克劳林级数，以苏格兰数学家科林·麦克劳林的名字命名。 拉格朗日在1797年之前，最先提出帶有餘項的現在形式的泰勒定理。实际应用中，泰勒级数需要截断，只取有限项，可以用泰勒定理估算这种近似的误差。一个函数的有限项的泰勒级数叫做泰勒多项式。一个函数的泰勒级数是其泰勒多项式的极限（如果存在极限）。即使泰勒级数在每点都收敛，函数与其泰勒级数也可能不相等。开区间（或复平面开片）上，与自身泰勒级数相等的函数称为解析函数。.
擬牛頓法
擬牛頓法是一種以牛頓法為基礎設計的，求解非線性方程組或連續的最優化問題函數的零點或極大、極小值的算法。當牛頓法中所要求計算的雅可比矩陣或Hessian矩陣難以甚至無法計算時，擬牛頓法便可派上用場。.
收斂速度
在數值分析中, 一個收斂序列向其極限逼近的速度稱為收斂速度.
另见
优化算法和方法
- Alpha-beta剪枝
- 二次规划
- 共轭梯度法的推导
- 分支切割法
- 分治法
- 切割平面法
- 动态规划
- 单纯形法
- 增廣拉格朗日懲罰函數法
- 局部搜索
- 序列最小优化算法
- 應用於最優化的牛頓法
- 懲罰函數法
- 最大子数列问题
- 最大期望算法
- 最小二乘法
- 极小化极大算法
- 梯度下降法
- 模拟退火
- 次梯度法
- 水平集方法
- 牛顿法
- 矩陣鏈乘積
- 社会认知优化
- 线搜索
- 置信域方法
- 蚁群算法
- 贪心算法
- 进化算法
- 量子退火
- 集装优化
- 非线性规划
- 黄金分割搜索