最优化和最小二乘法

快捷方式: 差异，相似，杰卡德相似系数，参考。

最优化和最小二乘法之间的区别

最优化 vs. 最小二乘法

最优化，是应用数学的一个分支，主要研究以下形式的问题：. 最小二乘法（又称--）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。 利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。 “最小平方法”是對過度確定系統，即其中存在比未知數更多的方程組，以迴歸分析求得近似解的標準方法。在這整個解決方案中，最小平方法演算為每一方程式的結果中，將殘差平方和的總和最小化。 最重要的應用是在曲線擬合上。最小平方所涵義的最佳擬合，即殘差（殘差為：觀測值與模型提供的擬合值之間的差距）平方總和的最小化。當問題在自變量（x變量）有重大不確定性時，那麼使用簡易迴歸和最小平方法會發生問題；在這種情況下，須另外考慮變量-誤差-擬合模型所需的方法，而不是最小平方法。 最小平方問題分為兩種：線性或普通的最小平方法，和非線性的最小平方法，取決於在所有未知數中的殘差是否為線性。線性的最小平方問題發生在統計迴歸分析中；它有一個封閉形式的解決方案。非線性的問題通常經由迭代細緻化來解決；在每次迭代中，系統由線性近似，因此在這兩種情況下核心演算是相同的。 最小平方法所得出的多項式，即以擬合曲線的函數來描述自變量與預計應變量的變異數關係。 當觀測值來自指數族且滿足輕度條件時，最小平方估計和最大似然估计是相同的。最小平方法也能從動差法得出。 以下討論大多是以線性函數形式來表示，但對於更廣泛的函數族，最小平方法也是有效和實用的。此外，迭代地將局部的二次近似應用於或然性（藉由費雪信息），最小平方法可用於擬合廣義線性模型。 其它依據平方距離的目標加總函數作為逼近函數的主題，請參見最小平方法（函數近似）。 最小平方法通常歸功於高斯（Carl Friedrich Gauss，1795），但最小平方法是由阿德里安-马里·勒让德（Adrien-Marie Legendre）首先發表的。.

函数

函數在數學中為兩集合間的一種對應關係：輸入值集合中的每項元素皆能對應唯一一項輸出值集合中的元素。例如實數x對應到其平方x2的關係就是一個函數，若以3作為此函數的輸入值，所得的輸出值便是9。 為方便起見，一般做法是以符號f,g,h等等來指代一個函數。若函數f以x作為輸入值，則其輸出值一般寫作f(x)，讀作f of x。上述的平方函數關係寫成數學式記為f(x).

函数和最优化 · 函数和最小二乘法 · 查看更多 »