目录
反向传播算法
反向传播（Backpropagation，缩写为BP）是“误差反向传播”的简称，是一种与最优化方法（如梯度下降法）结合使用的，用来训练人工神经网络的常见方法。该方法对网络中所有权重计算的梯度。这个梯度会反馈给最优化方法，用来更新权值以最小化损失函数。 反向传播要求有对每个输入值想得到的已知输出，来计算损失函数梯度。因此，它通常被认为是一种監督式學習方法，虽然它也用在一些无监督网络（如）中。它是多层前馈网络的的推广，可以用链式法则对每层迭代计算梯度。反向传播要求（或“节点”）的激励函数可微。.
查看 多层感知器和反向传播算法
可微函数
在微积分学中，可微函数是指那些在定义域中所有点都存在导数的函数。可微函数的图像在定义域内的每一点上必存在非垂直切线。因此，可微函数的图像是相对光滑的，没有间断点、尖点或任何有垂直切线的点。 一般来说，若X0是函数f定义域上的一点，且f′(X0)有定义，则称f在X0点可微。这就是说f的图像在(X0, f(X0))点有非垂直切线，且该点不是间断点、尖点。.
查看 多层感知器和可微函数
双曲函数
在数学中，双曲函数是一类与常见的三角函数（也叫圆函数）类似的函数。最基本的双曲函数是双曲正弦函数 \sinh和双曲余弦函数 \cosh，从它们可以导出双曲正切函数 \tanh等，其推导也类似于三角函数的推导。双曲函数的反函数称为反双曲函数。 双曲函数的定义域是实数，其自变量的值叫做双曲角。双曲函数出现于某些重要的线性微分方程的解中，譬如說定义悬链线和拉普拉斯方程。.
查看 多层感知器和双曲函数
人工神经网络
人工神经网络（Artificial Neural Network，ANN），简称神经网络（Neural Network，NN）或類神經網絡，在机器学习和认知科学领域，是一种模仿生物神经网络（动物的中樞神經系統，特别是大脑）的结构和功能的数学模型或计算模型，用于对函数进行估计或近似。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络能在外界信息的基础上改变内部结构，是一种自适应系统，通俗的講就是具備學習功能。现代神经网络是一种非线性统计性数据建模工具。典型的神经网络具有以下三个部分：.
查看 多层感知器和人工神经网络
分类
#重定向 分类学.
查看 多层感知器和分类
監督式學習
監督式學習（Supervised learning），是一個機器學習中的方法，可以由訓練資料中學到或建立一個模式（函數 / learning model），並依此模式推測新的实例。訓練資料是由輸入物件（通常是向量）和預期輸出所組成。函數的輸出可以是一個連續的值（稱為迴歸分析），或是預測一個分類標籤（稱作分類）。 一個監督式學習者的任務在觀察完一些訓練範例（輸入和預期輸出）後，去預測這個函數對任何可能出現的輸入的值的输出。要達到此目的，學習者必須以"合理"（見歸納偏向）的方式從現有的資料中一般化到非觀察到的情況。在人類和動物感知中，則通常被稱為概念學習（concept learning）。.
查看 多层感知器和監督式學習
逻辑函数
#重定向 邏輯函數.
查看 多层感知器和逻辑函数
S函数
S函数得名因其形状像S字母。 S函数的级数展开为： s.
查看 多层感知器和S函数
深度学习
深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法。观测值（例如一幅图像）可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别）。深度学习的好处是用非监督式或的特征学习和分层特征提取高效算法来替代手工获取。 表征学习的目标是寻求更好的表示方法并建立更好的模型来从大规模未标记数据中学习这些表示方法。表示方法来自神经科学，并松散地建立在類似神经系统中的信息处理和对通信模式的理解上，如神经编码，试图定义拉動神经元的反应之间的关系以及大脑中的神经元的电活动之间的关系。 至今已有數种深度学习框架，如深度神经网络、卷积神经网络和和递归神经网络已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并取得了极好的效果。 另外，「深度学习」已成為類似術語，或者说是神经网络的品牌重塑。.
查看 多层感知器和深度学习
激活函数
在计算网络中， 一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到开（1）或关（0）输出的数字网络激活函数。这与神经网络中的线性感知机的行为类似。然而，只有非線性激活函數才允許這種網絡僅使用少量節點來計算非平凡問題。 在人工神經網絡中，這個功能也被稱為傳遞函數。.
查看 多层感知器和激活函数
感知器
感知器（英语：Perceptron）是Frank Rosenblatt在1957年就职于康奈尔航空实验室（Cornell Aeronautical Laboratory）時所發明的一種人工神經網路。它可以被視為一種最簡單形式的前馈神經網路，是一種二元线性分类器。 Frank Rosenblatt给出了相应的感知机学习算法，常用的有感知机学习、最小二乘法和梯度下降法。譬如，感知机利用梯度下降法对损失函数进行极小化，求出可将训练数据进行线性划分的分离超平面，从而求得感知机模型。 感知机是生物神经细胞的简单抽象。神经细胞结构大致可分为：树突、突触、及轴突。单个神经细胞可被视为一种只有两种状态的机器——激动时为『是』，而未激动时为『否』。神经细胞的状态取决于从其它的神经细胞收到的输入信号量，及突触的强度（抑制或加强）。当信号量总和超过了某个阈值时，细胞体就会激动，产生电脉冲。电脉冲沿着轴突并通过突触传递到其它神经元。为了模拟神经细胞行为，与之对应的感知机基础概念被提出，如权量（突触）、偏置（阈值）及激活函数（细胞体）。 在人工神经网络领域中，感知机也被指为单层的人工神经网络，以区别于较复杂的多层感知机（Multilayer Perceptron）。作为一种线性分类器，（单层）感知机可说是最简单的前向人工神经网络形式。尽管结构简单，感知机能够学习并解决相当复杂的问题。感知机主要的本质缺陷是它不能处理线性不可分问题。.
查看 多层感知器和感知器
曲線擬合
曲線擬合（fit theory），俗稱拉曲線，是一種把現有數據透過數學方法來代入一條數式的表示方式。科学和工程问题可以通过诸如采样、实验等方法获得若干离散的数据，根据这些数据，我们往往希望得到一个连续的函数（也就是曲线）或者更加密集的离散方程与已知数据相吻合，这过程就叫做拟合 (fitting)。 本條目講述如何透過拉曲線的方法來進行插值法運算及遞歸分析的基礎。.
查看 多层感知器和曲線擬合