目录
吴恩达
吳恩達(Andrew Ng,)是斯坦福大学计算机科学系和电气工程系的副教授,的主任。他还与达芙妮·科勒一起创建了在线教育平台Coursera。.
查看 隐含狄利克雷分布和吴恩达
吉布斯采样
吉布斯采样(Gibbs sampling)是统计学中用于马尔科夫蒙特卡洛(MCMC)的一种算法,用于在难以直接采样时从某一多变量概率分布中近似抽取样本序列。该序列可用于近似联合分布、部分变量的边缘分布或计算积分(如某一变量的期望值)。某些变量可能为已知变量,故对这些变量并不需要采样。 吉布斯采样常用于统计推断(尤其是贝叶斯推断)之中。这是一种随机化算法,与最大期望算法等统计推断中的确定性算法相区别。与其他MCMC算法一样,吉布斯采样从马尔科夫链中抽取样本,可以看作是Metropolis–Hastings算法的特例。 该算法的名称源于约西亚·威拉德·吉布斯,由与兄弟于1984年提出。.
主题模型
主题模型(Topic Model)在机器学习和自然语言处理等领域是用来在一系列文档中发现抽象主题的一种统计模型。直观来讲,如果一篇文章有一个中心思想,那么一些特定词语会更频繁的出现。比方说,如果一篇文章是在讲狗的,那“狗”和“骨头”等词出现的频率会高些。如果一篇文章是在讲猫的,那“猫”和“鱼”等词出现的频率会高些。而有些词例如“这个”、“和”大概在两篇文章中出现的频率会大致相等。但真实的情况是,一篇文章通常包含多种主题,而且每个主题所占比例各不相同。因此,如果一篇文章10%和猫有关,90%和狗有关,那么和狗相关的关键字出现的次数大概会是和猫相关的关键字出现次数的9倍。一个主题模型试图用数学框架来体现文档的这种特点。主题模型自动分析每个文档,统计文档内的词语,根据统计的信息来断定当前文档含有哪些主题,以及每个主题所占的比例各为多少。 主题模型最初是运用于自然语言处理相关方向,但目前以及延伸至例如生物信息学的其它领域。.
二項分佈
在概率论和统计学中,二项分布(Binomial Distribution)是n个独立的是/非试验中成功的次数的离散概率分布,其中每次试验的成功概率为p。这样的单次成功/失败试验又称为伯努利试验。实际上,当n.
先验概率
在贝叶斯统计中,某一不确定量p的先验概率分布是在考虑"观测数据"前,能表达p不确定性的概率分布。它旨在描述这个不确定量的不确定程度,而不是这个不确定量的随机性。这个不确定量可以是一个参数,或者是一个隐含变量(latent variable)。 在使用贝叶斯定理时,我们通过将先验概率与似然函数相乘,随后标准化,来得到后验概率分布,也就是给出某数据,该不确定量的条件分布。 先验概率通常是主观的猜测,为了使计算后验概率方便,有时候会选择共轭先验。如果后验概率和先验概率是同一族的,则认为它们是共轭分布,这个先验概率就是对应于似然函数的共轭先验。 Category:概率论.
联合分布
在概率论中, 对两个随机变量X和Y,其联合分布是同时对于X和Y的概率分布.
非監督式學習
非監督式學習是一種機器學習的方式,並不需要人力來輸入標籤。它是監督式學習和強化學習等策略之外的一種選擇。在監督式學習中,典型的任務是分類和迴歸分析,且需要使用到人工預先準備好的範例(base)。 一個常見的非監督式學習是数据聚类。在人工神經網路中,生成對抗網絡(GAN)、自組織映射(SOM)和適應性共振理論(ART)則是最常用的非監督式學習。 ART模型允許叢集的個數可隨著問題的大小而變動,並讓使用者控制成員和同一個叢集之間的相似度分數,其方式為透過一個由使用者自定而被稱為警覺參數的常數。ART也用於模式識別,如自動目標辨識和數位信號處理。第一個版本為"ART1",是由卡本特和葛羅斯柏格所發展的。.
貝氏網路
貝氏網路(Bayesian network),又稱信念網絡(belief network)或是有向無環圖模型(directed acyclic graphical model),是一種機率圖型模型,藉由有向無環圖(directed acyclic graphs, or DAGs)中得知一組隨機變數及其n組條件機率分配(conditional probability distributions, or CPDs)的性質。舉例而言,貝氏網路可用來表示疾病和其相關症狀間的機率關係;倘若已知某種症狀下,貝氏網路就可用來計算各種可能罹患疾病之發生機率。 一般而言,貝氏網路的有向無環圖中的節點表示隨機變數,它們可以是可觀察到的變量,抑或是潛在變量、未知參數等。連接兩個節點的箭頭代表此兩個隨機變數是具有因果關係或是非條件獨立的;而两个節點間若沒有箭頭相互連接一起的情況就稱其隨機變數彼此間為條件獨立。若兩個節點間以一個單箭頭連接在一起,表示其中一個節點是「因(parents)」,另一個是「果(descendants or children)」,兩節點就會產生一個條件機率值。比方說,我們以X_i表示第i個節點,而X_i的「因」以P_i表示,X_i的「果」以C_i表示;圖一就是一種典型的貝氏網路結構圖,依照先前的定義,我們就可以輕易的從圖一可以得知: 大部分的情況下,貝氏網路適用在節點的性質是屬於離散型的情況下,且依照P(X_i|P_i)此條件機率寫出條件機率表(conditional probability table, or CPT),此條件機率表的每一--(row)列出所有可能發生的P_i,每一--(column)列出所有可能發生的X_i,且任一--的機率總和必為1。寫出條件機率表後就很容易將事情給條理化,且輕易地得知此貝氏網路結構圖中各節點間之因果關係;但是條件機率表也有其缺點:若是節點X_i是由很多的「因」所造成的「果」,如此條件機率表就會變得在計算上既複雜又使用不便。下圖為圖一貝氏網路中某部分結構圖之條件機率表。.
Β分布
在概率论中,Β分布也称贝塔分布,是指一组定义在(0,1)区间的连续概率分布,有两个参数\alpha, \beta>0。.
查看 隐含狄利克雷分布和Β分布
概率分布
概率分布(Wahrscheinlichkeitsverteilung,probability distribution)或簡稱分布,是概率論的一個概念。使用時可以有以下兩種含義:.
最大似然估计
在统计学中,最大似然估计(maximum likelihood estimation,缩写为MLE),也称最大概似估计,是用来估计一个概率模型的参数的一种方法。.
文本挖掘
文本挖掘有时也被称为文字探勘、文本数据挖掘等,大致相当于文字分析,一般指文本处理过程中产生高质量的信息。高质量的信息通常通过分类和预测来产生,如模式识别。文本挖掘通常涉及输入文本的处理过程(通常进行分析,同时加上一些衍生语言特征以及消除杂音,随后插入到数据库中) ,产生结构化数据,并最终评价和解释输出。'高品质'的文本挖掘通常是指某种组合的相关性,新颖性和趣味性。典型的文本挖掘方法包括文本分类,文本聚类,概念/实体挖掘,生产精确分类,观点分析,文档摘要和实体关系模型(即,学习已命名实体之间的关系) 。 文本分析包括了信息检索、词典分析来研究词语的频数分布、模式识别、标签\注释、信息抽取,数据挖掘技术包括链接和关联分析、可视化和预测分析。本质上,首要的任务是,通过自然语言处理(NLP)和分析方法,将文本转化为数据进行分析。.