徽标
联盟百科
通讯
下载应用,请到 Google Play
新! 在您的Android™设备上下载联盟百科!
安装
比浏览器更快的访问!
 

信息论

指数 信息论

信息论(information theory)是应用数学、電機工程學和计算机科学的一个分支,涉及信息的量化、存储和通信等。信息论是由克劳德·香农发展,用来找出信号处理与通信操作的基本限制,如数据压缩、可靠的存储和数据传输等。自创立以来,它已拓展应用到许多其他领域,包括统计推断、自然语言处理、密码学、神经生物学、进化论和分子编码的功能、生态学的模式选择、热物理、量子计算、语言学、剽窃检测、模式识别、异常检测和其他形式的数据分析。 熵是信息的一个关键度量,通常用一条消息中需要存储或传输一个的平均比特数来表示。熵衡量了预测随机变量的值时涉及到的不确定度的量。例如,指定擲硬幣的结果(两个等可能的结果)比指定掷骰子的结果(六个等可能的结果)所提供的信息量更少(熵更少)。 信息论将信息的传递作为一种统计现象来考虑,给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信道编码定理、信源-信道隔离定理相互联系。 信息论的基本内容的应用包括无损数据压缩(如ZIP文件)、有损数据压缩(如MP3和JPEG)、信道编码(如DSL))。这个领域处在数学、统计学、计算机科学、物理学、神经科学和電機工程學的交叉点上。信息论对航海家深空探测任务的成败、光盘的发明、手机的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的了解,以及许多其他领域都影响深远。信息论的重要子领域有信源编码、信道编码、算法复杂性理论、算法信息论、資訊理論安全性和信息度量等。.

62 关系: 加密健壮性 (计算机科学)可读性双射吉布斯密码学互信息互联网应用数学估计理论异常检测信号处理信道容量信道编码信息信息学哈里·奈奎斯特光碟克劳德·香农前向錯誤更正噪声皮爾森卡方檢定神经科学移动电话算法信息论统计学编码理论生态学电信熵 (信息论)物理学DSL随机变量计算机科学语言学資訊理論安全性贝叶斯定理路德维希·玻尔兹曼黑洞航海家計畫量子计算自然语言处理英语電機工程學通信JPEGMP3ZIP格式柯氏复杂性...概率模式识别波茲曼常數波茲曼熵公式有噪信道编码定理有损数据压缩无损数据压缩擲硬幣数学数据压缩数据传输数据分析 扩展索引 (12 更多) »

加密

在密码学中,加密(Encryption)是将明文信息改變為難以讀取的密文內容,使之不可读的过程。只有擁有解密方法的對象,經由解密過程,才能將密文還原為正常可讀的內容。.

新!!: 信息论和加密 · 查看更多 »

健壮性 (计算机科学)

计算机科学中,健壮性(Robustness)是指一个计算机系统在执行过程中处理错误,以及算法在遭遇输入、运算等异常时继续正常运行的能力。 诸如模糊测试之类的形式化方法中,必须通过制造错误的或不可预期的输入来验证程序的健壮性。很多商业产品都可用来测试软件系统的健壮性。健壮性也是失效评定分析中的一个方面。.

新!!: 信息论和健壮性 (计算机科学) · 查看更多 »

可读性

按英文的字母顺序排列如下:.

新!!: 信息论和可读性 · 查看更多 »

双射

數學中,一個由集合X映射至集合Y的函數,若對每一在Y內的y,存在唯一一個在X內的x与其对应,則此函數為對射函數。 換句話說,f為雙射的若其為兩集合間的一一對應,亦即同時為單射和滿射。 例如,由整數集合\Z至\Z的函數\operatorname,其將每一個整數x連結至整數\operatorname(x).

新!!: 信息论和双射 · 查看更多 »

吉布斯

#重定向 约西亚·威拉德·吉布斯.

新!!: 信息论和吉布斯 · 查看更多 »

密码学

密碼學(Cryptography)可分为古典密码学和现代密码学。在西欧語文中,密码学一词源於希臘語kryptós“隱藏的”,和gráphein“書寫”。古典密码学主要关注信息的保密书写和传递,以及与其相对应的破译方法。而现代密码学不只关注信息保密问题,还同时涉及信息完整性验证(消息验证码)、信息发布的不可抵赖性(数字签名)、以及在分布式计算中产生的来源于内部和外部的攻击的所有信息安全问题。古典密码学与现代密码学的重要区别在于,古典密码学的编码和破译通常依赖于设计者和敌手的创造力与技巧,作为一种实用性艺术存在,并没有对于密码学原件的清晰定义。而现代密码学则起源于20世纪末出现的大量相关理论,这些理论使得现代密码学成为了一种可以系统而严格地学习的科学。 密码学是数学和计算机科学的分支,同时其原理大量涉及信息论。著名的密碼學者罗纳德·李维斯特解釋道:「密碼學是關於如何在敵人存在的環境中通訊」,自工程學的角度,這相當于密碼學與純數學的差异。密碼學的发展促進了计算机科学,特別是在於電腦與網路安全所使用的技術,如存取控制與資訊的機密性。密碼學已被應用在日常生活:包括自动柜员机的晶片卡、電腦使用者存取密碼、電子商務等等。.

新!!: 信息论和密码学 · 查看更多 »

互信息

在概率论和信息论中,两个随机变量的互信息(Mutual Information,简称MI)或转移信息(transinformation)是变量间相互依赖性的量度。不同于相关系数,互信息并不局限于实值随机变量,它更加一般且决定着联合分布 p(X,Y) 和分解的边缘分布的乘积 p(X)p(Y) 的相似程度。互信息是(PMI)的期望值。互信息最常用的单位是bit。.

新!!: 信息论和互信息 · 查看更多 »

互联网

互联网(Internet),是網路與網路之間所串連成的龐大網路,這些網路以一組標準的網路TCP/IP协议族相連,連接全世界幾十億個設備,形成邏輯上的單一巨大國際網络。,它是由從地方到全球範圍內幾百萬個私人的、學術界的、企業的和政府的網络所構成,通過電子,無線和光纖網絡技術等等一系列廣泛的技術聯繫在一起。这种将计算机网络互相联接在一起的方法可称作「网络互联」,在這基础上发展出覆蓋全世界的全球性互联網絡稱互聯網,即是互相連接一起的网络。互聯網並不等同万维网(WWW),万维网只是一個基於超文本相互鏈接而成的全球性系統,且是互聯網所能提供的服務其中之一。互聯網帶有範圍廣泛的信息資源和服務,例如相互關聯的超文本文件,还有萬維網的應用,支持電子郵件的基礎設施,對等網絡,文件共享,以及IP電話服務。.

新!!: 信息论和互联网 · 查看更多 »

应用数学

應用數學(Applied Mathematics)是以應用為目的的明確的數學理論和方法的總稱,研究如何應用數學知識到其他範疇(尤其是科學)的數學分支,可以說是純數學的相反,應用純數學中的結論擴展到物理學等其他科學中,應用數學的發展是以科學為依據,作為科學研究的後盾。包括線性代數、矩陣理論、向量分析、複變分析、微分方程、拉普拉斯變換、傅里葉分析、數值分析、概率论、數理統計、運籌學、博弈論、控制理論、組合數學、資訊理論等許多數學分支,也包括從各種應用領域中提出的數學問題的研究。而大部分應用數學是以作為物理分析的工具。計算數學有時也可視為應用數學的一部分。應用數學大部分的教學範疇都是以物理的模型為基礎進行分析,當中或許搭配了各種數學工具,就為了更貼近物理的系統。 圖論應用在網絡分析,拓撲學在電路分析上的應用,群論在結晶學上的應用,微分幾何在規範場上的應用,自動控制理論在計算上的應用,黎曼幾何應用於相對論,數理邏輯應用於計算機,最小二乘法應用於飛機起降時自動控制,利用數字合成計算機輔助的X射線斷層成像技術(1979年數學家獲得諾貝爾醫學獎)數論應用在密碼學,博弈論、概率論、統計學應用在經濟學,線性規劃用於生產安排調度,都可見數學在不同範疇的應用。.

新!!: 信息论和应用数学 · 查看更多 »

估计理论

估计理论是统计学和信号处理中的一个分支,主要是通过测量或经验数据来估计概率分布参数的数值。这些参数描述了实质情况或实际对象,它们能够回答估计函数提出的问题。 例如,估计投票人总体中,给特定候选人投票的人的比例。这个比例是一个不可观测的参数,因为投票人总体很大;估计值建立在投票者的一个小的随机采样上。 又如,雷达的目的是物体(飞机、船等)的定位。这种定位是通过分析收到的回声(回波)来实现的,定位提出的问题是“飞机在哪里?”为了回答这个问题,必须估计飞机到雷达之间的距离。如果雷达的绝对位置是已知的,那么飞机的绝对位置也是可以确定的。 在估计理论中,通常假定信息隐藏在包含雜訊的信号中。噪声增加了不确定性,如果没有不确定性,那么也就没有必要估计了。.

新!!: 信息论和估计理论 · 查看更多 »

异常检测

在数据挖掘中,异常检测(anomaly detection)对不符合预期模式或中其他项目的项目、事件或观测值的识别。 通常异常项目会转变成、结构缺陷、医疗问题、文本错误等类型的问题。异常也被称为离群值、新奇、噪声、偏差和例外。 特别是在检测滥用与网络入侵时,有趣性对象往往不是罕见对象,但却是超出预料的突发活动。这种模式不遵循通常统计定义中把异常点看作是罕见对象,于是许多异常检测方法(特别是无监督的方法)将对此类数据失效,除非进行了合适的聚集。相反,聚类分析算法可能可以检测出这些模式形成的微聚类。 有三大类异常检测方法。 在假设数据集中大多数实例都是正常的前提下,无监督异常检测方法能通过寻找与其他数据最不匹配的实例来检测出未标记测试数据的异常。监督式异常检测方法需要一个已经被标记“正常”与“异常”的数据集,并涉及到训练分类器(与许多其他的统计分类问题的关键区别是异常检测的内在不均衡性)。半监督式异常检测方法根据一个给定的正常训练数据集建立一个表示正常行为的模型,然后检测由学习模型生成的测试实例的可能性。.

新!!: 信息论和异常检测 · 查看更多 »

信号处理

在计算机科学、药物分析、电子学等学科中,信号处理(signal processing)是指对信号表示、变换、运算等进行处理的过程。 信号处理可以用于沟通人类之间,或人与机器之间的联系;用以探测我们周围的环境,并揭示出那些不易观察到的状态和构造细节,以及用来控制和利用能源与信息.例如,我们可能希望分开两个或多个多少有些混在一起的信号,或者想增强信号模型中的某些成分或参数。 几十年来,信号处理在诸如语音与資料通訊、生物医学工程、声学、声呐、雷达、地震、石油勘探、仪器仪表、机器人、日用电子产品以及其它很多的这样一些广泛的领域内起着关键的作用。.

新!!: 信息论和信号处理 · 查看更多 »

信道容量

在電機工程學、電腦科學、資訊理論中,--(Channel capacity,又譯--)是指在一個信道中能夠可靠地傳送資訊时可达速率的最小上界。所谓可靠传输指的是可以以任意小的错误率传递信息。根据有噪信道编码定理,信道容量是可以误差概率任意小地达到的给定信道的极限信息率。信道容量的单位为比特每秒、奈特每秒等等。 香农在第二次世界大战期间发展出信息论,為--提了定义,並且提供了计算信道容量的数学模型。香农指出,--是信道的输入与输出的互信息量的最大值,而相应的输入分布称为最佳输入分布。.

新!!: 信息论和信道容量 · 查看更多 »

信道编码

在计算机科学领域,信道编码(channel code)被广泛用作表示编码错误监测和纠正的术语,有时候也可以在通信和存储领域用作表示数字调制方式。信道编码用来在数据传输的时候保护数据,还可以在出现错误的时候来恢复数据。 设计和分析信道编码的原理叫做噪音信道编码定理。.

新!!: 信息论和信道编码 · 查看更多 »

信息

信息(英語:Information),又稱情報,是一个严谨的科学术语,其定义不统一,是由它的极端复杂性决定的,獲取信息的主要方法為六何法。信息的表现形式多不胜数:声音、图片、温度、体积、颜色……信息的类別也不计其数:电子信息、财经信息、天气信息、生物信息……。 在熱力學中,信息是指任何會影響系統的熱力學狀態的事件。 信息可以減少不確定性。事件的不確定性是以其發生機率來量測,發生機率越高,不確定性越低,事件的不確定性越高,越需要額外的信息減少其不確定性。位元是典型的,但也可以使用像納特之類的單位,例如投擲一個公正的硬幣,其信息為log2(2/1).

新!!: 信息论和信息 · 查看更多 »

信息学

信息学,旧称情报学(外來語),主要是指以信息为研究对象,利用计算机及其程序设计等技术为研究工具来分析问题、解决问题的学问,是以扩展人类的信息功能为主要目标的一门综合性学科。.

新!!: 信息论和信息学 · 查看更多 »

哈里·奈奎斯特

哈里·奈奎斯特(Harry Nyquist,Harry Theodor Nyqvist,),瑞典裔美國物理學家,通訊理論的奠基者之一。.

新!!: 信息论和哈里·奈奎斯特 · 查看更多 »

光碟

--(Optical disc),又譯作--,於1965年由美國人發明,當時所儲存的格式仍以模拟(Analog)為主。它是用激光扫描的记录和读出方式保存信息的一种介质。大約在1990年代左右時開始普及,具有存放大量資料的特性,1片12cm的CD-R約可存放1小時的MPEG1的影片,或74分鐘的音樂,或680MB的資料。.

新!!: 信息论和光碟 · 查看更多 »

克劳德·香农

克劳德·艾尔伍德·香农(Claude Elwood Shannon,),美国数学家、电子工程师和密码学家,被誉为信息论的创始人。 香农是密西根大學學士,麻省理工學院博士。 1948年,香农发表了划时代的论文——通信的数学原理,奠定了现代信息论的基础。不仅如此,香农还被认为是数字计算机理论和数字电路设计理论的创始人。1937年,21岁的香农是麻省理工學院的硕士研究生,他在其硕士论文中提出,将布尔代数应用于电子领域,能够构建并解决任何逻辑和数值关系,被誉为有史以来最具水平的硕士论文之一。二战期间,香农为军事领域的密码分析——密码破译和保密通信——做出了很大贡献。.

新!!: 信息论和克劳德·香农 · 查看更多 »

前向錯誤更正

前向錯誤更正(forward error correction,缩写FEC)或信道编码(channel coding)是一種在單向通信系統中控制传输錯誤的技術,通過連同數據發送額外的資訊進行錯誤恢復,以降低比特误码率。FEC又分为带内FEC和带外FEC。FEC的處理往往發生在早期階段處理後的數字信號是第一次收到。也就是說,糾錯電路往往是不可分割的一部分的模擬到數字的轉換過程中,還涉及數字調製解調,或線路編碼和解碼。 FEC是通過添加冗餘信息的傳輸採用預先確定的算法。1949年汉明(Hamming)提出了可纠正单个随机差错的汉明码。1960年Hoopueghem、Bose和Chaudhum發明了BCH码,Reed與Solomon又提出ReedSolomon(RS)编码,纠错能力很强,後來稱之為里德-所罗门误码校正编码(The reed-solomon error correction code,即後來的附加的前向纠错)。ITU-T G.975/G.709規定了“带外FEC”是在SDH层下面增加一FEC层,专门處理FEC的問題。带外FEC编码冗余度大,纠错能力較强。FEC有別於ARQ,發現错误无须通知发送方重發。一旦系統丢失了原始的數據封包,FEC機制可以以冗餘封包加以補入。例如有一數據封包為“10”,分成二個封包,分别为“1”和“0”,有一冗餘封包“0”,收到任意兩個封包就能组装出原始的包。但這些冗餘封包也會產生額外負擔。.

新!!: 信息论和前向錯誤更正 · 查看更多 »

噪声

#重定向 噪音.

新!!: 信息论和噪声 · 查看更多 »

皮爾森卡方檢定

尔森卡方--(Pearson's chi-squared test)是最有名卡方檢定之一(其他常用的卡方檢定還有、、等等--它們的統計值之機率分配都近似於卡方分配,故稱卡方檢定)。「皮爾森卡方檢定」最早由卡爾·皮爾森在1900年發表, 用於的檢定。科學文獻中,當提及卡方檢定而沒有特別指明類型時,通常即指皮爾森卡方檢定。 --.

新!!: 信息论和皮爾森卡方檢定 · 查看更多 »

神经科学

經科學(neuroscience),又稱神經生物學,是專門研究神經系統的結構、功能、发育、演化、遗传学、生物化學、生理學、藥理學及病理學的一门科学。對行為及學習的研究都是神經科學的分支。 對人腦研究是個跨領域的範疇,當中涉及分子層面、細胞層面、神經小組、大型神經系統,如視覺神經系統、腦幹、腦皮層。 最高層次的研究就是結合認知科學成為認知神經科學,其專家被稱為認知心理學家。一些研究人員相信認知神經科學提供對思維及知覺的全面了解,甚至可以代替心理學。 神经科学致力于科学地研究神经系统。尽管神经科学学会成立于1969年,但是对于大脑的研究很早就已经开始。传统的神经科学是生物科学的一个分支。其研究范围包括对神经系统的结构,功能,进化史,发育,遗传,生理学,药理学和病理学研究,近年来神经科学的研究深度有了突破性成長,开始与其他学科有了越来越多的交叉与融合,如认知和神经心理学,精神疾病學,计算机科学,生物信息学,计算神经生物学,统计学,物理学,生物化学,犯罪學,医学科学和哲学陸續加入研究行列。 暫時最關心的課題是: .

新!!: 信息论和神经科学 · 查看更多 »

移动电话

行動電話,又稱「手提式電話機」或「手提電話」,簡稱「手--機」,是可以在較廣範圍内使用的可攜式電話,與固定電話(座機)相對。1990年代中期以前價格昂貴,只有極少部分經濟實力較佳的人才買得起,而且體積龐大,因此又有大哥大的俗稱。1990年代後期大幅降價,如今已成為現代人日常不可或缺的電子用品之一。 目前在全球範圍内使用最廣是的第三代行動通訊技術。在台湾和中國大陸以GSM和LTE最為普及。第二代移动通信技术以GSM為主,它是數位制式的,除了可以進行語音通信以外,還可以收發短信、MMS、無線應用協議等。目前整個行業正在向第三代和第四代行動通訊技術遷移。 手機外觀上一般都應該包括至少一個液晶顯示器和一套按鍵,現時採用觸控式螢幕的手機減少了按鍵。現代的手機除了典型的電話功能外,還包含了個人數位助理、遊戲機、MP3、照相機、錄音機、GPS和連接網際網路等更多功能,它們都概括性地統稱作智慧型手機。.

新!!: 信息论和移动电话 · 查看更多 »

算法信息论

算法信息论(Algorithmic information theory)是使用理论计算机科学的工具,研究复杂性概念的学科领域。它是信息理論的一環,关注計算與信息之間的關係。按照Gregory Chaitin的说法,它是“把香农的信息论和图灵的可计算论放在调酒杯使劲摇晃的结果。” Category:信息论 Category:隨機性.

新!!: 信息论和算法信息论 · 查看更多 »

统计学

统计学是在資料分析的基础上,研究测定、收集、整理、归纳和分析反映數據資料,以便给出正确訊息的科學。這一门学科自17世纪中叶产生并逐步发展起来,它廣泛地應用在各門學科,從自然科学、社會科學到人文學科,甚至被用於工商業及政府的情報決策。隨著大数据(Big Data)時代來臨,統計的面貌也逐漸改變,與資訊、計算等領域密切結合,是資料科學(Data Science)中的重要主軸之一。 譬如自一組數據中,可以摘要並且描述這份數據的集中和離散情形,這個用法稱作為描述統計學。另外,觀察者以數據的形態,建立出一個用以解釋其隨機性和不確定性的數學模型,以之來推論研究中的步驟及母體,這種用法被稱做推論統計學。這兩種用法都可以被稱作為應用統計學。數理統計學则是討論背後的理論基礎的學科。.

新!!: 信息论和统计学 · 查看更多 »

编码理论

编码理论(Coding theory)是研究编码的性质以及它们在具体应用中的性能的理论。编码用于数据压缩、加密、,最近也用于网络编码中。不同学科(如信息论、電機工程學、数学以及计算机科学)都研究编码是为了设计出高效、可靠的数据传输方法。这通常需要去除冗余并校正(或检测)数据传输中的错误。 编码共分四类:.

新!!: 信息论和编码理论 · 查看更多 »

生态学

德國生物學家恩斯特·海克爾(左)和丹麦植物学家尤金纽斯·瓦尔明(右),两位生態学的建立者 生态学(Ökologie),是德国生物学家恩斯特·海克尔于1866年定义的一个概念:生态学是研究生物体与其周围环境(包括非生物环境和生物环境)相互关系的科学。德语Ökologie(最初:Oecologie)是由希腊语词汇Οικοθ(家)和Λογοθ(学科)组成的,意思是“研究居住在同一自然环境中的动物(Lebewesen)的学科”,目前已经发展为“研究生物与其环境之间的相互关系的科学”。环境包括生物环境和非生物环境,生物环境是指生物物种之间和物种内部各个体之间的关系,非生物环境包括自然环境:土壤、岩石、水、空气、温度、湿度等。 在1935年英国的Tansley提出了生态系统的概念之后,美国的年轻学者Lindeman在对Mondota湖生态系统详细考察之后提出了生态金字塔能量转换的“十分之一定律”,也就是同一條食物鏈上各營養級之間能量的轉化效率平均大約為百分之十左右。由此,生态学成为一门有自己的研究对象、任务和方法的比较完整和独立的学科。近年来,生态学已经创立了自己独立研究的理论主体,即从生物个体与环境直接影响的小环境到生态系统不同层级的有机体与环境关系的理论。它们的研究方法经过描述——实验——物质定量三个过程。系统论、控制论、信息论的概念和方法的引入,促进了生态学理论的发展。如今,由于与人类生存与发展的紧密相关而产生了多个生态学的研究热点,如生物多样性的研究、全球气候变化的研究、受损生态系统的恢复与重建研究、可持续发展研究等。 生态学是生物学的一个分支,生物学的研究对象向微观和宏观两个方面发展,微观方面向分子生物学方向发展,生态学是向研究宏观方向发展的分支,是以生物个体、种群、群落、生态系统直到整个生物圈作为它的研究对象。生态学也是一个综合性的学科,需要利用地质学、地理学、气象学、土壤学、化学、物理学等各方面的研究方法和知识,是将生物群落和其生活的环境作为一个互相之间不断地进行物质循环和能量流动的整体来进行研究。.

新!!: 信息论和生态学 · 查看更多 »

电信

电--信或称电--讯(Telecommunication),是用电磁设备实现的利用有线电、无线电或光传输信息的通信方式。电信起源于19世纪发明的有线电报和有线电话,20世纪无线电的发明以及电子管、晶体管和集成电路的出现和发展把电信带入了全新的发展时期,无线电报、广播、电视、卫星通信、数据通信、光纤通信、因特网等技术的应用使人类社会开始发生深刻的变化。.

新!!: 信息论和电信 · 查看更多 »

化學及热力学中所谓熵(entropy),是一種測量在動力學方面不能做功的能量總數,也就是當總體的熵增加,其做功能力也下降,熵的量度正是能量退化的指標。熵亦被用於計算一個系統中的失序現象,也就是計算該系統混亂的程度。熵是一个描述系统状态的函数,但是经常用熵的参考值和变化量进行分析比较,它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用,在不同的学科中也有引申出的更为具体的定义,是各领域十分重要的参量。.

新!!: 信息论和熵 · 查看更多 »

熵 (信息论)

在信息论中,熵(entropy)是接收的每条消息中包含的信息的平均量,又被稱為信息熵、信源熵、平均自信息量。这里,“消息”代表来自分布或数据流中的事件、样本或特征。(熵最好理解为不确定性的量度而不是确定性的量度,因为越随机的信源的熵越大。)来自信源的另一个特征是样本的概率分布。这里的想法是,比较不可能发生的事情,当它发生了,会提供更多的信息。由于一些其他的原因,把信息(熵)定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量,这个随机变量的均值(即期望)就是这个分布产生的信息量的平均值(即熵)。熵的单位通常为比特,但也用Sh、nat、Hart计量,取决于定义用到对数的底。 采用概率分布的对数作为信息的量度的原因是其可加性。例如,投掷一次硬币提供了1 Sh的信息,而掷m次就为m位。更一般地,你需要用log2(n)位来表示一个可以取n个值的变量。 在1948年,克劳德·艾尔伍德·香农將熱力學的熵,引入到信息论,因此它又被稱為香农熵。.

新!!: 信息论和熵 (信息论) · 查看更多 »

物理学

物理學(希臘文Φύσις,自然)是研究物質、能量的本質與性質,以及它們彼此之間交互作用的自然科學。由於物質與能量是所有科學研究的必須涉及的基本要素,所以物理學是自然科學中最基礎的學科之一。物理學是一種實驗科學,物理學者從觀測與分析大自然的各種基於物質與能量的現象來找出其中的模式。這些模式(假說)稱為「物理理論」,經得起實驗檢驗的常用物理理論稱為物理定律,直到有一天被證明是有錯誤為止(具可否證性)。物理學是由這些定律精緻地建構而成。物理學是自然科學中最基礎的學科之一。化學、生物學、考古學等等科學學術領域的理論都是建構於這些物理定律。 物理學是最古老的學術之一。物理學、化學、生物學等等原本都歸屬於自然哲學的範疇,直到十七世紀至十九世紀期間,才漸漸地從自然哲學中分別成長為獨立的學術領域。物理學與其它很多跨領域研究有相當的交集,如量子化學、生物物理學等等。物理學的疆界並不是固定不變的,物理學裡的創始突破時常可以用來解釋這些跨領域研究的基礎機制,有時還會開啟嶄新的跨領域研究。 通過創建新理論與發展新科技,物理學對於人類文明有極為顯著的貢獻。例如,由於電磁學的快速發展,電燈、電動機、家用電器等新產品纷纷涌现,人類社會的生活水平也得到大幅提升。由於核子物理學日趨成熟,核能發電已不再是藍圖構想,但其所引致的安全問題也使人們意識到地球環境、生態與人類的脆弱渺小。.

新!!: 信息论和物理学 · 查看更多 »

DSL

#重定向 数字用户线路.

新!!: 信息论和DSL · 查看更多 »

随机变量

給定樣本空间(S, \mathbb),如果其上的實值函數 X:S \to \mathbb是\mathbb (實值)可測函數,则稱X為(實值)随机变量。初等概率論中通常不涉及到可測性的概念,而直接把任何X:S \to \mathbb的函數稱為随机变量。 如果X指定给概率空间S中每一个事件e有一个实数X(e),同时针对每一个实数r都有一个事件集合A_r与其相对应,其中A_r.

新!!: 信息论和随机变量 · 查看更多 »

计算机科学

计算机科学用于解决信息与计算的理论基础,以及实现和应用它们的实用技术。 计算机科学(computer science,有时缩写为CS)是系统性研究信息与计算的理论基础以及它们在计算机系统中如何与应用的实用技术的学科。 它通常被形容为对那些创造、描述以及转换信息的算法处理的系统研究。计算机科学包含很多分支领域;有些强调特定结果的计算,比如计算机图形学;而有些是探討计算问题的性质,比如计算复杂性理论;还有一些领域專注于怎样实现计算,比如程式語言理論是研究描述计算的方法,而程式设计是应用特定的程式語言解决特定的计算问题,人机交互则是專注于怎样使计算机和计算变得有用、好用,以及随时随地为人所用。 有时公众会误以为计算机科学就是解决计算机问题的事业(比如信息技术),或者只是与使用计算机的经验有关,如玩游戏、上网或者文字处理。其实计算机科学所关注的,不仅仅是去理解实现类似游戏、浏览器这些软件的程序的性质,更要通过现有的知识创造新的程序或者改进已有的程序。 尽管计算机科学(computer science)的名字里包含计算机这几个字,但实际上计算机科学相当数量的领域都不涉及计算机本身的研究。因此,一些新的名字被提议出来。某些重点大学的院系倾向于术语计算科学(computing science),以精确强调两者之间的不同。丹麦科学家Peter Naur建议使用术语"datalogy",以反映这一事实,即科学学科是围绕着数据和数据处理,而不一定要涉及计算机。第一个使用这个术语的科学机构是哥本哈根大学Datalogy学院,该学院成立于1969年,Peter Naur便是第一任教授。这个术语主要被用于北欧国家。同时,在计算技术发展初期,《ACM通讯》建议了一些针对计算领域从业人员的术语:turingineer,turologist,flow-charts-man,applied meta-mathematician及applied epistemologist。 三个月后在同样的期刊上,comptologist被提出,第二年又变成了hypologist。 术语computics也曾经被提议过。在欧洲大陆,起源于信息(information)和数学或者自动(automatic)的名字比起源于计算机或者计算(computation)更常见,如informatique(法语),Informatik(德语),informatika(斯拉夫语族)。 著名计算机科学家Edsger Dijkstra曾经指出:“计算机科学并不只是关于计算机,就像天文学并不只是关于望远镜一样。”("Computer science is no more about computers than astronomy is about telescopes.")设计、部署计算机和计算机系统通常被认为是非计算机科学学科的领域。例如,研究计算机硬件被看作是计算机工程的一部分,而对于商业计算机系统的研究和部署被称为信息技术或者信息系统。然而,现如今也越来越多地融合了各类计算机相关学科的思想。计算机科学研究也经常与其它学科交叉,比如心理学,认知科学,语言学,数学,物理学,统计学和经济学。 计算机科学被认为比其它科学学科与数学的联系更加密切,一些观察者说计算就是一门数学科学。 早期计算机科学受数学研究成果的影响很大,如Kurt Gödel和Alan Turing,这两个领域在某些学科,例如数理逻辑、范畴论、域理论和代数,也不断有有益的思想交流。.

新!!: 信息论和计算机科学 · 查看更多 »

语言学

语言学(linguistics)是一门关于人类语言的科学研究。语言学包含了几种分支领域。在语言结构(语法)研究与意义(语义与语用)研究之间存在一个重要的主题划分。语法中包含了词法(单词的形成与组成),句法(决定单词如何组成短语或句子的规则)以及语音(声音系统与抽象声音单元的研究)。语音学是语言学的一个相关分支,它涉及到语音(phone)与非语音声音的实际属性,以及它们是如何发出与被接收到的。 與学习語言不同,语言学是研究所有人类语文發展有關的一門學術科目(通常只有根据语言,非文字)。传统上,语言学是文化人类学的分支学科,但是现在语言学越来越独立了。语言学研究句法和词语等语言的描述,也研究语言的发展史。 语言学其他的附属科目包括以下:.

新!!: 信息论和语言学 · 查看更多 »

資訊理論安全性

一個密碼系統具有資訊理論安全性(Information-theoretic security),意思是說它的安全性完全是以資訊理論為基礎的。這種安全性要求即使攻擊者有無限的計算能力也不能破解它。由於一定要使對手根本沒有足夠的資訊來破解,所以這些密碼系統被認為是不能以密碼分析破解的。關於計算強度有一些不能證明的假設,具有資訊理論安全性的加密協議不依靠這種假設,所以當未來電腦有新的發展,例如量子計算,它不容易受到影響。一個具有資訊理論安全性的例子是一次性密碼本。資訊理論安全性通信的概念是在1949年由資訊理論的發明者,美國數學家克勞德·夏農提出來,並用來證明一次性密碼本的系統是安全的。具有資訊理論安全性的密碼系統已被用於最敏感的政府通訊,因為敵方政府會盡最大努力試圖破解。 有一個有趣的特例是完善保密性:密碼系統產生的密文,在沒有密鑰的情況下,除了總長度以外,不可能洩漏任何有關明文的資訊。這其實就是一次性密碼本的保密原理。如果 E 是一個具有完善保密性的加密函數,就任何已知的明文 m 對每個密文 c 至少存在一個密鑰 k 滿足 c.

新!!: 信息论和資訊理論安全性 · 查看更多 »

贝叶斯定理

贝叶斯定理(Bayes' theorem)是概率论中的一个定理,它跟随机变量的条件概率以及边缘概率分布有关。在有些关于概率的解释中,贝叶斯定理(贝叶斯公式)能够告知我们如何利用新证据修改已有的看法。這個名稱來自於托马斯·贝叶斯。 通常,事件A在事件B(发生)的条件下的概率,与事件B在事件A(发生)的条件下的概率是不一样的。然而,这两者是有确定的关系的,贝叶斯定理就是这种关系的陈述。贝叶斯公式的一个用途在于通过已知的三个概率函数推出第四个。 作为一个普遍的原理,贝叶斯定理对于所有概率的解释是有效的。然而,频率主义者和贝叶斯主义者对于“在应用中,某个随机事件的概率该如何被赋值?”这个问题有着不同的看法:频率主义者根据随机事件发生的频率,或者总体样本裡面的发生的个数来赋值概率;贝叶斯主义者则根据未知的命题来赋值概率。这样的理念导致贝叶斯主义者有更多的机会使用贝叶斯定理。.

新!!: 信息论和贝叶斯定理 · 查看更多 »

路德维希·玻尔兹曼

路德维希·爱德华·玻尔兹曼(Ludwig Eduard Boltzmann ,)是一位奥地利物理学家和哲学家。作为一名物理学家,他最伟大的功绩是发展了通过原子的性质(例如,原子量,电荷量,结构等等)来解释和预测物质的物理性质(例如,粘性,热传导,扩散等等)的统计力学,并且从统计概念出發,完美地阐释了热力学第二定律。.

新!!: 信息论和路德维希·玻尔兹曼 · 查看更多 »

黑洞

黑洞(英文:black hole)是根據廣義相對論所推論、在宇宙空間中存在的一種質量相當大的天體和星體(並非是一般認知的「洞」概念)。黑洞是由質量足够大的恒星在核聚变反应的燃料耗盡後,發生引力坍缩而形成。黑洞的質量是如此之大,它产生的引力场是如此之强,以致于大量可測物质和辐射都无法逃逸,就連传播速度極快的光子也逃逸不出來。由于类似热力学上完全不反射光线的黑体,故名黑洞。在黑洞的周圍,是一個無法偵測的事件視界,標誌著無法返回的臨界點,而在黑洞中心有一個密度趨近於無限的奇異點。 當恆星內部氫元素全部核融合完畢時,因燃料用完無法抵抗自身重力而開始向內塌陷,但隨著壓力越來越高,內部的重元素會重新開始燃燒導致瞬間膨脹,這時恆星的體積將暴增至原先的數十倍至百倍,這便是紅巨星,質量更大的恆星則會發生超新星爆炸,無論是紅巨星或是超新星,都會將外部物質全部吹飛,直到連重元素也燒完時,重力又會使得恆星繼續向內塌陷,最後形成一顆與月球差不多大小的白矮星,質量稍大的恆星則會形成中子星,會放出規律的電磁波,至於質量更大的恆星則會繼續塌陷,強大的重力使周圍的空間產生扭曲,最後形成一個密度每立方公分約一億噸的天體:「黑洞」。直至目前為止,所發現質量最小的黑洞大約有3.8倍太陽質量。 黑洞無法直接觀測,但可以藉由間接方式得知其存在與質量,並且觀測到它對其他事物的影響。藉由物體被吸入之前因高熱而放出紫外線和X射線的「邊緣訊息」,可以獲取黑洞的存在的訊息。推測出黑洞的存在也可藉由間接觀測恆星或星際雲氣團繞行黑洞軌跡,來取得位置以及質量。 黑洞是天文物理史上,最引人注目的題材之一,在科幻小說、電影甚至報章媒體經常可見將黑洞作為素材。迄今,黑洞的存在已得到天文學界和物理學界的绝大多數研究者所認同,並且天文界不時提出於宇宙中觀測到已存在的黑洞。 根據英國物理學者史蒂芬·霍金於2014年1月26日的論據:愛因斯坦的重力方程式的兩種奇點的解,分別是黑洞跟白洞。不過理論上黑洞應該是一種「有進沒出」的天體,而白洞則只能出而不能進。然而黑洞卻有粒子的輻射,所以不再適合稱其名為黑洞,而應該改其名為「灰洞」,先前認為黑洞可以毀滅資訊情報的看法,是他「最大的失誤」。.

新!!: 信息论和黑洞 · 查看更多 »

航海家計畫

航海家計畫(--,Voyager program)是美國的無人太空探測衛星計畫,包括航海家1號與航海家2號探測衛星。它們都在1977年發射,並從1970年代末開始探測太陽系的行星。雖然航海家計畫一開始只設計針對木星與土星來進行探測,不過這兩個衛星最終都抵達太陽系邊緣,並持續傳回相關資訊。航海家1號與2號目前仍持續朝太陽系外前進,而航海家1號則是目前距離地球最遠的人造物體。 航海家1號與2號衛星都獲得大量關於太陽系氣體行星的資料,大幅增加天文學家對於它們的認識。而衛星軌道的變化也被科學家用來研究海王星外天體的存在。.

新!!: 信息论和航海家計畫 · 查看更多 »

量子计算

#重定向 量子计算机.

新!!: 信息论和量子计算 · 查看更多 »

自然语言处理

自然語言處理(natural language processing,缩写作 NLP)是人工智慧和語言學領域的分支學科。此領域探討如何處理及運用自然語言;自然語言認知則是指讓電腦「懂」人類的語言。 自然語言生成系統把計算機數據轉化為自然語言。自然語言理解系統把自然語言轉化為計算機程序更易于處理的形式。.

新!!: 信息论和自然语言处理 · 查看更多 »

英语

英语(English,)是一种西日耳曼语言,诞生于中世纪早期的英格兰,如今具有全球通用语的地位。“英语”一词源于迁居英格兰的日耳曼部落盎格鲁(Angles),而“盎格鲁”得名于临波罗的海的半岛盎格里亚(Anglia)。弗里西语是与英语最相近的语言。英语词汇在中世纪早期受到了其他日耳曼族语言的大量影响,后来受罗曼族语言尤其是法语的影响。英语是将近六十个国家唯一的官方语言或官方语言之一,也是全世界最多國家的官方語言。它是英国、美国、加拿大、澳大利亚、爱尔兰和新西兰最常用的语言,也在加勒比、非洲及南亚的部分地区被广泛使用。它是世界上母语人口第三多的语言,仅次于汉语和西班牙语。英语是学习者最多的第二外语跟學習者最多的第一外語,是联合国、欧盟和许多其他国际组织的官方语言。它是使用最广泛的日耳曼族语言,至少70%的日耳曼语族使用者说英语。 英语有1400多年的发展史。公元5世纪,盎格魯-撒克遜人把他们的各种盎格鲁-弗里西语方言带到了大不列顛島,它们被称为古英语。中古英语始于11世纪后期的诺曼征服,这一时期英语受到了法语的影响。15世纪末伦敦对印刷机的采用、《钦定版圣经》的出版及元音大推移标志了近代英语的开端。通过大英帝国对全球的影响,现代英语在17世纪至20世纪中叶传播到了世界各地。通过各种印刷和电子媒体,随着美国取得全球超级大国地位,英语已经成为了国际对话中居领导地位的世界語言。它还是许多地区和行业(如科学、导航、法律等)的通用语。 现代英语和很多其他语言相比屈折变化较少,更多地依靠助動詞和语序来表达复杂的时态、体和语气,以及被動語態、疑问和一些否定。英语的各种口音和方言在发音和音位方面有显著差异,有时它们的词汇、语法和拼法也有所不同,但世界各地说英语的人能基本无碍地沟通交流。.

新!!: 信息论和英语 · 查看更多 »

電機工程學

電機工程學是以電子學、電磁學等物理学分支为基础,涵盖電子學、電子計算機、電力工程、电信、控制工程、訊號處理等子领域的一門工程學。十九世紀後半期以來,隨著電報、電話、電能在供應與使用方面的商業化,該學科逐漸發展為相對獨立的專業領域。 電機工程廣義上涵蓋該領域的分支,但在有些地方,「電機工程學」(Electrical Engineering)一詞的意義有時不包括「電子工程學」(Electronic Engineering)。 這個情況下,「電機工程學」是指涉及到大能量的電力系統(如電能傳輸、重型電機機械及電動機),而「電子工程」則是指處理小信號的電子系統(如計算機和積體電路)。 另一種區分法為,電力工程師著重於電能的傳輸,而電子工程師則著重於利用電子訊號進行資訊的傳輸。這些子領域的範圍有時也會重疊:例如,電力電子學使用電力電子元件對電能進行變換和控制;又如,智慧電網偵測電能供應者的電能供應狀況與一般家庭使用者的電能使用狀況,并据之調整家電用品的耗電量,以此达到节约能源、降低损耗、增强輸電網路可靠性的目的。因此,電機工程亦函蓋電子工程部分領域的專業知識。.

新!!: 信息论和電機工程學 · 查看更多 »

通信

通信是發送者通过某種媒體以某種格式來傳遞信息到收信者以達致某個目的。在古代,人們通過驛站、飛鴿傳書、烽火報警、符號、語言、眼神、觸碰等方式進行信息傳遞。到了今天,隨著科技水平的飛速發展,通訊基本完全利用有線或無線電完成,相繼出現了有線電話、固定電話、無線電話、手機、網際網路甚至視訊電話等各種通訊方式。通訊技術拉近了人與人之間的距離,提高了通訊的效率,深刻的改變了人類的通訊。交流也是一種方法讓其他人理解你。.

新!!: 信息论和通信 · 查看更多 »

JPEG

在電腦中,JPEG(發音為jay-peg, IPA:)是一種針對相片影像而廣泛使用的失真壓縮標準方法。這個名稱代表Joint Photographic Experts Group(聯合圖像專家小組)。此團隊創立於1986年,1992年發布了JPEG的標準而在1994年獲得了ISO 10918-1的認定。JPEG與視訊音訊壓縮標準的MPEG(Moving Picture Experts Group)很容易混淆,但兩者是不同的組織及標準。 JPEG本身只有描述如何將一個影像轉換為字节的數據串流(streaming),但並沒有說明這些位元組如何在任何特定的儲存媒體上被封存起來。JPEG的壓縮方式通常是破壞性資料壓縮(lossy compression),意即在壓縮過程中圖像的品質會遭受到可見的破壞,有一種以JPEG為基礎的標準Lossless JPEG是採用無失真的壓縮方式,但Lossless JPEG並沒有受到廣泛的支援。 一個由C-Cube Microsystems等公司所建立的額外標準,稱為JFIF(JPEG File Interchange Format,JPEG檔案交換格式)詳細說明如何從一個JPEG串流,產出一個適合於電腦儲存和傳輸(像是在網際網路上)的檔案。在普遍的用法,當有人稱呼一個"JPEG檔案",一般而言他是意指一個JFIF檔案,或有時候是一個Exif JPEG檔案。然而,也有其他以JPEG為基礎的檔案格式,像是JNG。 使用JPEG格式壓縮的圖片檔案一般也被稱為JPEG Files,最普遍被使用的副檔名格式.jpg,其他常用的副檔名還包括.jpeg、.jpe、.jfif以及.jif。JPEG格式的資料也能被嵌進其他類型的檔案格式中,像是TIFF類型的檔案格式。 JPEG/JFIF是全球資訊網(World Wide Web)上最普遍的被用來儲存和傳輸照片的格式。它並不適合於線條繪圖(drawing)和其他文字或圖示(iconic)的圖形,因為它的壓縮方法用在這些类型的圖形上,得到的結果并不好(PNG和GIF通常是用來存储这类的圖形;GIF每个像素只有8位元,並不很適合於存储彩色照片,PNG可以無失真地儲存照片,但是檔案太大的缺点讓它不太适合在網路上传输)。 對於JFIF的MIME媒體类型是image/jpeg(定義于RFC 1341)。.

新!!: 信息论和JPEG · 查看更多 »

MP3

动态图像专家组-1或动态图像专家组-2 音频层III(MPEG-1 or MPEG-2 Audio Layer III),经常称为MP3,是当今相當流行的一种数字音频编码和有损压缩格式,它被设计来大幅降低音频数据量,它舍弃PCM音讯资料中,对人类听觉不重要的资料,从而达到了压缩成较小的档案。而对于大多数用户的聽覺感受来说,MP3的音质与最初的不压缩音频相比没有明显的下降。它是在1991年,由位于德国埃爾朗根的研究組織Fraunhofer-Gesellschaft的一组工程师发明和标准化的。MP3的普及,曾對音樂產業造成衝擊與影響。.

新!!: 信息论和MP3 · 查看更多 »

ZIP格式

ZIP文件格式是一种数据压缩和文档储存的文件格式,原名Deflate,发明者为菲尔·卡茨(Phil Katz),他于1989年1月公布了该格式的资料。ZIP通常使用后缀名“.zip”,它的MIME格式为application/zip。目前,ZIP格式属于几种主流的压缩格式之一,其竞争者包括RAR格式以及开放源码的7z格式。从性能上比较,RAR及7z格式较ZIP格式压缩率较高,而7-Zip由于提供了免费的压缩工具而逐渐在更多的领域得到应用。Microsoft从Windows ME操作系统开始内置对zip格式的支持,即使用户的电脑上没有安装解压缩软件,也能打开和制作zip格式的压缩文件,OS X和流行的Linux操作系统也对zip格式提供了类似的支持。因此如果在网络上传播和分发文件,zip格式往往是最常用的选择。.

新!!: 信息论和ZIP格式 · 查看更多 »

柯氏复杂性

在算法信息论(计算机科学和数学的一个分支)中,一个对象比如一段文字的柯氏复杂性(亦作柯尔莫哥洛夫复杂性、描述复杂性、柯尔莫哥洛夫-复杂度、随机复杂度,或算法熵)是衡量描述这个对象所需要的信息量的一个尺度。柯氏复杂性是由安德雷·柯尔莫哥洛夫于1963年发现,所以用他的名字命名。 以下面的两个长度为64的字符串为例。 第一个字符串可以用中文简短地描述为“重复32个‘01’”。第二个字符串没有明显的简短描述。 一个字符串s的柯氏复杂性(C(s)或者K(s),区别如后)是这个字符串的最短描述的长度。换言之,一个字符串s的柯氏复杂性是能够输出且仅输出这个字符串的最短计算机/图灵机程序的长度。 这样的定义导致在使用不同的描述语言或者不同的图灵机的时候柯氏复杂性不一样。所以在讨论柯氏复杂性的时候,通常都事先固定一个通用图灵机U作为参照。可以证明在使用U做参照的时候,对任意的图灵机M,都存在一个仅决定于U和M的常数c_M使得对所有的字符串s相对于U的柯氏复杂性C_U(或者K_U)和相对于M的柯氏复杂性C_M(或者K_M)都满足 不难证明,任何字符串的柯氏复杂度都不会比字符串自身的长度超过太多。类似与上文中的0101字符串,它的柯氏复杂度和字符串的长度关系不大,因此并不复杂。 與康托尔的对角论证法、哥德尔不完备定理和图灵的停机问题類似,柯氏复杂度的概念可以用于阐述和证明不可能性。.

新!!: 信息论和柯氏复杂性 · 查看更多 »

概率

--率,舊稱--率,又称或然率、機會率或--、可能性,是数学概率论的基本概念,是一个在0到1之间的实数,是对随机事件发生之可能性的度量。 概率常用來量化對於某些不確定命題的想法"Kendall's Advanced Theory of Statistics, Volume 1: Distribution Theory", Alan Stuart and Keith Ord, 6th Ed, (2009), ISBN 978-0-534-24312-8,命題一般會是以下的形式:「某個特定事件會發生嗎?」,對應的想法則是:「我們可以多確定這個事件會發生?」。確定的程度可以用0到1之間的數值來表示,這個數值就是機率William Feller, "An Introduction to Probability Theory and Its Applications", (Vol 1), 3rd Ed, (1968),Wiley,ISBN 978-0-471-25708-0。因此若事件發生的機率越高,表示我們越認為這個事件可能發生。像丟銅板就是一個簡單的例子,正面朝上及背面朝上的兩種結果看來機率相同,每個的機率都是1/2,也就是正面朝上及背面朝上的機率各有50%。 這些概念可以形成機率論中的數學公理(參考概率公理),在像數學、統計學、金融、博弈論、科學(特別是物理)、人工智慧/機器學習、電腦科學及哲學等學科中都會用到。機率論也可以描述複雜系統中的內在機制及規律性。.

新!!: 信息论和概率 · 查看更多 »

模式识别

模式识别(Pattern recognition),就是通过计算机用数学技术方法来研究模式的自动处理和判读。我们把环境与客体统称为“模式”。随着计算机技术的发展,人类有可能研究复杂的信息处理过程。信息处理过程的一个重要形式是生命体对环境及客体的识别。对人类来说,特别重要的是对光学信息(通过视觉器官来获得)和声学信息(通过听觉器官来获得)的识别。这是模式识别的两个重要方面。市场上可见到的代表性产品有光学字符识别、语音识别系统。 计算机识别的显著特点是速度快、准确性高、效率高,在将来完全可以取代人工录入。 识别过程与人类的学习过程相似。以光學字元識別之“汉字识别”为例:首先将汉字图像进行处理,抽取主要表达特征并将特征与汉字的代码存在计算机中。就像老师教我们「这个字叫什么、如何写」记在大脑中。这一过程叫做“训练”。识别过程就是将输入的汉字图像经处理后与计算机中的所有字进行比较,找出最相近的字就是识别结果。这一过程叫做“匹配”。.

新!!: 信息论和模式识别 · 查看更多 »

波茲曼常數

波茲曼常數(Boltzmann constant)是有關於溫度及能量的一個物理常數,常用 k 或 k_B 表示,以纪念奧地利物理學家路德維希·波茲曼在統計力學领域做出的重大貢獻。數值及單位為:(SI制,2014 CODATA 值) 括號內為誤差值,原則上玻尔兹曼常數為導出的物理常數,其值由其他物理常數及絕對溫度單位的定義所決定。 氣體常數 R 是波茲曼常數 k 乘上阿伏伽德罗常數 N_A: k.

新!!: 信息论和波茲曼常數 · 查看更多 »

波茲曼熵公式

波茲曼熵公式是統計力學的重要公式,是熱力學機率 W與代表系統亂度的熵之間的關係,公式為; 其中kB是波茲曼常數(也可寫成k),大小為1.38065 × 10−23 J/K.

新!!: 信息论和波茲曼熵公式 · 查看更多 »

有噪信道编码定理

在信息论,有噪信道编码定理指出,尽管噪声会干扰通信信道,但还是有可能在信息传输速率小于信道容量的前提下,以任意低的错误概率传送数据信息。这个令人惊讶的结果,有时候被称为信息原理基本定理,也叫做香农-哈特利定理或香农定理,是由克劳德·艾尔伍德·香农于1948年首次提出。 通信信道的信道容量或香农限制是指在指定的噪音标准下,信道理论上的最大传输率。.

新!!: 信息论和有噪信道编码定理 · 查看更多 »

有损数据压缩

--(英文:lossy compression)是一种数据压缩方法,经过此方法压缩、解压的数据會与原始数据不同但是非常接近。它是与无损数据压缩相对的压缩方法。--又稱--、有损压缩、失真压缩、不可逆壓縮。 --藉由将次要的--捨棄,犧牲一些质量來减少数据量、提高压缩比。这种方法经常用于压缩多媒体数据(音频、视频、图片),尤其常用於流媒体以及互联网电话领域。根据各种格式设计的不同,有损数据压缩都会有代间损失——每次压缩与解压文件都会带来渐进的质量下降。.

新!!: 信息论和有损数据压缩 · 查看更多 »

无损数据压缩

无损数据壓縮(Lossless Compression)指数据经过压缩后,信息不受损失,还能完全恢复到压缩前的原样。「無損」一詞是相對於有損數據壓縮,有損數據壓縮只允許一個近似原始數據進行重建,以換取更好的壓縮率。 無損壓縮通常用於嚴格要求「經過壓縮、解壓縮的資料必須與原始資料一致」的場合。典型的例子包括文字文件、程式執行檔、程式原始碼。有些圖片檔案格式,例如PNG和GIF,使用的是無損壓縮。其他例如TIFF、MNG則可以採用無損或有損壓縮。無損音訊格式最常用於歸檔或製作用途。有損音訊格式則常用於攜帶型播放器或儲存空間受限制的裝置,或不要求音訊完全還原的情況。.

新!!: 信息论和无损数据压缩 · 查看更多 »

擲硬幣

擲毫或擲硬幣、擲銅板是一種把硬幣彈到空中,透過它落下來後所顯示的結果(落下來後是正面向上還是反面向上),來解決事情的一種方法。 硬币有两面,是一个天然的二进制系统,利用掷硬币人们可以得到一组随机的二进制数字,有些人會把它作为做判断的參考,例如球賽由哪一方先發球,或先選哪半邊場作賽。.

新!!: 信息论和擲硬幣 · 查看更多 »

数学

数学是利用符号语言研究數量、结构、变化以及空间等概念的一門学科,从某种角度看屬於形式科學的一種。數學透過抽象化和邏輯推理的使用,由計數、計算、量度和對物體形狀及運動的觀察而產生。數學家們拓展這些概念,為了公式化新的猜想以及從選定的公理及定義中建立起嚴謹推導出的定理。 基礎數學的知識與運用總是個人與團體生活中不可或缺的一環。對數學基本概念的完善,早在古埃及、美索不達米亞及古印度內的古代數學文本便可觀見,而在古希臘那裡有更為嚴謹的處理。從那時開始,數學的發展便持續不斷地小幅進展,至16世紀的文藝復興時期,因为新的科學發現和數學革新兩者的交互,致使數學的加速发展,直至今日。数学并成为許多國家及地區的教育範疇中的一部分。 今日,數學使用在不同的領域中,包括科學、工程、醫學和經濟學等。數學對這些領域的應用通常被稱為應用數學,有時亦會激起新的數學發現,並導致全新學科的發展,例如物理学的实质性发展中建立的某些理论激发数学家对于某些问题的不同角度的思考。數學家也研究純數學,就是數學本身的实质性內容,而不以任何實際應用為目標。雖然許多研究以純數學開始,但其过程中也發現許多應用之处。.

新!!: 信息论和数学 · 查看更多 »

数据压缩

在计算机科学和信息论中,数据压缩或者源编码是按照特定的编码机制用比未经编码少的数据位元(或者其它信息相关的单位)表示信息的过程。例如,如果我们将「compression」编码为「comp」那么这篇文章可以用较少的数据位表示。常見的例子是ZIP文件格式,此格式不仅仅提供压缩功能,还可作为归档工具(Archiver),能够将许多文件存储到同一个文件中。.

新!!: 信息论和数据压缩 · 查看更多 »

数据传输

数据传输,数字传输,或数字通信是数据(数码比特流)在一个点对点或点对多点通信的物理传输管道。這樣的管道包括双绞线、光纤、无线通信频道、存储设备及電腦匯流排。数据本身以一種电磁信号代表,如电压、无线电波、微波或红外线信号。 模拟通信用于传输连续变化的模拟信号,数字通信则用于传输离散消息。运用一个数字调制方法,离散消息可表示为一系列脉冲通过一个线路码(基带传输),或一组有限的连续变化波形(通带传输)。通带调制与相应的解调(也被称为检出)通过调制解调器设备实现。依照数字信号最常见的定义,通常以基带与通带两种信号表示的比特流被认为是数据传输。另一种定义中则只考虑到基带信号,而数据的通带传输作为一种形式的数模转换。 数据传输可以是从数据源始发的数字信息,例如一台计算机或一个键盘。也可以是将一个模拟信号如电话或视频信号数字化至一个比特流,例如使用脉冲编码调制(PCM)或更进一步的数据压缩(数模转换与数据压缩)方案。这种信源的编解码是通过编解码器设备所进行的。.

新!!: 信息论和数据传输 · 查看更多 »

数据分析

資料分析是一类统计方法,其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系,并绘制出统计信息图,以更简洁的解释这些数据中包含的主要信息。其他一些用于收集数据,以便弄清哪些是同质的,从而更好地了解数据。 資料分析可以处理大量数据,并确定这些数据最有用的部分。本学科近年来的成功,很大程度上是因为制图技术的提高。这些图可以通过直接分析数据,来突出难以捕捉的关系;更重要的是,这些表达方法与基于现象分布的“先验”观念无关,与经典统计方法正相反。 資料分析的数学基础在20世纪早期就已确立,但直到计算机的出现才使得实际操作成为可能,并使得資料分析得以推广。資料分析是数学与计算机科学相结合的产物。 若是以固定时间为資料分析的颗粒单位,则称为时间序列分析,是主要作为销售数据商业分析的方法之一。 Category:数据分析 Category:科學方法.

新!!: 信息论和数据分析 · 查看更多 »

重定向到这里:

消息理論資訊理論

传出传入
嘿!我们在Facebook上吧! »