信息和信息论

快捷方式: 差异，相似，杰卡德相似系数，参考。

信息和信息论之间的区别

信息 vs. 信息论

信息（英語：Information），又稱情報，是一个严谨的科学术语，其定义不统一，是由它的极端复杂性决定的，獲取信息的主要方法為六何法。信息的表现形式多不胜数：声音、图片、温度、体积、颜色……信息的类別也不计其数：电子信息、财经信息、天气信息、生物信息……。 在熱力學中，信息是指任何會影響系統的熱力學狀態的事件。 信息可以減少不確定性。事件的不確定性是以其發生機率來量測，發生機率越高，不確定性越低，事件的不確定性越高，越需要額外的信息減少其不確定性。位元是典型的，但也可以使用像納特之類的單位，例如投擲一個公正的硬幣，其信息為log2(2/1). 信息论（information theory）是应用数学、電機工程學和计算机科学的一个分支，涉及信息的量化、存储和通信等。信息论是由克劳德·香农发展，用来找出信号处理与通信操作的基本限制，如数据压缩、可靠的存储和数据传输等。自创立以来，它已拓展应用到许多其他领域，包括统计推断、自然语言处理、密码学、神经生物学、进化论和分子编码的功能、生态学的模式选择、热物理、量子计算、语言学、剽窃检测、模式识别、异常检测和其他形式的数据分析。 熵是信息的一个关键度量，通常用一条消息中需要存储或传输一个的平均比特数来表示。熵衡量了预测随机变量的值时涉及到的不确定度的量。例如，指定擲硬幣的结果（两个等可能的结果）比指定掷骰子的结果（六个等可能的结果）所提供的信息量更少（熵更少）。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信道编码定理、信源－信道隔离定理相互联系。 信息论的基本内容的应用包括无损数据压缩（如ZIP文件）、有损数据压缩（如MP3和JPEG）、信道编码（如DSL））。这个领域处在数学、统计学、计算机科学、物理学、神经科学和電機工程學的交叉点上。信息论对航海家深空探测任务的成败、光盘的发明、手机的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的了解，以及许多其他领域都影响深远。信息论的重要子领域有信源编码、信道编码、算法复杂性理论、算法信息论、資訊理論安全性和信息度量等。.

克劳德·香农

克劳德·艾尔伍德·香农（Claude Elwood Shannon，），美国数学家、电子工程师和密码学家，被誉为信息论的创始人。 香农是密西根大學學士，麻省理工學院博士。 1948年，香农发表了划时代的论文——通信的数学原理，奠定了现代信息论的基础。不仅如此，香农还被认为是数字计算机理论和数字电路设计理论的创始人。1937年，21岁的香农是麻省理工學院的硕士研究生，他在其硕士论文中提出，将布尔代数应用于电子领域，能够构建并解决任何逻辑和数值关系，被誉为有史以来最具水平的硕士论文之一。二战期间，香农为军事领域的密码分析——密码破译和保密通信——做出了很大贡献。.

信息和克劳德·香农 · 信息论和克劳德·香农 · 查看更多 »

熵

化學及热力学中所谓熵（entropy），是一種測量在動力學方面不能做功的能量總數，也就是當總體的熵增加，其做功能力也下降，熵的量度正是能量退化的指標。熵亦被用於計算一個系統中的失序現象，也就是計算該系統混亂的程度。熵是一个描述系统状态的函数，但是经常用熵的参考值和变化量进行分析比较，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。.

信息和熵 · 信息论和熵 · 查看更多 »

熵 (信息论)

在信息论中，熵（entropy）是接收的每条消息中包含的信息的平均量，又被稱為信息熵、信源熵、平均自信息量。这里，“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）来自信源的另一个特征是样本的概率分布。这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息。由于一些其他的原因，把信息（熵）定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量，这个随机变量的均值（即期望）就是这个分布产生的信息量的平均值（即熵）。熵的单位通常为比特，但也用Sh、nat、Hart计量，取决于定义用到对数的底。 采用概率分布的对数作为信息的量度的原因是其可加性。例如，投掷一次硬币提供了1 Sh的信息，而掷m次就为m位。更一般地，你需要用log2(n)位来表示一个可以取n个值的变量。 在1948年，克劳德·艾尔伍德·香农將熱力學的熵，引入到信息论，因此它又被稱為香农熵。.

信息和熵 (信息论) · 信息论和熵 (信息论) · 查看更多 »

物理学

物理學（希臘文Φύσις，自然）是研究物質、能量的本質與性質，以及它們彼此之間交互作用的自然科學。由於物質與能量是所有科學研究的必須涉及的基本要素，所以物理學是自然科學中最基礎的學科之一。物理學是一種實驗科學，物理學者從觀測與分析大自然的各種基於物質與能量的現象來找出其中的模式。這些模式（假說）稱為「物理理論」，經得起實驗檢驗的常用物理理論稱為物理定律，直到有一天被證明是有錯誤為止(具可否證性)。物理學是由這些定律精緻地建構而成。物理學是自然科學中最基礎的學科之一。化學、生物學、考古學等等科學學術領域的理論都是建構於這些物理定律。 物理學是最古老的學術之一。物理學、化學、生物學等等原本都歸屬於自然哲學的範疇，直到十七世紀至十九世紀期間，才漸漸地從自然哲學中分別成長為獨立的學術領域。物理學與其它很多跨領域研究有相當的交集，如量子化學、生物物理學等等。物理學的疆界並不是固定不變的，物理學裡的創始突破時常可以用來解釋這些跨領域研究的基礎機制，有時還會開啟嶄新的跨領域研究。 通過創建新理論與發展新科技，物理學對於人類文明有極為顯著的貢獻。例如，由於電磁學的快速發展，電燈、電動機、家用電器等新產品纷纷涌现，人類社會的生活水平也得到大幅提升。由於核子物理學日趨成熟，核能發電已不再是藍圖構想，但其所引致的安全問題也使人們意識到地球環境、生態與人類的脆弱渺小。.

信息和物理学 · 信息论和物理学 · 查看更多 »

概率

--率，舊稱--率，又称或然率、機會率或--、可能性，是数学概率论的基本概念，是一个在0到1之间的实数，是对随机事件发生之可能性的度量。 概率常用來量化對於某些不確定命題的想法"Kendall's Advanced Theory of Statistics, Volume 1: Distribution Theory", Alan Stuart and Keith Ord, 6th Ed, (2009), ISBN 978-0-534-24312-8，命題一般會是以下的形式：「某個特定事件會發生嗎？」，對應的想法則是：「我們可以多確定這個事件會發生？」。確定的程度可以用0到1之間的數值來表示，這個數值就是機率William Feller, "An Introduction to Probability Theory and Its Applications", (Vol 1), 3rd Ed, (1968),Wiley,ISBN 978-0-471-25708-0。因此若事件發生的機率越高，表示我們越認為這個事件可能發生。像丟銅板就是一個簡單的例子，正面朝上及背面朝上的兩種結果看來機率相同，每個的機率都是1/2，也就是正面朝上及背面朝上的機率各有50%。 這些概念可以形成機率論中的數學公理（參考概率公理），在像數學、統計學、金融、博弈論、科學（特別是物理）、人工智慧/機器學習、電腦科學及哲學等學科中都會用到。機率論也可以描述複雜系統中的內在機制及規律性。.

信息和概率 · 信息论和概率 · 查看更多 »

有噪信道编码定理

在信息论，有噪信道编码定理指出，尽管噪声会干扰通信信道，但还是有可能在信息传输速率小于信道容量的前提下，以任意低的错误概率传送数据信息。这个令人惊讶的结果，有时候被称为信息原理基本定理，也叫做香农-哈特利定理或香农定理，是由克劳德·艾尔伍德·香农于1948年首次提出。 通信信道的信道容量或香农限制是指在指定的噪音标准下，信道理论上的最大传输率。.

信息和有噪信道编码定理 · 信息论和有噪信道编码定理 · 查看更多 »