信息论和熵

快捷方式: 差异，相似，杰卡德相似系数，参考。

信息论和熵之间的区别

信息论 vs. 熵

信息论（information theory）是应用数学、電機工程學和计算机科学的一个分支，涉及信息的量化、存储和通信等。信息论是由克劳德·香农发展，用来找出信号处理与通信操作的基本限制，如数据压缩、可靠的存储和数据传输等。自创立以来，它已拓展应用到许多其他领域，包括统计推断、自然语言处理、密码学、神经生物学、进化论和分子编码的功能、生态学的模式选择、热物理、量子计算、语言学、剽窃检测、模式识别、异常检测和其他形式的数据分析。 熵是信息的一个关键度量，通常用一条消息中需要存储或传输一个的平均比特数来表示。熵衡量了预测随机变量的值时涉及到的不确定度的量。例如，指定擲硬幣的结果（两个等可能的结果）比指定掷骰子的结果（六个等可能的结果）所提供的信息量更少（熵更少）。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信道编码定理、信源－信道隔离定理相互联系。 信息论的基本内容的应用包括无损数据压缩（如ZIP文件）、有损数据压缩（如MP3和JPEG）、信道编码（如DSL））。这个领域处在数学、统计学、计算机科学、物理学、神经科学和電機工程學的交叉点上。信息论对航海家深空探测任务的成败、光盘的发明、手机的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的了解，以及许多其他领域都影响深远。信息论的重要子领域有信源编码、信道编码、算法复杂性理论、算法信息论、資訊理論安全性和信息度量等。. 化學及热力学中所谓熵（entropy），是一種測量在動力學方面不能做功的能量總數，也就是當總體的熵增加，其做功能力也下降，熵的量度正是能量退化的指標。熵亦被用於計算一個系統中的失序現象，也就是計算該系統混亂的程度。熵是一个描述系统状态的函数，但是经常用熵的参考值和变化量进行分析比较，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。.

熵 (信息论)

在信息论中，熵（entropy）是接收的每条消息中包含的信息的平均量，又被稱為信息熵、信源熵、平均自信息量。这里，“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）来自信源的另一个特征是样本的概率分布。这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息。由于一些其他的原因，把信息（熵）定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量，这个随机变量的均值（即期望）就是这个分布产生的信息量的平均值（即熵）。熵的单位通常为比特，但也用Sh、nat、Hart计量，取决于定义用到对数的底。 采用概率分布的对数作为信息的量度的原因是其可加性。例如，投掷一次硬币提供了1 Sh的信息，而掷m次就为m位。更一般地，你需要用log2(n)位来表示一个可以取n个值的变量。 在1948年，克劳德·艾尔伍德·香农將熱力學的熵，引入到信息论，因此它又被稱為香农熵。.

信息论和熵 (信息论) · 熵和熵 (信息论) · 查看更多 »

物理学

物理學（希臘文Φύσις，自然）是研究物質、能量的本質與性質，以及它們彼此之間交互作用的自然科學。由於物質與能量是所有科學研究的必須涉及的基本要素，所以物理學是自然科學中最基礎的學科之一。物理學是一種實驗科學，物理學者從觀測與分析大自然的各種基於物質與能量的現象來找出其中的模式。這些模式（假說）稱為「物理理論」，經得起實驗檢驗的常用物理理論稱為物理定律，直到有一天被證明是有錯誤為止(具可否證性)。物理學是由這些定律精緻地建構而成。物理學是自然科學中最基礎的學科之一。化學、生物學、考古學等等科學學術領域的理論都是建構於這些物理定律。 物理學是最古老的學術之一。物理學、化學、生物學等等原本都歸屬於自然哲學的範疇，直到十七世紀至十九世紀期間，才漸漸地從自然哲學中分別成長為獨立的學術領域。物理學與其它很多跨領域研究有相當的交集，如量子化學、生物物理學等等。物理學的疆界並不是固定不變的，物理學裡的創始突破時常可以用來解釋這些跨領域研究的基礎機制，有時還會開啟嶄新的跨領域研究。 通過創建新理論與發展新科技，物理學對於人類文明有極為顯著的貢獻。例如，由於電磁學的快速發展，電燈、電動機、家用電器等新產品纷纷涌现，人類社會的生活水平也得到大幅提升。由於核子物理學日趨成熟，核能發電已不再是藍圖構想，但其所引致的安全問題也使人們意識到地球環境、生態與人類的脆弱渺小。.

信息论和物理学 · 熵和物理学 · 查看更多 »

路德维希·玻尔兹曼

路德维希·爱德华·玻尔兹曼（Ludwig Eduard Boltzmann ，）是一位奥地利物理学家和哲学家。作为一名物理学家，他最伟大的功绩是发展了通过原子的性质（例如，原子量，电荷量，结构等等）来解释和预测物质的物理性质（例如，粘性，热传导，扩散等等）的统计力学，并且从统计概念出發，完美地阐释了热力学第二定律。.

信息论和路德维希·玻尔兹曼 · 熵和路德维希·玻尔兹曼 · 查看更多 »

黑洞

黑洞（英文：black hole）是根據廣義相對論所推論、在宇宙空間中存在的一種質量相當大的天體和星體（並非是一般認知的「洞」概念）。黑洞是由質量足够大的恒星在核聚变反应的燃料耗盡後，發生引力坍缩而形成。黑洞的質量是如此之大，它产生的引力场是如此之强，以致于大量可測物质和辐射都无法逃逸，就連传播速度極快的光子也逃逸不出來。由于类似热力学上完全不反射光线的黑体，故名黑洞。在黑洞的周圍，是一個無法偵測的事件視界，標誌著無法返回的臨界點，而在黑洞中心有一個密度趨近於無限的奇異點。 當恆星內部氫元素全部核融合完畢時，因燃料用完無法抵抗自身重力而開始向內塌陷，但隨著壓力越來越高，內部的重元素會重新開始燃燒導致瞬間膨脹，這時恆星的體積將暴增至原先的數十倍至百倍，這便是紅巨星，質量更大的恆星則會發生超新星爆炸，無論是紅巨星或是超新星，都會將外部物質全部吹飛，直到連重元素也燒完時，重力又會使得恆星繼續向內塌陷，最後形成一顆與月球差不多大小的白矮星，質量稍大的恆星則會形成中子星，會放出規律的電磁波，至於質量更大的恆星則會繼續塌陷，強大的重力使周圍的空間產生扭曲，最後形成一個密度每立方公分約一億噸的天體:「黑洞」。直至目前為止，所發現質量最小的黑洞大約有3.8倍太陽質量。 黑洞無法直接觀測，但可以藉由間接方式得知其存在與質量，並且觀測到它對其他事物的影響。藉由物體被吸入之前因高熱而放出紫外線和X射線的「邊緣訊息」，可以獲取黑洞的存在的訊息。推測出黑洞的存在也可藉由間接觀測恆星或星際雲氣團繞行黑洞軌跡，來取得位置以及質量。 黑洞是天文物理史上，最引人注目的題材之一，在科幻小說、電影甚至報章媒體經常可見將黑洞作為素材。迄今，黑洞的存在已得到天文學界和物理學界的绝大多數研究者所認同，並且天文界不時提出於宇宙中觀測到已存在的黑洞。 根據英國物理學者史蒂芬·霍金於2014年1月26日的論據：愛因斯坦的重力方程式的兩種奇點的解，分別是黑洞跟白洞。不過理論上黑洞應該是一種「有進沒出」的天體，而白洞則只能出而不能進。然而黑洞卻有粒子的輻射，所以不再適合稱其名為黑洞，而應該改其名為「灰洞」，先前認為黑洞可以毀滅資訊情報的看法，是他「最大的失誤」。.

信息论和黑洞 · 熵和黑洞 · 查看更多 »