信息和熵

快捷方式: 差异，相似，杰卡德相似系数，参考。

信息和熵之间的区别

信息 vs. 熵

信息（英語：Information），又稱情報，是一个严谨的科学术语，其定义不统一，是由它的极端复杂性决定的，獲取信息的主要方法為六何法。信息的表现形式多不胜数：声音、图片、温度、体积、颜色……信息的类別也不计其数：电子信息、财经信息、天气信息、生物信息……。 在熱力學中，信息是指任何會影響系統的熱力學狀態的事件。 信息可以減少不確定性。事件的不確定性是以其發生機率來量測，發生機率越高，不確定性越低，事件的不確定性越高，越需要額外的信息減少其不確定性。位元是典型的，但也可以使用像納特之類的單位，例如投擲一個公正的硬幣，其信息為log2(2/1). 化學及热力学中所谓熵（entropy），是一種測量在動力學方面不能做功的能量總數，也就是當總體的熵增加，其做功能力也下降，熵的量度正是能量退化的指標。熵亦被用於計算一個系統中的失序現象，也就是計算該系統混亂的程度。熵是一个描述系统状态的函数，但是经常用熵的参考值和变化量进行分析比较，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。.

信息论

信息论（information theory）是应用数学、電機工程學和计算机科学的一个分支，涉及信息的量化、存储和通信等。信息论是由克劳德·香农发展，用来找出信号处理与通信操作的基本限制，如数据压缩、可靠的存储和数据传输等。自创立以来，它已拓展应用到许多其他领域，包括统计推断、自然语言处理、密码学、神经生物学、进化论和分子编码的功能、生态学的模式选择、热物理、量子计算、语言学、剽窃检测、模式识别、异常检测和其他形式的数据分析。 熵是信息的一个关键度量，通常用一条消息中需要存储或传输一个的平均比特数来表示。熵衡量了预测随机变量的值时涉及到的不确定度的量。例如，指定擲硬幣的结果（两个等可能的结果）比指定掷骰子的结果（六个等可能的结果）所提供的信息量更少（熵更少）。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信道编码定理、信源－信道隔离定理相互联系。 信息论的基本内容的应用包括无损数据压缩（如ZIP文件）、有损数据压缩（如MP3和JPEG）、信道编码（如DSL））。这个领域处在数学、统计学、计算机科学、物理学、神经科学和電機工程學的交叉点上。信息论对航海家深空探测任务的成败、光盘的发明、手机的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的了解，以及许多其他领域都影响深远。信息论的重要子领域有信源编码、信道编码、算法复杂性理论、算法信息论、資訊理論安全性和信息度量等。.

信息和信息论 · 信息论和熵 · 查看更多 »

热力学

热力学，全稱熱動力學（thermodynamique，Thermodynamik，thermodynamics，源於古希腊语θερμός及δύναμις）是研究热现象中物态转变和能量转换规律的学科；它着重研究物质的平衡状态以及与準平衡态的物理、化学过程。热力学定義許多巨觀的物理量（像溫度、內能、熵、壓強等），描述各物理量之間的關係。热力学描述數量非常多的微觀粒子的平均行為，其定律可以用統計力學推導而得。 熱力學可以總結為四條定律。 熱力學第零定律定義了温度這一物理量，指出了相互接觸的两个系統，熱流的方向。 熱力學第一定律指出内能這一物理量的存在，並且與系統整體運動的動能和系統与與環境相互作用的位能是不同的，區分出熱與功的轉換。 熱力學第二定律涉及的物理量是温度和熵。熵是研究不可逆过程引入的物理量，表征系統通過熱力學過程向外界最多可以做多少熱力學功。 熱力學第三定律認為，不可能透過有限過程使系統冷却到絕對零度。 熱力學可以應用在許多科學及工程的領域中，例如：引擎、相變化、化學反應、輸運現象甚至是黑洞。熱力學計算的結果不但對物理的其他領域很重要，對航空工程、航海工程、車輛工程、機械工程、細胞生物學、生物醫學工程、化學、化學工程及材料科學等科學技術領域也很重要，甚至也可以應用在經濟學中。 热力学是从18世纪末期发展起来的理论，主要是研究功與热量之間的能量轉換；在此功定義為力與位移的內積；而熱則定義為在熱力系統邊界中，由溫度之差所造成的能量傳遞。兩者都不是存在於熱力系統內的性質，而是在熱力過程中所產生的。 熱力學的研究一開始是為了提昇蒸汽引擎的效率，早期尼古拉·卡諾有許多的貢獻，他認為若引擎效率提昇，法國有可能贏得拿破崙戰爭。出生於愛爾蘭的英國科學家開爾文在1854年首次提出了熱力學明確的定義： 一開始熱力學研究關注在熱機中工質（如蒸氣）的熱力學性質，後來延伸到化学过程中的能量轉移，例如在1840年科學家杰迈因·亨利·盖斯提出，有關化學反應的能量轉移的研究。化學熱力學中研究熵對化學反應的影響Gibbs, Willard, J. (1876).

信息和热力学 · 热力学和熵 · 查看更多 »

熵 (信息论)

在信息论中，熵（entropy）是接收的每条消息中包含的信息的平均量，又被稱為信息熵、信源熵、平均自信息量。这里，“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）来自信源的另一个特征是样本的概率分布。这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息。由于一些其他的原因，把信息（熵）定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量，这个随机变量的均值（即期望）就是这个分布产生的信息量的平均值（即熵）。熵的单位通常为比特，但也用Sh、nat、Hart计量，取决于定义用到对数的底。 采用概率分布的对数作为信息的量度的原因是其可加性。例如，投掷一次硬币提供了1 Sh的信息，而掷m次就为m位。更一般地，你需要用log2(n)位来表示一个可以取n个值的变量。 在1948年，克劳德·艾尔伍德·香农將熱力學的熵，引入到信息论，因此它又被稱為香农熵。.

信息和熵 (信息论) · 熵和熵 (信息论) · 查看更多 »

物理学

物理學（希臘文Φύσις，自然）是研究物質、能量的本質與性質，以及它們彼此之間交互作用的自然科學。由於物質與能量是所有科學研究的必須涉及的基本要素，所以物理學是自然科學中最基礎的學科之一。物理學是一種實驗科學，物理學者從觀測與分析大自然的各種基於物質與能量的現象來找出其中的模式。這些模式（假說）稱為「物理理論」，經得起實驗檢驗的常用物理理論稱為物理定律，直到有一天被證明是有錯誤為止(具可否證性)。物理學是由這些定律精緻地建構而成。物理學是自然科學中最基礎的學科之一。化學、生物學、考古學等等科學學術領域的理論都是建構於這些物理定律。 物理學是最古老的學術之一。物理學、化學、生物學等等原本都歸屬於自然哲學的範疇，直到十七世紀至十九世紀期間，才漸漸地從自然哲學中分別成長為獨立的學術領域。物理學與其它很多跨領域研究有相當的交集，如量子化學、生物物理學等等。物理學的疆界並不是固定不變的，物理學裡的創始突破時常可以用來解釋這些跨領域研究的基礎機制，有時還會開啟嶄新的跨領域研究。 通過創建新理論與發展新科技，物理學對於人類文明有極為顯著的貢獻。例如，由於電磁學的快速發展，電燈、電動機、家用電器等新產品纷纷涌现，人類社會的生活水平也得到大幅提升。由於核子物理學日趨成熟，核能發電已不再是藍圖構想，但其所引致的安全問題也使人們意識到地球環境、生態與人類的脆弱渺小。.

信息和物理学 · 熵和物理学 · 查看更多 »

麦克斯韦妖

麦克斯韦妖（Maxwell's demon），是在物理学中假想的妖，能探测并控制单个分子的运动，於1871年由英国物理学家詹姆斯·馬克士威为了说明违反热力学第二定律的可能性而设想的。 当时麦克斯韦意识到自然界存在着与熵增加相拮抗的能量控制机制。但他无法清晰地说明这种机制。他只能诙谐地假定一种“妖”，能够按照某种秩序和规则把作随机热运动的微粒分配到一定的相格裡。麦克斯韦妖是耗散结构的一个雏形。 可以简单的这样描述，一个绝热容器被分成相等的两格，中间是由“妖”控制的一扇小“门”，容器中的空气分子作无规则热运动时会向门上撞击，“门”可以选择性的将速度较快的分子放入一格，而较慢的分子放入另一格，这样，其中的一格就会比另外一格温度高，可以利用此温差，驱动热机做功。 这是第二类永动机的一个范例。 在1981年，Bennett的论文表明, Bennett, Charles H. "The thermodynamics of computation—a review.",International Journal of Theoretical Physics 21.12 (1982): 905-940.

信息和麦克斯韦妖 · 熵和麦克斯韦妖 · 查看更多 »

能量

在物理學中，能量（古希臘語中 ἐνέργεια energeia 意指「活動、操作」）是一個間接觀察到的物理量。它往往被視為某一個物理系統對其他的物理系統做功的能力。由於功被定義為力作用一段距離，因此能量總是等同於沿著一定的長度阻擋某作用力的能力。 一個物體所含的總能量奠基於其質量，能量如同質量一般，不會無中生有或無故消失。能量就像質量一樣，是一個純量。在國際單位制（SI）中，能量的單位是焦耳，但是在有些領域中會習慣使用其他單位如千瓦·時和千卡，這些也是功的單位。 A系統可以藉由簡單的物質轉移將能量傳輸到B系統（因為物質的質量等效於能量）。然而，如果能量不是藉由物質轉移而傳輸能量，而是由其他方法轉移能量，將會使B系統產生變化，因為A系統對B系統作了功。這功表現的效果如同於一個力沿一定的距離作用在接收能量的系統裡。舉例來說，A系統可以藉由轉移（輻射）電磁能量到B系統，而這會在吸收輻射能量的粒子上產生力。同樣的，一個系統可能藉由碰撞轉移能量，而這種情況下被碰撞的物體會在一段距離內受力並獲得運動的能量，稱為動能。熱可以藉由輻射能轉移，或者直接藉由系統間粒子的碰撞而以微觀粒子之動能的形式傳遞。 能量可以不表現為物質、動能或是電磁能的方式儲存在一個系統中。當粒子在與其有交互作用的力場中受外力移動一段距離，此粒子移動到這個場的新位置所需的能量便如此的被儲存了。當然粒子必須藉由外力才能保持在新位置上，否則其所處在的場會藉由釋放儲存能量的方式，讓粒子回到原來的狀態。這種藉由粒子在力場中改變位置而儲存的能量就稱為位能。一個簡單的例子就是在重力場中往上提升一個物體到某一高度所需要做的功就是位能。 任何形式的能量可以轉換成另一種形式。舉例來說，當物體在力場中，因力場作用而移動時，位能可以轉化成動能。當能量是屬於非熱能的形式時，它轉化成其他種類能量的效率可以很高甚至達百分之百，如沿光滑斜面下滑的物體，或者新物質粒子的產生。然而如果以熱能的形式存在，則在轉換成另一種型態時，就如同熱力學第二定律所描述的，總會有轉換效率的限制。 在所有能量轉換的過程中，總能量保持不變，原因在於總系統的能量是在各系統間做轉移，當某個系統損失能量，必定會有另一個系統得到這損失的能量，導致失去和獲得達成平衡，所以總能量不改變。這個能量守恆定律，是十九世紀初時提出，並應用於任何一個孤立系統。(其後雖有質能轉換方程式的發現，但根據該方程式，亦可以把質量視為能量的另一存在形式，所以此定律可說依舊成立)根據諾特定理，能量守恆是由於物理定律不會隨時間改變而得到的自然結果。 雖然一個系統的總能量，不會隨著時間改變，但其能量的值，可能會因為參考系而有所不同。例如一個坐在飛機裡的乘客，相對於飛機其動能為零；但是相對於地球來說，動能卻不為零。.

信息和能量 · 熵和能量 · 查看更多 »

温度

温度是表示物体冷热程度的物理量，微观上来讲是物体分子热运动的剧烈程度。温度只能通过物体随温度变化的某些特性来间接测量，而用来量度物体温度数值的标尺叫温标。它规定了温度的读数起点（零点）和测量温度的基本单位。溫度理論上的高極點是「普朗克溫度」，而理論上的低極點則是「絕對零度」。「普朗克溫度」和「絕對零度」都是無法通过有限步骤達到的。目前国际上用得较多的温标有摄氏温标（°C）、华氏温标（°F） 、热力学温标（K）和国际实用温标。 温度是物体内分子间平均动能的一种表现形式。值得注意的是，少數幾個分子甚至是一個分子構成的系統，由於缺乏統計的數量要求，是沒有溫度的意義的。 溫度出現在各種自然科學的領域中，包括物理、地質學、化學、大氣科學及生物學等。像在物理中，二物體的熱平衡是由其溫度而決定，溫度也會造成固體的熱漲冷縮，溫度也是熱力學的重要參數之一。在地質學中，岩漿冷卻後形成的火成岩是岩石的三種來源之一，在化學中，溫度會影響反應速率及化學平衡。大气层中气体的温度是气温（Atmospheric temperature），是氣象學常用名词。它直接受日射所影響：日射越多，氣温越高。 溫度也會影響生物體內許多的反應，恒温动物會調節自身體溫，若體溫升高即為發熱，是一種醫學症狀。生物體也會感覺溫度的冷熱，但感受到的溫度受風寒效應影響，因此也會和周圍風速有關。.

信息和温度 · 温度和熵 · 查看更多 »