信息和熵 (信息论)

快捷方式: 差异，相似，杰卡德相似系数，参考。

信息和熵 (信息论)之间的区别

信息 vs. 熵 (信息论)

信息（英語：Information），又稱情報，是一个严谨的科学术语，其定义不统一，是由它的极端复杂性决定的，獲取信息的主要方法為六何法。信息的表现形式多不胜数：声音、图片、温度、体积、颜色……信息的类別也不计其数：电子信息、财经信息、天气信息、生物信息……。 在熱力學中，信息是指任何會影響系統的熱力學狀態的事件。 信息可以減少不確定性。事件的不確定性是以其發生機率來量測，發生機率越高，不確定性越低，事件的不確定性越高，越需要額外的信息減少其不確定性。位元是典型的，但也可以使用像納特之類的單位，例如投擲一個公正的硬幣，其信息為log2(2/1). 在信息论中，熵（entropy）是接收的每条消息中包含的信息的平均量，又被稱為信息熵、信源熵、平均自信息量。这里，“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）来自信源的另一个特征是样本的概率分布。这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息。由于一些其他的原因，把信息（熵）定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量，这个随机变量的均值（即期望）就是这个分布产生的信息量的平均值（即熵）。熵的单位通常为比特，但也用Sh、nat、Hart计量，取决于定义用到对数的底。 采用概率分布的对数作为信息的量度的原因是其可加性。例如，投掷一次硬币提供了1 Sh的信息，而掷m次就为m位。更一般地，你需要用log2(n)位来表示一个可以取n个值的变量。 在1948年，克劳德·艾尔伍德·香农將熱力學的熵，引入到信息论，因此它又被稱為香农熵。.

位元

位元（Bit），亦称二進制位，指二进制中的一位，是資訊的最小单位。Bit是Binary digit（二进制数位）的缩写，由数学家John Wilder Tukey提出（可能是1946年提出，但有资料称1943年就提出了）。这个术语第一次被正式使用，是在香农著名的论文《通信的数学理论》（A Mathematical Theory of Communication）第1页中。 假设一事件以A或B的方式发生，且A、B发生的概率相等，都为0.5，则一个二进位可用来代表A或B之一。例如：.

位元和信息 · 位元和熵 (信息论) · 查看更多 »

信息论

信息论（information theory）是应用数学、電機工程學和计算机科学的一个分支，涉及信息的量化、存储和通信等。信息论是由克劳德·香农发展，用来找出信号处理与通信操作的基本限制，如数据压缩、可靠的存储和数据传输等。自创立以来，它已拓展应用到许多其他领域，包括统计推断、自然语言处理、密码学、神经生物学、进化论和分子编码的功能、生态学的模式选择、热物理、量子计算、语言学、剽窃检测、模式识别、异常检测和其他形式的数据分析。 熵是信息的一个关键度量，通常用一条消息中需要存储或传输一个的平均比特数来表示。熵衡量了预测随机变量的值时涉及到的不确定度的量。例如，指定擲硬幣的结果（两个等可能的结果）比指定掷骰子的结果（六个等可能的结果）所提供的信息量更少（熵更少）。 信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。信息传输和信息压缩是信息论研究中的两大领域。这两个方面又由信道编码定理、信源－信道隔离定理相互联系。 信息论的基本内容的应用包括无损数据压缩（如ZIP文件）、有损数据压缩（如MP3和JPEG）、信道编码（如DSL））。这个领域处在数学、统计学、计算机科学、物理学、神经科学和電機工程學的交叉点上。信息论对航海家深空探测任务的成败、光盘的发明、手机的可行性、互联网的发展、语言学和人类感知的研究、对黑洞的了解，以及许多其他领域都影响深远。信息论的重要子领域有信源编码、信道编码、算法复杂性理论、算法信息论、資訊理論安全性和信息度量等。.

信息和信息论 · 信息论和熵 (信息论) · 查看更多 »

克劳德·香农

克劳德·艾尔伍德·香农（Claude Elwood Shannon，），美国数学家、电子工程师和密码学家，被誉为信息论的创始人。 香农是密西根大學學士，麻省理工學院博士。 1948年，香农发表了划时代的论文——通信的数学原理，奠定了现代信息论的基础。不仅如此，香农还被认为是数字计算机理论和数字电路设计理论的创始人。1937年，21岁的香农是麻省理工學院的硕士研究生，他在其硕士论文中提出，将布尔代数应用于电子领域，能够构建并解决任何逻辑和数值关系，被誉为有史以来最具水平的硕士论文之一。二战期间，香农为军事领域的密码分析——密码破译和保密通信——做出了很大贡献。.

信息和克劳德·香农 · 克劳德·香农和熵 (信息论) · 查看更多 »

纳特

奈特（nat，或称nit或nepit）又称纳特，是信息论「熵」的单位之一。以自然对数为底，而不是以２为底的对数。表达式为 I_e.

信息和纳特 · 熵 (信息论)和纳特 · 查看更多 »

热力学

热力学，全稱熱動力學（thermodynamique，Thermodynamik，thermodynamics，源於古希腊语θερμός及δύναμις）是研究热现象中物态转变和能量转换规律的学科；它着重研究物质的平衡状态以及与準平衡态的物理、化学过程。热力学定義許多巨觀的物理量（像溫度、內能、熵、壓強等），描述各物理量之間的關係。热力学描述數量非常多的微觀粒子的平均行為，其定律可以用統計力學推導而得。 熱力學可以總結為四條定律。 熱力學第零定律定義了温度這一物理量，指出了相互接觸的两个系統，熱流的方向。 熱力學第一定律指出内能這一物理量的存在，並且與系統整體運動的動能和系統与與環境相互作用的位能是不同的，區分出熱與功的轉換。 熱力學第二定律涉及的物理量是温度和熵。熵是研究不可逆过程引入的物理量，表征系統通過熱力學過程向外界最多可以做多少熱力學功。 熱力學第三定律認為，不可能透過有限過程使系統冷却到絕對零度。 熱力學可以應用在許多科學及工程的領域中，例如：引擎、相變化、化學反應、輸運現象甚至是黑洞。熱力學計算的結果不但對物理的其他領域很重要，對航空工程、航海工程、車輛工程、機械工程、細胞生物學、生物醫學工程、化學、化學工程及材料科學等科學技術領域也很重要，甚至也可以應用在經濟學中。 热力学是从18世纪末期发展起来的理论，主要是研究功與热量之間的能量轉換；在此功定義為力與位移的內積；而熱則定義為在熱力系統邊界中，由溫度之差所造成的能量傳遞。兩者都不是存在於熱力系統內的性質，而是在熱力過程中所產生的。 熱力學的研究一開始是為了提昇蒸汽引擎的效率，早期尼古拉·卡諾有許多的貢獻，他認為若引擎效率提昇，法國有可能贏得拿破崙戰爭。出生於愛爾蘭的英國科學家開爾文在1854年首次提出了熱力學明確的定義： 一開始熱力學研究關注在熱機中工質（如蒸氣）的熱力學性質，後來延伸到化学过程中的能量轉移，例如在1840年科學家杰迈因·亨利·盖斯提出，有關化學反應的能量轉移的研究。化學熱力學中研究熵對化學反應的影響Gibbs, Willard, J. (1876).

信息和热力学 · 热力学和熵 (信息论) · 查看更多 »

熵

化學及热力学中所谓熵（entropy），是一種測量在動力學方面不能做功的能量總數，也就是當總體的熵增加，其做功能力也下降，熵的量度正是能量退化的指標。熵亦被用於計算一個系統中的失序現象，也就是計算該系統混亂的程度。熵是一个描述系统状态的函数，但是经常用熵的参考值和变化量进行分析比较，它在控制论、概率论、数论、天体物理、生命科学等领域都有重要应用，在不同的学科中也有引申出的更为具体的定义，是各领域十分重要的参量。.

信息和熵 · 熵和熵 (信息论) · 查看更多 »

麦克斯韦妖

麦克斯韦妖（Maxwell's demon），是在物理学中假想的妖，能探测并控制单个分子的运动，於1871年由英国物理学家詹姆斯·馬克士威为了说明违反热力学第二定律的可能性而设想的。 当时麦克斯韦意识到自然界存在着与熵增加相拮抗的能量控制机制。但他无法清晰地说明这种机制。他只能诙谐地假定一种“妖”，能够按照某种秩序和规则把作随机热运动的微粒分配到一定的相格裡。麦克斯韦妖是耗散结构的一个雏形。 可以简单的这样描述，一个绝热容器被分成相等的两格，中间是由“妖”控制的一扇小“门”，容器中的空气分子作无规则热运动时会向门上撞击，“门”可以选择性的将速度较快的分子放入一格，而较慢的分子放入另一格，这样，其中的一格就会比另外一格温度高，可以利用此温差，驱动热机做功。 这是第二类永动机的一个范例。 在1981年，Bennett的论文表明, Bennett, Charles H. "The thermodynamics of computation—a review.",International Journal of Theoretical Physics 21.12 (1982): 905-940.

信息和麦克斯韦妖 · 熵 (信息论)和麦克斯韦妖 · 查看更多 »