信息冗余和无损数据压缩

快捷方式: 差异，相似，杰卡德相似系数，参考。

信息冗余和无损数据压缩之间的区别

信息冗余 vs. 无损数据压缩

在信息论中，信息冗余是传输消息所用数据位的数目与消息中所包含的实际信息的数据位的数目的差值。数据压缩是一种用来消除不需要的冗余的方法，校验和是在经过有限信道容量的噪声信道中通信，为了进行错误校正而增加冗余的方法。. 无损数据壓縮（Lossless Compression）指数据经过压缩后，信息不受损失，还能完全恢复到压缩前的原样。「無損」一詞是相對於有損數據壓縮，有損數據壓縮只允許一個近似原始數據進行重建，以換取更好的壓縮率。 無損壓縮通常用於嚴格要求「經過壓縮、解壓縮的資料必須與原始資料一致」的場合。典型的例子包括文字文件、程式執行檔、程式原始碼。有些圖片檔案格式，例如PNG和GIF，使用的是無損壓縮。其他例如TIFF、MNG則可以採用無損或有損壓縮。無損音訊格式最常用於歸檔或製作用途。有損音訊格式則常用於攜帶型播放器或儲存空間受限制的裝置，或不要求音訊完全還原的情況。.

熵 (信息论)

在信息论中，熵（entropy）是接收的每条消息中包含的信息的平均量，又被稱為信息熵、信源熵、平均自信息量。这里，“消息”代表来自分布或数据流中的事件、样本或特征。（熵最好理解为不确定性的量度而不是确定性的量度，因为越随机的信源的熵越大。）来自信源的另一个特征是样本的概率分布。这里的想法是，比较不可能发生的事情，当它发生了，会提供更多的信息。由于一些其他的原因，把信息（熵）定义为概率分布的对数的相反数是有道理的。事件的概率分布和每个事件的信息量构成了一个随机变量，这个随机变量的均值（即期望）就是这个分布产生的信息量的平均值（即熵）。熵的单位通常为比特，但也用Sh、nat、Hart计量，取决于定义用到对数的底。 采用概率分布的对数作为信息的量度的原因是其可加性。例如，投掷一次硬币提供了1 Sh的信息，而掷m次就为m位。更一般地，你需要用log2(n)位来表示一个可以取n个值的变量。 在1948年，克劳德·艾尔伍德·香农將熱力學的熵，引入到信息论，因此它又被稱為香农熵。.

信息冗余和熵 (信息论) · 无损数据压缩和熵 (信息论) · 查看更多 »

数据压缩

在计算机科学和信息论中，数据压缩或者源编码是按照特定的编码机制用比未经编码少的数据位元（或者其它信息相关的单位）表示信息的过程。例如，如果我们将「compression」编码为「comp」那么这篇文章可以用较少的数据位表示。常見的例子是ZIP文件格式，此格式不仅仅提供压缩功能，还可作为归档工具（Archiver），能够将许多文件存储到同一个文件中。.

信息冗余和数据压缩 · 数据压缩和无损数据压缩 · 查看更多 »