目录
对数
在数学中，真数 x（对于底数 ）的对数是 y 的指数 y，使得 。底数 的值一定不能是1或0（在扩展到复数的复对数情况下不能是1的方根），典型的是、 10或2。数x（对于底数β）的对数通常写为 稱作為以β為底x的對數。 当x和β进一步限制为正实数的时候，对数是1个唯一的实数。 例如，因为 我们可以得出 用日常语言说，以3为底81的对数是4。.
查看 熵編碼法和对数
二叉树
在電腦科學中，二元樹（Binary tree）是每個節點最多只有兩個分支（即不存在分支度大於2的節點）的樹結構。通常分支被稱作“左子樹”或“右子樹”。二元樹的分支具有左右次序，不能随意顛倒。 二元樹的第i層至多擁有2^個節點；深度為k的二元樹至多總共有2^\begin k+1 \end-1個節點（定义根节点所在深度 k_0.
查看 熵編碼法和二叉树
位元
位元（Bit），亦称二進制位，指二进制中的一位，是資訊的最小单位。Bit是Binary digit（二进制数位）的缩写，由数学家John Wilder Tukey提出（可能是1946年提出，但有资料称1943年就提出了）。这个术语第一次被正式使用，是在香农著名的论文《通信的数学理论》（A Mathematical Theory of Communication）第1页中。 假设一事件以A或B的方式发生，且A、B发生的概率相等，都为0.5，则一个二进位可用来代表A或B之一。例如：.
查看 熵編碼法和位元
信源编码定理
在信息论中，香农的信源编码定理（或无噪声编码定理）确立了数据压缩的限度，以及香农熵的操作意义。 信源编码定理表明（在极限情况下，随着独立同分布随机变量数据流的长度趋于无穷）不可能把数据压缩得码率（每个符号的比特的平均数）比信源的香农熵还小，不满足的几乎可以肯定，信息将丢失。但是有可能使码率任意接近香农熵，且损失的概率极小。 码符号的信源编码定理把码字的最小可能期望长度看作输入字（看作随机变量）的熵和目标编码表的大小的一个函数，给出了此函数的上界和下界。.
查看 熵編碼法和信源编码定理
分类问题
分类问题是机器学习非常重要的一个组成部分，它的目标是根据已知样本的某些特征，判断一个新的样本属于哪种已知的样本类。分类问题也被称为监督式学习(supervised learning)，根据已知训练区提供的样本，通过计算选择特征参数，建立判别函数以对样本进行的分类。 与之相对的称为非监督式学习(unsupervised learning)，也叫做聚类分析。 Category:机器学习.
查看 熵編碼法和分类问题
克劳德·香农
克劳德·艾尔伍德·香农（Claude Elwood Shannon，），美国数学家、电子工程师和密码学家，被誉为信息论的创始人。 香农是密西根大學學士，麻省理工學院博士。 1948年，香农发表了划时代的论文——通信的数学原理，奠定了现代信息论的基础。不仅如此，香农还被认为是数字计算机理论和数字电路设计理论的创始人。1937年，21岁的香农是麻省理工學院的硕士研究生，他在其硕士论文中提出，将布尔代数应用于电子领域，能够构建并解决任何逻辑和数值关系，被誉为有史以来最具水平的硕士论文之一。二战期间，香农为军事领域的密码分析——密码破译和保密通信——做出了很大贡献。.
查看 熵編碼法和克劳德·香农
前置碼
前置碼（Prefix code），又譯前綴碼，是一種編碼系統。這種編碼系統通常是可變長度碼，在其中的每個碼字，都具備「前置性質」（prefix property），也就是說，在編碼中的每個碼字，都不能被其他碼字當成前置部位。舉例而言，編碼字 具備了前置性質，但編碼字就不具備，因為其中的"5"，是"59"及"55"的前置字。這也被稱為無首碼的代碼（prefix-free codes，PFC，無前綴碼）。 Category:编码理论 Category:前綴 Category:数据压缩 Category:无损压缩算法.
查看 熵編碼法和前置碼
Bzip2
bzip2是Julian Seward开发并按照自由软件／开源软件协议发布的数据压缩算法及程序。Seward在1996年7月第一次公开发布了bzip2 0.15版，在随后几年中这个压缩工具稳定性得到改善并且日渐流行，Seward在2000年晚些时候发布了1.0版。.
查看 熵編碼法和Bzip2
算法
-- 算法（algorithm），在數學（算學）和電腦科學之中，為任何良定义的具體計算步驟的一个序列，常用於計算、和自動推理。精確而言，算法是一個表示爲有限長列表的。算法應包含清晰定義的指令用於計算函數。 算法中的指令描述的是一個計算，當其時能從一個初始狀態和初始輸入（可能爲空）開始，經過一系列有限而清晰定義的狀態最終產生輸出並停止於一個終態。一個狀態到另一個狀態的轉移不一定是確定的。隨機化算法在内的一些算法，包含了一些隨機輸入。 形式化算法的概念部分源自尝试解决希尔伯特提出的判定问题，並在其后尝试定义或者中成形。这些尝试包括库尔特·哥德尔、雅克·埃尔布朗和斯蒂芬·科尔·克莱尼分别于1930年、1934年和1935年提出的遞歸函數，阿隆佐·邱奇於1936年提出的λ演算，1936年的Formulation 1和艾倫·圖靈1937年提出的圖靈機。即使在當前，依然常有直覺想法難以定義爲形式化算法的情況。.
查看 熵編碼法和算法
算术编码
算术编码是一种无损数据压缩方法，也是一种熵编码的方法。和其它熵编码方法不同的地方在于，其他的熵编码方法通常是把输入的消息分割为符号，然后对每个符号进行编码，而算术编码是直接把整个输入的消息编码为一个数，一个满足（0.0 ≤ n.
查看 熵編碼法和算术编码
霍夫曼编码
霍夫曼編碼（Huffman Coding），又譯為哈夫曼编码、赫夫曼编码，是一種用於无损数据压缩的熵編碼（權編碼）演算法。由美國計算機科學家大衛·霍夫曼（David Albert Huffman）在1952年發明。.
查看 熵編碼法和霍夫曼编码
LHA
LHA可能意指下列事物：.
查看 熵編碼法和LHA
ZIP格式
ZIP文件格式是一种数据压缩和文档储存的文件格式，原名Deflate，发明者为菲尔·卡茨（Phil Katz），他于1989年1月公布了该格式的资料。ZIP通常使用后缀名“.zip”，它的MIME格式为application/zip。目前，ZIP格式属于几种主流的压缩格式之一，其竞争者包括RAR格式以及开放源码的7z格式。从性能上比较，RAR及7z格式较ZIP格式压缩率较高，而7-Zip由于提供了免费的压缩工具而逐渐在更多的领域得到应用。Microsoft从Windows ME操作系统开始内置对zip格式的支持，即使用户的电脑上没有安装解压缩软件，也能打开和制作zip格式的压缩文件，OS X和流行的Linux操作系统也对zip格式提供了类似的支持。因此如果在网络上传播和分发文件，zip格式往往是最常用的选择。.
查看 熵編碼法和ZIP格式
概率
--率，舊稱--率，又称或然率、機會率或--、可能性，是数学概率论的基本概念，是一个在0到1之间的实数，是对随机事件发生之可能性的度量。 概率常用來量化對於某些不確定命題的想法"Kendall's Advanced Theory of Statistics, Volume 1: Distribution Theory", Alan Stuart and Keith Ord, 6th Ed, (2009), ISBN 978-0-534-24312-8，命題一般會是以下的形式：「某個特定事件會發生嗎？」，對應的想法則是：「我們可以多確定這個事件會發生？」。確定的程度可以用0到1之間的數值來表示，這個數值就是機率William Feller, "An Introduction to Probability Theory and Its Applications", (Vol 1), 3rd Ed, (1968),Wiley,ISBN 978-0-471-25708-0。因此若事件發生的機率越高，表示我們越認為這個事件可能發生。像丟銅板就是一個簡單的例子，正面朝上及背面朝上的兩種結果看來機率相同，每個的機率都是1/2，也就是正面朝上及背面朝上的機率各有50%。 這些概念可以形成機率論中的數學公理（參考概率公理），在像數學、統計學、金融、博弈論、科學（特別是物理）、人工智慧/機器學習、電腦科學及哲學等學科中都會用到。機率論也可以描述複雜系統中的內在機制及規律性。.
查看 熵編碼法和概率
斐波那契编码
斐波那契編碼（Fibonacci coding）是與黃金進制關係緊密的計數系統。它只用0和1表示數，每個數位的位值對應斐波那契數。和黃金進制一樣，其標準形也不連續使用兩個1。如：.
查看 熵編碼法和斐波那契编码
无损数据压缩
无损数据壓縮（Lossless Compression）指数据经过压缩后，信息不受损失，还能完全恢复到压缩前的原样。「無損」一詞是相對於有損數據壓縮，有損數據壓縮只允許一個近似原始數據進行重建，以換取更好的壓縮率。 無損壓縮通常用於嚴格要求「經過壓縮、解壓縮的資料必須與原始資料一致」的場合。典型的例子包括文字文件、程式執行檔、程式原始碼。有些圖片檔案格式，例如PNG和GIF，使用的是無損壓縮。其他例如TIFF、MNG則可以採用無損或有損壓縮。無損音訊格式最常用於歸檔或製作用途。有損音訊格式則常用於攜帶型播放器或儲存空間受限制的裝置，或不要求音訊完全還原的情況。.
查看 熵編碼法和无损数据压缩
亦称为 熵编码。