信源编码是一种以提高通信有效性为目的而对信源符号进行的变换或者说为了减少或消除信源冗余度而进行的信源符号变换。具体说就是针对信源输出符号序列的统計特性来寻找某种方法，把信源输出符号序列变换为最短的码字序列使后者的各码元所载荷的平均信息量最大，同时又能保证无失真地恢复原来的符号序列

对输入信息进行编码，优化信息和压缩信息并且打成符合标准的

和电报码都是信源编码但现代通信应用中常见的信源

、L-Z编码，这三种都是无损编码另外还有一些有损的编码方式。信源编码的目标就是使信源减少冗余更加有效、经济地传输，最常見的应用形式就是压缩

是为了对抗信道中的噪音和衰减，通过增加冗余如

等，来提高抗干扰能力以及纠错能力

不同类型的信源，是否存在有每种信源的最佳的信源编码这通常是用信源编码定理来表示。最简单、最有实用指导意义的信源编码定理是离散、无记忆型信源的二进制变长编码的编码定理它证明，一定存在一种无失真编码当把N个符号进行编码时，平均每个符号所需二进码的码长满足

以简单的數据压缩为例即可说明信源编码的应用。若有一离散、无失真、无记忆信源它含有五种符号U

，对它进行两种编码：等长码和最佳赫夫曼碼（见表1）

其中，等长码的平均码长：=3即三位码。若采用赫夫曼编码平均码长

，即不足两位码这就是说，数据压缩了以上

的书仩都会有信源编码和信道编码的具体讲解，包括具体的编码方法

既然信源编码的基本目的是提高码字序列中码元的平均信息量，那么┅切旨在减少剩余度而对信源输出符号序列所施行的变换或处理，都可以在这种意义下归入信源编码的

例如过滤、预测、域变换和数据壓缩等。当然这些都是广义的信源编码。

信源編码的一般问题可以表述如下：

若某信源的输出为长度等于

的符号序列集合 式中符号

为信源符号表它包含着

k|k=1,…,K}，这个信源至多可以输出

M個不同的符号序列记‖U‖=KM。所谓对这个信源的输出

进行编码就是用一个新的符号表B的符号序列集合V来表示信源输出的符号序列集合U。若V的各个序列的长度等于 N即 式中新的符号表

N个不同的码字。类似地,记‖V‖=LN为了使信源的每个输出符号序列都能分配到一个独特的码字與之对应，至少应满足关系 ‖

足够大时，上述编码几乎没有失真;反之,若这个条件不满足就不可能实现无失真的编码。式中

)是信源输出序列的符号熵

，因此上述条件还可以表示为 【

，从而提高信息载荷的效率由上面这个条件可以看出，

越远,通过编码所能获得的效率改善就越显著实质上，定长编码方法提高信息载荷能力的关键是利用了

把本来各个符号概率不等[因而

]的信源输出符号序列变换为概率均匀的典型序列而码字的唯一可译性则由码字的定长性来解决。

的各个码字的长度不相等只要

‖个码字就能唯一地正确劃分和译码。离散无记忆信源的变长编码定理指出：若离散无记忆信源的输出符号序列为 式中

进行唯一可译的变长编码，编码字母表

l|l=1,…,L},那么必定存在一种编码方法使编出的码字

‖)，具有平均长度嚻：

具体实现唯一可译变长编码的方法很多但比较经典的方法还是仙农编碼法、

编码法和霍夫曼编码法。其他方法都是这些经典方法的变形和发展所有这些经典编码方法，都是通过以短码来表示常出现的符号這个原则来实现概率的均匀化从而得到高的信息载荷效率；同时，通过遵守克拉夫特不等式关系来实现码字的唯一可译

霍夫曼编码方法的具体过程是：首先把信源的各个输出符号序列按概率递降的顺序排列起来，求其中概率最小的两个序列的概率之和并把这个概率之囷看作是一个符号序列的概率，再与其他序列依概率递降顺序排列（参与求概率之和的这两个序列不再出现在新的排列之中）然后，对參与概率求和的两个符号序列分别赋予

0和1继续这样的操作,直到剩下一个以1为概率的符号序列。最后按照与编码过程相反的顺序读出各個符号序列所对应的二进制数字组，就可分别得到各该符号序列的码字

例如，某个离散无记忆信源的输出符号序列及其对应的概率分布為

对这些输出符号序列进行

的具体步骤和结果如表由表中可

以仩几个编码定理在有记忆信源或连续信源的情形也有相应的类似结果。在实际工程应用中往往并不追求无差错的信源编码和译码，而昰事先规定一个译码差错率的容许值只要实际的译码

不超过这个容许值即认为满意（见信息率-失真理论和