单符号离散信源的自信息和信源熵都是一个确定值。
离散无记忆扩展信源的平均信息量H（Sn）和未扩展信源平均信息量H（S）之间的关系为（）
离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。
对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P和信源的熵功率（）。
某信源由4个不同符号组成，每个符号出现的概率相同，信源每秒发出100个符号，则该信源的平均信息速率为（）。
二进制信源的熵为1bit/符号，该信源中“1”出现的概率是（）。
单符号离散信源的自信息和信源熵都具有非负性。
信源编码是压缩信息中的冗余，提高信道利用率；信道编码则通过增加数据冗余量来提高传输的可靠性。因此可以说，信源编码和信道编码是彼此可逆的。
信源冗余度
简述最大离散熵定理。对于一个有m个符号的离散信源，其最大熵是多少？
信源编码通常是通过压缩信源的冗余度来实现的。
有一二进制信源符号，0和1发生的概率分别P（0）与P（1），当（）概率发生时，信源的熵达到最大值。
单符号离散信源一般用随机变量描述，而多符号离散信源一般用（）描述。
m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相同
设有一个无记忆信源发出符号A和B，已知，发出二重符号序列消息的信源，无记忆信源熵为（）。
设某信源由2个符号组成，如果想让信源熵达到最大，则各符号出现的概率分别（ ）。
信道编码主要是利用信源的统计特性，借助信源相关性，去掉信源冗余信息，从而达到压缩信源输出的信息率，提高系统有效性的目的。
信源符号的相关程度越大，信源的符号熵越______，信源的剩余度越______。
信源与信宿之间信息交换的途径与设备被称为（)。
某信源产生a、b、c、d四个符号，各符号独立出现，这个信源可能的最大信源熵为 bit/符号。
二进制无记忆信源（每个符号的出现是独立的），已知“0”符号出现的概率为1/4，则该信源的熵（平均信息量）为（）bit/符号
一无记忆信源的符号集为{0,1}，其中“0”符号的概率为1/4,求:（1)每信源符号平均携带的信息量;（2) 100 个信源符号构成一条序列，求每一特定序列（含m个“0”，（100-m)个“1”)的自信息;（3)求产生形式如同（2)中的序列所对应的信源的熵。
76、某信源产生a、b、c、d四个符号，各符号独立出现，这个信源可能的最大信源熵为（）bit/符号。
53、有一二进制信源符号，0和1发生的概率分别P（0)与P（1)，当（）概率发生时，信源的熵达到最大值。
