单符号离散信源的自信息和信源熵都是一个确定值。
离散无记忆扩展信源的平均信息量H(Sn)和未扩展信源平均信息量H(S)之间的关系为()
离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。
一离散信源由A,B,C,D四个符号组成,它们出现的概率分别为1/2,1/4,且每个符号的出现都是独立的,消息{AAAAABBACCDDB}熵为2bit/符号。╳81.信息论的创始人是维纳。
连续信源和离散信源都具有可加性。
连续信源和离散信源的熵都具有非负性。
某信源由4个不同符号组成,每个符号出现的概率相同,信源每秒发出100个符号,则该信源的平均信息速率为()。
平均互信息量I(X;Y)对于信源概率分布p(xi)和条件概率分布p(yj/xi)都具有凸函数性。
单符号离散信源的自信息和信源熵都具有非负性。
两个相互独立的随机变量的联合自信息量等于()。
某信源的符号集由A、B、C、D和E组成,设每一符号独立出现,其出现概率分别为1/4、1/8、1/8、3/16和5/16,平均信息量为()bit/符号。
单符号离散信源一般用随机变量描述,而多符号离散信源一般用()描述。
连续信源和离散信源的平均互信息都具有非负性。
必然事件和不可能事件的自信息量都是0。
某四进制离散信源,0、1、2和3发生概率分别为1/4、1/2、1/8、1/8,该信源的平均信息量为( )。
当离散信息源中每个符号等概出现,而且各符号的出现为统计独立时,该信源的平均信息量最大。( )
设有一个二进制离散信源(0,1),每个符号独立发送。(1)若 0,1 等概出现,球每个符号的信息量和平均信息量(熵)。(2)若 0 出现概率为1/3, 重复(1)
对信源X的自信息量求算数平均即得到信源的熵。
8、二进制无记忆信源(每个符号的出现是独立m,的),已知“0”符号出现的概率为1/4,则该信源的熵(平均信息量)为()bit/符号。
设信源为X={0,1},P(0)=1/8,如信源发出由m个“0”和(100-m)个“1”构成的序列,序列的自信息量为______.
二进制无记忆信源(每个符号的出现是独立的),已知“0”符号出现的概率为1/4,则该信源的熵(平均信息量)为()bit/符号
一无记忆信源的符号集为{0,1},其中“0”符号的概率为1/4,求:(1)每信源符号平均携带的信息量;(2) 100 个信源符号构成一条序列,求每一特定序列(含m个“0”,(100-m)个“1”)的自信息;(3)求产生形式如同(2)中的序列所对应的信源的熵。
()当离散信息中每个符号等概出现,而且各符号的出现为统计独立时,该信源的平均信息量最大。
某四进制离散信源,0、1、2和3发生概率分别为1/4、1/2、1/8、1/8,该信源的平均信息量为()。