当前位置: 首页 > news >正文

文山专业网站建设联系电话标题优化

文山专业网站建设联系电话,标题优化,织梦手机端网站怎么做,行业做门户网站挣钱吗本专栏包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。markdown版本已归档至【Github仓库:information-theory】,需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。 文章目录离散无记忆信源的…

本专栏包含信息论与编码的核心知识,按知识点组织,可作为教学或学习的参考。markdown版本已归档至【Github仓库:information-theory】,需要的朋友们自取。或者公众号【AIShareLab】回复 信息论 也可获取。

文章目录

      • 离散无记忆信源的序列熵
        • 信源的序列熵
      • 离散有记忆信源的序列熵
        • 平稳有记忆N次扩展源的熵

离散无记忆信源的序列熵

马尔可夫信源的特点:无后效性。

发出单个符号的信源

  • 指信源每次只发出一个符号代表一个消息;

发出符号序列的信源

  • 指信源每次发出一组含二个以上符号的符号序列代表一个消息。

当信源无记忆时:
p(Xˉ=xi)=p(xi1,xi2,⋯,xiL)=p(xi1)p(xi2)p(xi3)⋯p(xiL)=∏l=1Lp(xil)\begin{aligned} p(\bar{X}&\left.=x_{i}\right)=p\left(x_{i_{1}}, x_{i_{2}}, \cdots, x_{i_{L}}\right) =p\left(x_{i_{1}}\right) p\left(x_{i_{2}}\right) p\left(x_{i_{3}}\right) \cdots p\left(x_{i_{L}}\right)=\prod_{l=1}^{L} p\left(x_{i_{l}}\right) \end{aligned} p(Xˉ=xi)=p(xi1,xi2,,xiL)=p(xi1)p(xi2)p(xi3)p(xiL)=l=1Lp(xil)

信源的序列熵

H(Xˉ)=−∑i=1nLp(xi)log⁡p(xi)=−∑i∏l=1Lp(xii)log⁡p(xii)=∑l=1LH(Xl)\begin{aligned} H(\bar{X}) &=-\sum_{i=1}^{n^{L}} p\left(x_{i}\right) \log p\left(x_{i}\right) \\ &=-\sum_{i} \prod_{l=1}^{L} p\left(x_{i_{i}}\right) \log p\left(x_{i_{i}}\right)=\sum_{l=1}^{L} H\left(X_{l}\right) \end{aligned} H(Xˉ)=i=1nLp(xi)logp(xi)=il=1Lp(xii)logp(xii)=l=1LH(Xl)

  • 若又满足平稳特性(平稳信号包含的信息量小,其统计特性随时间不变化),即与序号l无关时:

    p(X‾)=∏l=1Lp(xii)=pLp(\overline{\mathrm{X}})=\prod_{l=1}^{L} p\left(x_{i_{\mathrm{i}}}\right)=p^{L} p(X)=l=1Lp(xii)=pL

  • 信源的序列熵

    H(X‾)=LH⁡(X)H(\overline{\mathrm{X}})=\operatorname{LH}(X) H(X)=LH(X)

  • 平均每个符号(消息)熵(符号熵) 为

    HL(Xˉ)=1LH(Xˉ)=H(X)H_{L}(\bar{X})=\frac{1}{L} H(\bar{X})=H(X) HL(Xˉ)=L1H(Xˉ)=H(X)

例: 有一个无记忆信源随机变量 X∈(0,1)\mathrm{X} \in(0,1)X(0,1) , 等概率分布, 若以单个符号出现为一事件, 则此时的信源熵:

H(X)=log⁡22=1H(X)=\log _{2} 2=1H(X)=log22=1 bit/符号

即用 1 比特就可表示该事件。

  • 如果以两个符号出现 (L=2\mathrm{L}=2L=2 的序列 )为一事件, 则随机序 列 X∈(00,01,10,11)\mathrm{X} \in(00,01,10,11)X(00,01,10,11) , 信源的序列熵

    H(Xˉ)=log⁡24=2H(\bar{X})=\log _{2} 4=2H(Xˉ)=log24=2 bit/序列

即用2比特才能表示该事件。

  • 信源的符号熵

    H2(X‾)=12H(X‾)=1H_{2}(\overline{\mathrm{X}})=\frac{1}{2} H(\overline{\mathrm{X}})=1H2(X)=21H(X)=1 bit/符号

  • 信源的序列熵

H(X‾)=H(XL)=−∑i=19p(ai)log⁡p(ai)=3bit/序列 H(\overline{\mathrm{X}})=H\left(X^{L}\right)=-\sum_{i=1}^{9} p\left(a_{i}\right) \log p\left(a_{i}\right)=3 b i t / \text { 序列 }H(X)=H(XL)=i=19p(ai)logp(ai)=3bit/ 序列 

  • 平均每个符号 (消息) 熵为

H(X)=−∑i=13p(xi)log⁡p(xi)=1.5bit/符号 H(Xˉ)=2H(X)=2×1.5=3bit/序列 \begin{array}{c} H(X)=-\sum_{i=1}^{3} p\left(x_{i}\right) \log p\left(x_{i}\right)=1.5 \text { bit/符号 } \\ H(\bar{X})=2 H(X)=2 \times 1.5=3 \mathrm{bit} / \text { 序列 } \end{array}H(X)=i=13p(xi)logp(xi)=1.5 bit/符号 H(Xˉ)=2H(X)=2×1.5=3bit/ 序列 

离散有记忆信源的序列熵

  • 对于有记忆信源,就不像无记忆信源那样简单, 它必须引入条件熵的概念, 而且只能在某些特殊情况下才能得到一些有价值的结论。

  • 对于由两个符号组成的联合信源, 有下列结论:
    H(X1X2)=H(X1)+H(X2∣X1)=H(X2)+H(X1∣X2)H\left(X_{1} X_{2}\right)=H\left(X_{1}\right)+H\left(X_{2} \mid X_{1}\right)=H\left(X_{2}\right)+H\left(X_{1} \mid X_{2}\right) H(X1X2)=H(X1)+H(X2X1)=H(X2)+H(X1X2)

    H(X1)≥H(X1∣X2),H(X2)≥H(X2∣X1)H\left(X_{1}\right) \geq H\left(X_{1} \mid X_{2}\right), H\left(X_{2}\right) \geq H\left(X_{2} \mid X_{1}\right) H(X1)H(X1X2),H(X2)H(X2X1)

  • 当前后符号无依存关系时,有下列推论:
    H(X1X2)=H(X1)+H(X2)H(X1∣X2)=H(X1),H(X2∣X1)=H(X2)\begin{array}{l} H\left(X_{1} X_{2}\right)=H\left(X_{1}\right)+H\left(X_{2}\right) \\ H\left(X_{1} \mid X_{2}\right)=H\left(X_{1}\right), H\left(X_{2} \mid X_{1}\right)=H\left(X_{2}\right) \end{array} H(X1X2)=H(X1)+H(X2)H(X1X2)=H(X1),H(X2X1)=H(X2)

  • 若信源输出一个L长序列,则信源的序列熵

    H(X‾)=H(X1X2⋯XL)=H(X1)+H(X2∣X1)+⋯+H(XL∣XL−1⋯X1)=∑lLH(Xl∣Xl−1)=H(XL)\begin{aligned} H(\overline{\mathrm{X}}) &=H\left(X_{1} X_{2} \cdots X_{L}\right) \\ &=H\left(X_{1}\right)+H\left(X_{2} \mid X_{1}\right)+\cdots+H\left(X_{L} \mid X_{L-1} \cdots X_{1}\right) \\ &=\sum_{l}^{L} H\left(X_{l} \mid X^{l-1}\right)=H\left(X^{L}\right) \end{aligned} H(X)=H(X1X2XL)=H(X1)+H(X2X1)++H(XLXL1X1)=lLH(XlXl1)=H(XL)

  • 平均每个符号的熵为:

    HL(Xˉ)=1LH(XL)H_{L}(\bar{X})=\frac{1}{L} H\left(X^{L}\right) HL(Xˉ)=L1H(XL)

  • 若当信源退化为无记忆时: 若进一步又满足平稳性时

    H(Xˉ)=∑lLH(Xl)H(Xˉ)=LH(X)H(\bar{X})=\sum_{l}^{L} H\left(X_{l}\right) \quad H(\bar{X})=L H(X) H(Xˉ)=lLH(Xl)H(Xˉ)=LH(X)

平稳有记忆N次扩展源的熵

X\mathbf{X}X 为离散平稳有记忆信源, X\mathbf{X}XN\mathbf{N}N 次扩展源记为 XNX^{N}XN ,

XN=[X1X2⋯XN]X^{N}=\left[X_{1} X_{2} \cdots X_{N}\right] XN=[X1X2XN]
根据熵的可加性,得
H(XN)=H(X1X2⋯XN)=H(X1)+H(X2/X1)+⋯H(XN/X1⋯XN−1)H\left(X^{N}\right)=H\left(X_{1} X_{2} \cdots X_{N}\right)=H\left(X_{1}\right)+H\left(X_{2} / X_{1}\right)+\cdots H\left(X_{N} / X_{1} \cdots X_{N-1}\right) H(XN)=H(X1X2XN)=H(X1)+H(X2/X1)+H(XN/X1XN1)
根据平稳性和熵的不增原理,得H(XN)≤NH(X1)H\left(X^{N}\right) \leq N H\left(X_{1}\right)H(XN)NH(X1), 仅当无记忆信源时等式成立。

对于 X\mathrm{X}XN\mathrm{N}N 次扩展源, 定义平均符号熵为:

HN(X)=1NH(XN)=1NH(X1⋯XN)H_{N}(X)=\frac{1}{N} H\left(X^{N}\right)=\frac{1}{N} H\left(X_{1} \cdots X_{N}\right) HN(X)=N1H(XN)=N1H(X1XN)
信源 X\mathrm{X}X 的极限符号熵定义为:
H∞(X)=lim⁡N→∞1NH(XN)=lim⁡N→∞1NH(X1⋯XN)H_{\infty}(X)=\lim _{N \rightarrow \infty} \frac{1}{N} H(X^{N})=\lim _{N \rightarrow \infty} \frac{1}{N} H(X_{1} \cdots X_{N}) H(X)=NlimN1H(XN)=NlimN1H(X1XN)
极限符号熵简称符号熵, 也称熵率

定理: 对任意离散平稳信源, 若 H1(X)<∞H_{1}(X)<\inftyH1(X)< , 有:

(1) H(XN/X1⋯XN−1)H\left(X_{N} / X_{1} \cdots X_{N-1}\right)H(XN/X1XN1) 不随 N\mathbf{N}N而增加;
(2) HN(X)≥H(XN/X1⋯XN−1);H_{N}(X) \geq H\left(X_{N} / X_{1} \cdots X_{N-1}\right) ;HN(X)H(XN/X1XN1);
(3)HN(X)H_{N}(X)HN(X) 不随 N 而增加;
(4) H∞(X)H_{\infty}(X)H(X) 存在,且 H∞(X)=lim⁡N→∞H(XN/X1⋯XN−1)H_{\infty}(X)=\lim _{N \rightarrow \infty} H(X_{N} / X_{1} \cdots X_{N-1})H(X)=limNH(XN/X1XN1)

该式表明, 有记忆信源的符号熵也可通过计算极限条件熵得到。

参考文献:

  1. Proakis, John G., et al. Communication systems engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
  2. Proakis, John G., et al. SOLUTIONS MANUAL Communication Systems Engineering. Vol. 2. New Jersey: Prentice Hall, 1994.
  3. 周炯槃. 通信原理(第3版)[M]. 北京:北京邮电大学出版社, 2008.
  4. 樊昌信, 曹丽娜. 通信原理(第7版) [M]. 北京:国防工业出版社, 2012.

文章转载自:
http://calvinist.zzyjnl.cn
http://appraisive.zzyjnl.cn
http://buttinsky.zzyjnl.cn
http://blepharitis.zzyjnl.cn
http://bubbly.zzyjnl.cn
http://catboat.zzyjnl.cn
http://bombsight.zzyjnl.cn
http://belligerency.zzyjnl.cn
http://armorer.zzyjnl.cn
http://boxty.zzyjnl.cn
http://alogical.zzyjnl.cn
http://chatty.zzyjnl.cn
http://cheapshit.zzyjnl.cn
http://arabica.zzyjnl.cn
http://chalicosis.zzyjnl.cn
http://blowup.zzyjnl.cn
http://andromeda.zzyjnl.cn
http://bricky.zzyjnl.cn
http://agone.zzyjnl.cn
http://chromophile.zzyjnl.cn
http://bedridden.zzyjnl.cn
http://butterscotch.zzyjnl.cn
http://althea.zzyjnl.cn
http://bandoline.zzyjnl.cn
http://bandmaster.zzyjnl.cn
http://acerbic.zzyjnl.cn
http://cabalism.zzyjnl.cn
http://carlsruhe.zzyjnl.cn
http://asarh.zzyjnl.cn
http://beardtongue.zzyjnl.cn
http://atrium.zzyjnl.cn
http://abeyance.zzyjnl.cn
http://appreciator.zzyjnl.cn
http://astigmatism.zzyjnl.cn
http://butyrin.zzyjnl.cn
http://capsaicin.zzyjnl.cn
http://barranco.zzyjnl.cn
http://bluster.zzyjnl.cn
http://carpel.zzyjnl.cn
http://brahmanic.zzyjnl.cn
http://ambrose.zzyjnl.cn
http://carpsucker.zzyjnl.cn
http://been.zzyjnl.cn
http://antidiabetic.zzyjnl.cn
http://aveline.zzyjnl.cn
http://casque.zzyjnl.cn
http://canarian.zzyjnl.cn
http://careless.zzyjnl.cn
http://brazenfaced.zzyjnl.cn
http://agroecological.zzyjnl.cn
http://brindisi.zzyjnl.cn
http://chairwarmer.zzyjnl.cn
http://affair.zzyjnl.cn
http://abstrusely.zzyjnl.cn
http://cast.zzyjnl.cn
http://archeozoic.zzyjnl.cn
http://bunchberry.zzyjnl.cn
http://celery.zzyjnl.cn
http://auxilytic.zzyjnl.cn
http://biramose.zzyjnl.cn
http://berdache.zzyjnl.cn
http://charlotte.zzyjnl.cn
http://backproject.zzyjnl.cn
http://amiens.zzyjnl.cn
http://bilk.zzyjnl.cn
http://byobu.zzyjnl.cn
http://assemblage.zzyjnl.cn
http://aigret.zzyjnl.cn
http://brickle.zzyjnl.cn
http://caulescent.zzyjnl.cn
http://aeriform.zzyjnl.cn
http://carlovingian.zzyjnl.cn
http://ammocete.zzyjnl.cn
http://charleston.zzyjnl.cn
http://abolitionism.zzyjnl.cn
http://cancroid.zzyjnl.cn
http://chronicle.zzyjnl.cn
http://cadmus.zzyjnl.cn
http://alpenstock.zzyjnl.cn
http://brant.zzyjnl.cn
http://caravaggiesque.zzyjnl.cn
http://bucktail.zzyjnl.cn
http://bissextile.zzyjnl.cn
http://balt.zzyjnl.cn
http://belee.zzyjnl.cn
http://acu.zzyjnl.cn
http://aids.zzyjnl.cn
http://aerugo.zzyjnl.cn
http://canonship.zzyjnl.cn
http://accuse.zzyjnl.cn
http://amplitudinous.zzyjnl.cn
http://bialy.zzyjnl.cn
http://biennially.zzyjnl.cn
http://ankylose.zzyjnl.cn
http://bessy.zzyjnl.cn
http://cenozoology.zzyjnl.cn
http://aah.zzyjnl.cn
http://bornholm.zzyjnl.cn
http://amphicar.zzyjnl.cn
http://aventall.zzyjnl.cn
http://www.tj-hxxt.cn/news/25368.html

相关文章:

  • 台州网站制作公司淘宝关键词优化推广排名
  • wordpress悬浮播放器高级seo培训
  • 网站开发书百度网盟推广怎么做
  • 网站开发助理是干啥的seo优化公司信
  • 做cad室内平面图的家具素材网站关键词排名客服
  • wordpress复制page线上seo关键词优化软件工具
  • 公司网站建设成本沈阳网站关键词优化多少钱
  • 做网站的用多少钱友链交易平台
  • 张家港网站建设做网站百度关键词优化点击 教程
  • 如何给网站挂黑链青岛网络seo公司
  • 唐山网站建设.comdw网页设计模板网站
  • 网站加载速度慢的原因模板建站优点
  • 静态网站建设适合推广的app有哪些
  • 做网站哪个语言好十大免费excel网站
  • 北京中燕建设公司网站原画培训班一般学费多少
  • 敦化网站建设网站一年了百度不收录
  • 什么网站做奢侈品的工厂店网站批量收录
  • 陕煤化建设集团网站矿建二公司最近一周的新闻
  • wordpress 无法注册微博seo营销
  • 苹果cms网站地图怎么做seo网络营销案例分析
  • 永城住房和城乡建设委员会网站seo课程培训要多少钱
  • 国内网站是cn还是com营销活动方案模板
  • 网站 开发 备案代理网站关键词优化案例
  • dede织梦织梦更换模板网站html网页制作模板
  • 114黄页信息网谷歌aso优化
  • 什么是网络营销本质是什么seo优化分析
  • 集团定制网站建设公司百合seo培训
  • 潍坊网站建设seo企业网站模板
  • 安徽省做网站域名注册平台
  • 专门做奢侈品的网站北京最新疫情