从香农三大定理的前两条说起

1. 可变长无失真信源编码定理

$K$重符号序列,其实就是$K$重编码,假如N个符号出现的概率有所不同且是无记忆的(即出现概率仅与信源有关,与当前已经编码的的情况无关),那么我们总能找到一种方法,使得我们丢弃几种可能的编码方式,使得最后不影响解码,这样就达到了信息的压缩(当然,这是在$K\to\infty$的条件下才能成立的,这时候你丢弃的那几种代码组出现的概率其实是趋于零的);所以说这里的无失真,其实是在极限的理想条件下达到的,但它的意义在于,证明了存在一种方法,使得编码能够实现最大的信息压缩,同时也告诉了你怎么样去达到这个目的(增大编码的重数);

2. 有噪信道编码定理

信息的传输并不是理想的,有失真、噪音等不可控因素,传输一定会有错误,那么在传输有一定概率出错的情况下,怎么样才能让信息能稳定高效地传输,这是第二定律主要关注的地方,其手段就是引入重复码(冗余),第二定律不同于第一定律,它只证明了存在,并没有一个普适地方法告诉你如何实现;

再谈经典信息论

信息的概念和度量

信息是获得消息和消除掉的不确定性(同时与消息本身和消息的接收者有关),而信息量就是消除掉的不确定性的度量;现在我们假设事件$x_i$发生的概率是$P(x_i)$,事件$X_i$的信息量(自信息量)可以表示为:
$$I(x_i)=-\log P(x_i)$$
当我们取2为底数的时候,给出的信息量的单位为比特;

事件集:$X=X_1,X_2,...,X_m,P=P_1,P_2,...P_m$

信息熵:事件集中各有信息量的统计平均为事件集的信息熵。它反映了整体的统计平均的不确定性。$H(x)=\sum_{i=1}^m p_iI(x_i)$;

$H(x)$为$X$中的一个时间平均给出的信息量,具有以下性质:

  • 正定性 $H(x)>0$
  • 可加性 $X,Y$为独立事件集,则$H(XY)=H(x)+H(y)$
  • 强可加性 $H(A,B)=H(A)+H(B|A)$
  • 上凸性 $aH(x_1)+(1-a)H(x_2)\leq H(ax_1+(1-a)x_2)$

以下以离散无记忆信源为基础来介绍信息学的基本概念,假设有一离散信道,输入信源$X=X_1,X_2,...X_m$,输出事件集$Y=Y_1,Y_2,...Y_m$,由于环境噪声的存在使得信道中存在随机干扰,输入输出关系不确定,但是有条件概率可以描述传递行为,通过概率矩阵来表示:

$$ P(Y|X)= \left[ \begin{matrix} P_{11} & P_{12} & \cdots & P_{1m}\\ P_{21} & \ddots & & \vdots\\ \vdots & & \ddots & \vdots \\ P_{m1} & P_{m2} & \cdots & P_{mm} \end{matrix} \right] $$

$$P(X_iY_j)=P(X_i)P(Y_j|X_i)$$

互信息量:事件集$A_i,B_j$的概率为$P_{ij}$,$A_iB_j$的互信息量就定义为接收到消息$B_j$后消除掉的关于发来信息是不是$A_i$的不确定性:
$$I(A_i,B_j)=I(A_i)-I(A_i|B_j)=-\log_2P(A_i)+\log_2P(A_i|B_j)$$(这里略有疑问……)

可以证明:$I(A_i,B_j)=I(B_j,A_i)$

于是事件集$A_iB_j$的总熵:

$$ \begin{align*} H(A,B)&=-\sum_{ij}P_{ij}\log_2P_{ij} \\ &=-\sum_{ij}P_{i}P(B_j|A_i)\log_2P_iP(B_j|A_i) \\ &=-\sum_iP_i\log_2P_i-\sum_{ij}P_{ij}\log_2P(B_j|A_i) \\ &=H(A)+H(B|A) \end{align*} $$

这和强可加性的表述是相同的,其中$H(B|A)$成为条件熵,也称为信道可信度;

量子力学基本公设回顾

1. 量子态是Hilbert空间的射线

Hilbert空间是复数域上的一个矢量空间,其中的矢量用Dirac符号$\left|\psi\right>$表示,对加法封闭;空间中的矢量具有正定性、线性性,反称性;存在模;完备;

  • 射线:它是一个等价类,等价类种的矢量仅差一个复数因子,我们一般取归一化态为代表;(?)

完备性的要求不能马上给出物理定义,但它是基本的,否则很多在limit下证明的理论都会失效;

2. 力学量

是原则上可以被观测的量;任一力学量的本征态构成的Hilbert空间中一组正交完备的基矢;

  • 投影算符:$P_i=\left|i\right>\left<i\right|$

3. 态的演化

$$i\hbar\frac{\partial}{\partial t}\left|\psi\right>=\hat{H}\left|\psi\right>$$

孤立量子力学系统的态矢量随时间的演化遵从Schrödinger方程,是一个保内积映射;这是一个幺正演化,$\left|\psi(t)\right>=U(t)\left|\psi(0)\right>$,有$U(t)U^\dagger(t)=I$,$U(t)=e^{-iHt/h}$

4. 测量(态演化之二)

测量结果为本征值之一,测量后量子态为本征态,(如果选择测量结果,将其表达为混合态系综的形式$\rho=\sigma_{n}\left|\alpha_n\right|^2\left|n\right>\left<n\right|$

  • 系统与仪器相互作用,从而改变了原来态制备过程中的限定条件,测量后的态不再是原来的态。测量可以说是一种新的态制备过程。(为什么会产生随机的、不可逆的坍缩?);只是,这里的演化不一定再是封闭的了(?):

$$ \left|\psi\right>\left<\psi\right|: \left[ \begin{matrix} x & x\\ x & x \end{matrix} \right] \rightarrow \left[ \begin{matrix} x & 0\\ 0 & x \end{matrix} \right] $$

  • 在 QI与 QC中,量子测量与量子叠加性构成一对矛盾。我们要不断地对同一态所构成的系综进 行测量,才能获得量子叠加的信息。于是,这启发人们在量子计算中,要尽可能地增大所需要的结果出现的概率,减小不需要的结果出现的概率。
Last modification:May 17, 2021
(๑´ڡ`๑)