从香农三大定理的前两条说起
1. 可变长无失真信源编码定理
$K$重符号序列，其实就是$K$重编码，假如N个符号出现的概率有所不同且是无记忆的（即出现概率仅与信源有关，与当前已经编码的的情况无关），那么我们总能找到一种方法，使得我们丢弃几种可能的编码方式，使得最后不影响解码，这样就达到了信息的压缩（当然，这是在$K\to\infty$的条件下才能成立的，这时候你丢弃的那几种代码组出现的概率其实是趋于零的）；所以说这里的无失真，其实是在极限的理想条件下达到的，但它的意义在于，证明了存在一种方法，使得编码能够实现最大的信息压缩，同时也告诉了你怎么样去达到这个目的（增大编码的重数）；
2. 有噪信道编码定理
信息的传输并不是理想的，有失真、噪音等不可控因素，传输一定会有错误，那么在传输有一定概率出错的情况下，怎么样才能让信息能稳定高效地传输，这是第二定律主要关注的地方，其手段就是引入重复码（冗余），第二定律不同于第一定律，它只证明了存在，并没有一个普适地方法告诉你如何实现；
再谈经典信息论
信息的概念和度量
信息是获得消息和消除掉的不确定性（同时与消息本身和消息的接收者有关），而信息量就是消除掉的不确定性的度量；现在我们假设事件$x_i$发生的概率是$P(x_i)$,事件$X_i$的信息量（自信息量）可以表示为：
$$I(x_i)=-\log P(x_i)$$
当我们取2为底数的时候，给出的信息量的单位为比特；
事件集：$X=X_1,X_2,...,X_m,P=P_1,P_2,...P_m$
信息熵：事件集中各有信息量的统计平均为事件集的信息熵。它反映了整体的统计平均的不确定性。$H(x)=\sum_{i=1}^m p_iI(x_i)$;
$H(x)$为$X$中的一个时间平均给出的信息量，具有以下性质：
- 正定性 $H(x)>0$
- 可加性 $X,Y$为独立事件集，则$H(XY)=H(x)+H(y)$
- 强可加性 $H(A,B)=H(A)+H(B|A)$
- 上凸性 $aH(x_1)+(1-a)H(x_2)\leq H(ax_1+(1-a)x_2)$
以下以离散无记忆信源为基础来介绍信息学的基本概念，假设有一离散信道，输入信源$X=X_1,X_2,...X_m$，输出事件集$Y=Y_1,Y_2,...Y_m$，由于环境噪声的存在使得信道中存在随机干扰，输入输出关系不确定，但是有条件概率可以描述传递行为，通过概率矩阵来表示：
$$ P(Y|X)= \left[ \begin{matrix} P_{11} & P_{12} & \cdots & P_{1m}\\ P_{21} & \ddots & & \vdots\\ \vdots & & \ddots & \vdots \\ P_{m1} & P_{m2} & \cdots & P_{mm} \end{matrix} \right] $$
$$P(X_iY_j)=P(X_i)P(Y_j|X_i)$$
互信息量：事件集$A_i,B_j$的概率为$P_{ij}$，$A_iB_j$的互信息量就定义为接收到消息$B_j$后消除掉的关于发来信息是不是$A_i$的不确定性：
$$I(A_i,B_j)=I(A_i)-I(A_i|B_j)=-\log_2P(A_i)+\log_2P(A_i|B_j)$$(这里略有疑问……)
可以证明：$I(A_i,B_j)=I(B_j,A_i)$
于是事件集$A_iB_j$的总熵：
$$ \begin{align*} H(A,B)&=-\sum_{ij}P_{ij}\log_2P_{ij} \\ &=-\sum_{ij}P_{i}P(B_j|A_i)\log_2P_iP(B_j|A_i) \\ &=-\sum_iP_i\log_2P_i-\sum_{ij}P_{ij}\log_2P(B_j|A_i) \\ &=H(A)+H(B|A) \end{align*} $$
这和强可加性的表述是相同的，其中$H(B|A)$成为条件熵，也称为信道可信度；
量子力学基本公设回顾
1. 量子态是Hilbert空间的射线
Hilbert空间是复数域上的一个矢量空间，其中的矢量用Dirac符号$\left|\psi\right>$表示，对加法封闭；空间中的矢量具有正定性、线性性，反称性；存在模；完备；
- 射线：它是一个等价类，等价类种的矢量仅差一个复数因子，我们一般取归一化态为代表；（？）
完备性的要求不能马上给出物理定义，但它是基本的，否则很多在limit下证明的理论都会失效；
2. 力学量
是原则上可以被观测的量；任一力学量的本征态构成的Hilbert空间中一组正交完备的基矢；
- 投影算符:$P_i=\left|i\right>\left<i\right|$
3. 态的演化
$$i\hbar\frac{\partial}{\partial t}\left|\psi\right>=\hat{H}\left|\psi\right>$$
孤立量子力学系统的态矢量随时间的演化遵从Schrödinger方程，是一个保内积映射；这是一个幺正演化，$\left|\psi(t)\right>=U(t)\left|\psi(0)\right>$，有$U(t)U^\dagger(t)=I$,$U(t)=e^{-iHt/h}$
4. 测量（态演化之二）
测量结果为本征值之一，测量后量子态为本征态，（如果选择测量结果，将其表达为混合态系综的形式$\rho=\sigma_{n}\left|\alpha_n\right|^2\left|n\right>\left<n\right|$
- 系统与仪器相互作用，从而改变了原来态制备过程中的限定条件，测量后的态不再是原来的态。测量可以说是一种新的态制备过程。(为什么会产生随机的、不可逆的坍缩？)；只是，这里的演化不一定再是封闭的了（？）：
$$ \left|\psi\right>\left<\psi\right|: \left[ \begin{matrix} x & x\\ x & x \end{matrix} \right] \rightarrow \left[ \begin{matrix} x & 0\\ 0 & x \end{matrix} \right] $$
- 在 QI与 QC中，量子测量与量子叠加性构成一对矛盾。我们要不断地对同一态所构成的系综进 行测量，才能获得量子叠加的信息。于是，这启发人们在量子计算中，要尽可能地增大所需要的结果出现的概率，减小不需要的结果出现的概率。