信息论基础【2025|PDF下载-Epub版本|mobi电子书|kindle百度云盘下载】

信息论基础PDF格式电子书版下载

注意：本站所有压缩包均有解压码： 点击下载压缩包解压工具

第1章 概论1

1.1信息的一般概念1

1.2信息论研究的对象、目的和内容3

第2章 信源和信源熵7

2.1信源的描述与分类7

2.1.1离散信源与连续信源7

2.1.2离散无记忆信源和离散有记忆信源8

2.2离散信源的信息熵9

2.2.1自信息10

2.2.2信息熵12

2.3信源熵的基本特性和定理13

2.4离散无记忆的扩展信源17

2.4.1最简单的离散信源18

2.4.2 N次扩展信源18

2.4.3 N次扩展信源的熵19

2.5离散平稳信源21

2.5.1离散平稳信源的数学定义21

2.5.2二维平稳信源及其信息熵22

2.5.3离散平稳信源的信源熵和极限熵26

2.6马尔可夫信源29

2.6.1马尔可夫信源的定义29

2.6.2马尔可夫信源的熵33

2.7信源的相关性和剩余度37

2.8连续信源39

2.8.1连续信源的熵40

2.8.2几种特殊连续信源的熵42

2.8.3最大连续熵定理45

习题50

第3章 信道和信道容量54

3.1信道的数学模型和分类54

3.1.1信道的分类54

3.1.2离散信道的数学模型55

3.1.3单符号离散信道的数学模型57

3.1.4多符号离散信道的数学模型60

3.2信道疑义度及平均互信息62

3.2.1信道疑义度62

3.2.2平均互信息65

3.2.3平均条件互信息66

3.3平均互信息的特征68

3.3.1平均互信息I（X;Y）的基本特性68

3.3.2关于平均互信息I（X;Y）是凸函数的两个定理70

3.4离散信道的信道容量75

3.4.1信道容量的定义75

3.4.2离散无噪信道的信道容量76

3.4.3对称离散信道的信道容量79

3.4.4一般离散信道的信道容量82

3.5离散无记忆N次扩展信道的信道容量91

3.6组合信道的信道容量93

3.6.1并联信道的信道容量93

3.6.2级联信道的信道容量94

3.7连续信道和波形信道的信道容量97

3.7.1连续信道与波形信道97

3.7.2连续信道的信道容量98

3.7.3限带高斯白噪声加性波形信道的信道容量100

3.7.4香农公式的重要指导意义102

习题103

第4章 信源编码107

4.1编码器107

4.2等长码和等长信源编码定理109

4.3变长码113

4.3.1唯一可译变长码与即时码113

4.3.2即时码的树图构造法115

4.3.3克拉夫特（L.G.Kraft）不等式116

4.3.4唯一可译码的判别准则117

4.4变长信源编码定理119

4.4.1紧致码119

4.4.2变长无失真信源编码定理（香农第一定理）122

4.5变长码的编码方法126

4.5.1香农编码126

4.5.2霍夫曼编码128

4.5.3费诺编码133

4.5.4游程编码134

4.5.5冗余位编码137

习题139

第5章 信道编码142

5.1错误概率和译码准则142

5.1.1译码准则142

5.1.2误码率与信道疑义度的关系——费诺不等式146

5.2错误概率与编码方法147

5.2.1简单重复编码147

5.2.2香农第二定理的提示150

5.2.3汉明距离与抗干扰性的关系151

5.3有噪信道编码定理及其逆定理154

5.3.1有噪信道编码定理154

5.3.2有噪信道编码定理的逆定理158

5.3.3错误概率的上界159

习题160

第6章 信息率失真函数162

6.1基本概念163

6.1.1失真函数163

6.1.2平均失真度164

6.2信息率失真函数166

6.2.1 D允许信道（试验信道）166

6.2.2信息率失真函数的定义166

6.2.3信息率失真函数的性质167

6.3离散信源和连续信源信息率失真函数的计算172

6.3.1离散信源的信息率失真函数的参量表达式172

6.3.2二元离散等概率信源的信息率失真函数175

6.3.3连续信源的信息率失真函数180

6.4保真度准则下的信源编码定理185

6.4.1限失真信源编码定理185

6.4.2限失真信源编码定理的逆定理185

6.4.3限失真信源编码定理的意义186

习题186

第7章 信息理论在现代通信中的应用189

7.1密码学中的熵概念189

7.2 MIMO信道的容量190

7.2.1确定性MIMO信道的容量191

7.2.2衰落MIMO信道的容量195

参考文献200