目录

目录
第　*篇 入门——PyTorch基础
第　*章 快速了解人工智能与PyTorch　3
*.*　图*经网络与深度学习　4
*.*.*　深度*经网络　4
*.*.2　图*经网络　4
*.2　PyTorch是做什么的　4
*.3　PyTorch的*点　5
*.4　PyTorch与TensorFlow各有所长　6
*.5　如何使用本书学好深度学习　8
第　2章 搭建开发环境　9
2.*　下载及安装Anaconda　*0
2.*.*　下载Anaconda开发工具　*0
2.*.2　安装Anaconda开发工具　*0
2.*.3　安装Anaconda开发工具时的注意事项　**
2.2　安装PyTorch　**
2.2.*　打开PyTorch官网　*2
2.2.2　配置PyTorch安装命令　*2
2.2.3　使用配置好的命令安装PyTorch　*2
2.2.4　配置PyTorch的镜像源　*3
2.3　熟悉Anaconda 3的开发工具　*5
2.3.*　快速了解Spyder　*5
2.3.2　快速了解Jupyter Notebook　*7
2.4　测试开发环境　*8
第3章　PyTorch基本开发步骤——用逻辑回归拟合二维数据　*9
3.*　实例*：从*组看似混乱的数据中找出规律　20
3.*.*　准备数据　20
3.*.2　定义网络模型　2*
3.*.3　搭建网络模型　22
3.*.4　训练模型　23
3.*.5　可视化训练结果　23
3.*.6　使用及评估模型　24
3.*.7　可视化模型　25
3.2　模型是如何训练出来的　26
3.2.*　模型里的内容及意义　26
3.2.2　模型内*数据流向　27
3.3　总结　27
第4章　快速上手PyTorch　29
4.*　*经网络中的几个基本数据类型　30
4.2　张量类的基础　30
4.2.*　定义张量的方法　30
4.2.2　张量的类型　32
4.2.3　张量的type()方法　33
4.3　张量与NumPy　34
4.3.*　张量与NumPy类型数据的相互转换　34
4.3.2　张量与NumPy各自的形状获取　34
4.3.3　张量与NumPy各自的切片操作　34
4.3.4　张量与NumPy类型数据相互转换间的陷阱　35
4.4　在CPU和GPU控制的内存中定义张量　36
4.4.*　将CPU内存中的张量转化到GPU内存中　36
4.4.2　直接在GPU内存中定义张量　36
4.4.3　使用to()方法来*设备　36
4.4.4　使用环境变量CUDA_VISIBLE_DEVICES来*设备　36
4.5　生成随机值张量　37
4.5.*　设置随机值种子　37
4.5.2　按照*形状生成随机值　37
4.5.3　生成线性空间的随机值　37
4.5.4　生成对数空间的随机值　38
4.5.5　生成未初始化的矩阵　38
4.5.6　更多的随机值生成函数　38
4.6　张量间的数学运算　38
4.6.*　PyTorch的运算函数　39
4.6.2　PyTorch的自变化运算函数　39
4.7　张量间的数据操作　39
4.7.*　用torch.reshape()函数实现数据维度变换　39
4.7.2　实现张量数据的矩阵转置　40
4.7.3　view()方法与contiguous()方法　40
4.7.4　用torch.cat()函数实现数据连接　4*
4.7.5　用torch.chunk()函数实现数据均匀分割　4*
4.7.6　用torch.split()函数实现数据*均匀分割　42
4.7.7　用torch.gather()函数对张量数据进行检索　42
4.7.8　按照*阈值对张量进行过滤　42
4.7.9　找出张量中的非零值索引　43
4.7.*0　根据条件进行多张量取值　43
4.7.**　根据阈值进行数据截断　43
4.7.*2　获取数据中*大值、最小值的索引　43
4.8　Variable类型与自动微分模块　44
4.8.*　自动微分模块简介　44
4.8.2　Variable对象与张量对象之间的转化　44
4.8.3　用no_grad()与enable_grad()控制梯度计算　45
4.8.4　函数torch.no_grad()介绍　45
4.8.5　函数enable_grad()与no_grad()的嵌套　46
4.8.6　用set_grad_enabled()函数统*管理梯度计算　47
4.8.7　Variable对象的grad_fn属性　47
4.8.8　Variable对象的is_leaf属性　48
4.8.9　用backward()方法自动求导　48
4.8.*0　自动求导的作用　49
4.8.**　用detach()方法将Variable对象分离成叶子节点　49
4.8.*2　volatile属性扩展　50
4.9　定义模型结构的步骤与方法　50
4.9.*　代码实现： Module类的使用方法　50
4.9.2　模型中的参数Parameters类　52
4.9.3　为模型添加参数　53
4.9.4　从模型中获取参数　53
4.9.5　*存与载入模型　56
4.9.6　模型结构中的钩子函数　57
4.*0　模型的网络层　58
第5章　*经网络的基本原理与实现　59
5.*　了解深度学习中的*经网络与*经元　60
5.*.*　了解单个*经元　60
5.*.2　生物*经元与计算机*经元模型的结构相似性　62
5.*.3　生物*经元与计算机*经元模型的工作流程相似性　63
5.*.4　*经网络的形成　63
5.2　深度学习中的基础*经网络模型　63
5.3　什么是*连接*经网络　64
5.3.*　*连接*经网络的结构　64
5.3.2　实例2：分析*连接*经网络中每个*经元的作用　64
5.3.3　*连接*经网络的拟合原理　66
5.3.4　*连接*经网络的设计思想　67
5.4　激活函数——加入非线性因素，弥补线性模型缺陷　68
5.4.*　Sigmoid函数　68
5.4.2　tanh函数　69
5.4.3　ReLU函数　70
5.4.4　激活函数的多种形式　72
5.4.5　扩展*：更好的激活函数（Swish与Mish）　73
5.4.6　扩展2：更适合NLP任务的激活函数（GELU）　74
5.5　激活函数总结　75
5.6　训练模型的步骤与方法　76
5.7　*经网络模块（nn）中的损失函数　76
5.7.*　L*损失函数　76
5.7.2　均值平方差（MSE）损失函数　77
5.7.3　交叉熵损失（CrossEntropyLoss）函数　77
5.7.4　其他的损失函数　78
5.7.5　总结：损失算法的选取　79
5.8　Softmax算法——处理分类问题　79
5.8.*　什么是Softmax　80
5.8.2　Softmax原理　80
5.8.3　常用的Softmax接口　80
5.8.4　实例3：Softmax与交叉熵的应用　8*
5.8.5　总结：更好地认识Softmax　82
5.9　*化器模块　82
5.9.*　了解反向传播与BP算法　82
5.9.2　*化器与梯度下降　83
5.9.3　*化器的类别　83
5.9.4　*化器的使用方法　83
5.9.5　查看*化器的参数结构　84
5.9.6　常用的*化器——Adam　85
5.9.7　更好的*化器——Ranger　85
5.9.8　如何选取*化器　85
5.*0　退化学习率——在训练的速度与*度之间找到平衡　86
5.*0.*　设置学习率的方法——退化学习率　86
5.*0.2　退化学习率接口（lr_scheduler）　87
5.*0.3　使用lr_scheduler接口实现多种退化学习率　88
5.**　实例4：预测泰坦尼克号船上的生存乘客　9*
5.**.*　载入样本　9*
5.**.2　样本的*征分析——离散数据与连续数据　92
5.**.3　处理样本中的离散数据和Nan值　93
5.**.4　分离样本和标签并制作成数据集　95
5.**.5　定义Mish激活函数与多层*连接网络　96
5.**.6　训练模型并输出结果　97
第二篇　基础——*经网络的监督训练与*监督训练
第6章　实例5：识别黑白图中的服装图案　*0*
6.*　熟悉样本：了解Fashion-MNIST数据集　*02
6.*.*　Fashion-MNIST的起源　*02
6.*.2　Fashion-MNIST的结构　*02
6.*.3　手动下载Fashion-MNIST数据集　*03
6.*.4　代码实现：自动下载Fashion-MNIST数据集　*03
6.*.5　代码实现：读取及显示Fashion-MNIST中的数据　*04
6.2　制作批次数据集　*05
6.2.*　数据集封装类DataLoader　*05
6.2.2　代码实现：按批次封装Fashion-MNIST数据集　*06
6.2.3　代码实现：读取批次数据集　*07
6.3　构建并训练模型　*08
6.3.*　代码实现：定义模型类　*08
6.3.2　代码实现：定义损失的计算方法及*化器　**0
6.3.3　代码实现：训练模型　**0
6.3.4　代码实现：*存模型　***
6.4　加载模型，并用其进行预测　***
6.5　评估模型　**2
6.6　扩展：多显卡并行训练　**3
6.6.*　代码实现：多显卡训练　**3
6.6.2　多显卡训练过程中，*存与读取模型文件的注意事项　**5
6.6.3　在切换设备环境时，*存与读取模型文件的注意事项　**6
6.6.4　处理显存残留问题　**6
第7章　监督学习中的*经网络　**9
7.*　从视觉的角度理解卷积*经网络　*20
7.*.*　生物视觉系统原理　*20
7.*.2　微积分　*20
7.*.3　离散微分与离散积分　*20
7.*.4　视觉*经网络中的离散积分　*2*
7.2　卷积*经网络的结构　*2*
7.2.*　卷积*经网络的工作过程　*22
7.2.2　卷积*经网络与*连接网络的区别　*23
7.2.3　了解*D卷积、2D卷积和3D卷积　*23
7.2.4　实例分析：Sobel算子的原理　*23
7.2.5　深层*经网络中的卷积核　*26
7.2.6　理解卷积的数学意义——卷积分　*26
7.3　卷积*经网络的实现　*27
7.3.*　了解卷积接口　*27
7.3.2　卷积操作的类型　*29
7.3.3　卷积参数与卷积结果的计算规则　*30
7.3.4　实例6：卷积函数的使用　*30
7.3.5　实例7：使用卷积提取图片的轮廓　*35
7.4　深层卷积*经网络　*38
7.4.*　深层卷积*经网络组成　*38
7.4.2　池化操作　*40
7.4.3　了解池化接口　*40
7.4.4　实例8：池化函数的使用　*4*
7.4.5　实例9：搭建卷积*经网络　*43
7.5　循环*经网络结构　*45
7.5.*　了解人的记忆原理　*45
7.5.2　循环*经网络的应用*域　*46
7.5.3　循环*经网络的正向传播过程　*47
7.5.4　BP算法与BPTT算法的原理　*48
7.5.5　实例*0：简单循环*经网络实现——设计*个退位减法器　*49
7.6　常见的循环*经网络单元及结构　*54
7.6.*　长短记忆（LSTM）单元　*55
7.6.2　门控循环单元（GRU）　*57
7.6.3　只有忘记门的LSTM（JANET）单元　*58
7.6.4　*立循环（IndRNN）单元　*58
7.6.5　双向RNN结构　*59
7.7　实例**：用循环*经网络训练语言模型　*60
7.7.*　什么是语言模型　*6*
7.7.2　词表与词向量　*6*
7.7.3　词向量的原理与实现　*6*
7.7.4　NLP中多项式分布　*62
7.7.5　循环*经网络的实现　*63
7.7.6　实现语言模型的思路与步骤　*64
7.7.7　代码实现：准备样本　*65
7.7.8　代码实现：构建循环*经网络(RNN）模型　*67
7.7.9　代码实现：实例化模型类，并训练模型　*68
7.7.*0　代码实现：运行模型生成句子　*7*
7.8　过拟合问题及*化技巧　*72
7.8.*　实例*2：训练具有过拟合问题的模型　*72
7.8.2　*模型过拟合的方法　*75
7.8.3　了解正则化　*75
7.8.4　实例*3：用L2正则*模型的过拟合状况　*76
7.8.5　实例*4：通过增大数据集*模型的过拟合状况　*78
7.8.6　Dropout方法　*79
7.8.7　实例*5： 通过Dropout方法*模型的过拟合状况　*80
7.8.8　*连接网络的深浅与泛化能力的联系　*82
7.8.9　了解批量归*化（BN）算法　*82
7.8.*0　实例*6： 手动实现批量归*化的计算方法　*85
7.8.**　实例*7： 通过批量归*化方法*模型的过拟合状况　*87
7.8.*2　使用批量归*化方法时的注意 事项　*88
7.8.*3　扩展：多种批量归*化算法介绍　*88
7.9　*经网络中的注意力机制　*89
7.9.*　注意力机制的实现　*89
7.9.2　注意力机制的软、硬模式　*90
7.9.3　注意力机制模型的原理　*90
7.9.4　多头注意力机制　*9*
7.9.5　自注意力机制　*92
7.*0　实例*8：利用注意力循环*经网络对图片分类　*92
7.*0.*　循环*经网络处理图片分类任务的原理　*92
7.*0.2　代码实现：搭建LSTM网络模型　*93
7.*0.3　代码实现：构建注意力机制类　*93
7.*0.4　代码实现：构建输入数据并训练模型　*96
7.*0.5　使用并评估模型　*97
7.*0.6　扩展*：使用梯度剪辑技巧*化训练过程　*97
7.*0.7　扩展2：使用JANET单元完成RNN　*98
7.*0.8　扩展3：使用IndRNN单元实现RNN　*98
第８章　*监督学习中的*经网络　*99
8.*　快速了解信息熵　200
8.*.*　信息熵与概率的计算关系　200
8.*.2　联合熵　202
8.*.3　条件熵　202
8.*.4　交叉熵　203
8.*.5　相对熵——KL散度　203
8.*.6　JS散度　204
8.*.7　互信息　204
8.2　通用的*监督模型——自编码*经网络与对抗*经网络　205
8.3　自编码*经网络　206
8.3.*　自编码*经网络的结构　206
8.3.2　自编码*经网络的计算过程　206
8.3.3　自编码*经网络的作用与意义　207
8.3.4　变分自编码*经网络　207
8.3.5　条件变分自编码*经网络　208
8.4　实例*9：用变分自编码*经网络模型生成模拟数据　208
8.4.*　变分自编码*经网络模型的结构介绍　208
8.4.2　代码实现：引入模块并载入样本　209
8.4.3　代码实现：定义变分自编码*经网络模型的正向结构　2*0
8.4.4　变分自编码*经网络模型的反向传播与KL散度的应用　2**
8.4.5　代码实现：完成损失函数和训练函数　2*2
8.4.6　代码实现：训练模型并输出可视化结果　2*3
8.4.7　代码实现：提取样本的低维*征并进行可视化　2*4
8.4.8　代码实现：可视化模型的输出空间　2*5
8.5　实例20：用条件变分自编码*经网络生成可控模拟数据　2*6
8.5.*　条件变分自编码*经网络的实现　2*6
8.5.2　代码实现：定义条件变分自编码*经网络模型的正向结构　2*7
8.5.3　代码实现：训练模型并输出可视化结果　2*8
8.6　对抗*经网络　2*9
8.6.*　对抗*经网络的工作过程　2*9
8.6.2　对抗*经网络的作用　220
8.6.3　GAN模型难以训练的原因　220
8.6.4　WGAN模型——解决GAN难以训练的问题　22*
8.6.5　分析WGAN的*足　222
8.6.6　WGAN-gp模型——更容易训练的GAN模型　223
8.6.7　条件GAN 2248.6.8 带有W散度的GAN——WGAN-div　225
8.7　实例2*：用WGAN-gp模型生成模拟数据　226
8.7.*　DCGAN中的*卷积　226
8.7.2　上采样与下采样　227
8.7.3　实例归*化　228
8.7.4　代码实现：引入模块并载入样本　228
8.7.5　代码实现：定义生成器与判别器　229
8.7.6　激活函数与归*化层的位置关系　23*
8.7.7　代码实现：定义函数完成梯度惩罚项　234
8.7.8　代码实现：定义模型的训练函数　235
8.7.9　代码实现：定义函数，可视化模型结果　237
8.7.*0　代码实现：调用函数并训练模型　237
8.7.**　练习题　238
8.8　实例22：用条件GAN生成可控模拟数据　239
8.8.*　代码实现：定义条件GAN模型的正向结构　239
8.8.2　代码实现：调用函数并训练模型　240
8.9　实例23：实现带有W散度的GAN——WGAN-div模型　24*
8.9.*　代码实现：完成W散度的损失函数　24*
8.9.2　代码实现：定义训练函数来训练模型　242
8.*0　散度在*经网络中的应用　243
8.*0.*　f-GAN框架　243
8.*0.2　基于f散度的变分散度最小化方法　243
8.*0.3　用Fenchel共轭函数实现f-GAN　244
8.*0.4　f-GAN中判别器的激活函数　246
8.*0.5　互信息*经估计　247
8.*0.6　实例24：用*经网络估计互信息　249
8.*0.7　稳定训练GAN模型的经验和技巧　252
8.**　实例25：用*大化深度互信息模型执行图片搜索器　253
8.**.*　DIM模型的原理　254
8.**.2　DIM模型的结构　254
8.**.3　代码实现：加载CIFAR数据集　257
8.**.4　代码实现：定义DIM模型　260
8.**.5　代码实现：实例化DIM模型并进行训练　262
8.**.6　代码实现：加载模型搜索图片　264
第9章　快速了解图*经网络——少量样本也可以训练模型　269
9.*　图*经网络的相关基础知识　270
9.*.*　欧氏空间与非欧氏空间　270
9.*.2　图　270
9.*.3　图相关的术语和度量　270
9.*.4　图*经网络　27*
9.*.5　GNN的动机　27*
9.2　矩阵的基础　272
9.2.*　转置矩阵　272
9.2.2　对称矩阵及其*性　272
9.2.3　对角矩阵与单位矩阵　272
9.2.4　哈达马积　273
9.2.5　点积　273
9.2.6　对角矩阵的*性与操作方法　273
9.2.7　度矩阵与邻接矩阵　275
9.3　邻接矩阵的几种操作　275
9.3.*　获取有向图的短边和长边　276
9.3.2　将有向图的邻接矩阵转成*向图的邻接矩阵　277
9.4　实例26：用图卷积*经网络为论文分类　278
9.4.*　CORA数据集　278
9.4.2　代码实现：引入基础模块并设置运行环境　279
9.4.3　代码实现：读取并解析论文数据　279
9.4.4　代码实现：读取并解析论文关系数据　28*
9.4.5　代码实现：加工图结构的矩阵数据　283
9.4.6　代码实现：将数据转为张量，并分配运算资源　284
9.4.7　代码实现：定义Mish激活函数与图卷积操作类　284
9.4.8　代码实现：搭建多层图卷积网络　286
9.4.9　代码实现：用Ranger*化器训练模型并可视化结果　287
9.5　图卷积*经网络　290
9.5.*　图结构与拉普拉斯矩阵的关系　290
9.5.2　拉普拉斯矩阵的3种形式　29*
9.6　扩展实例：用Multi-sample Dropout*化模型的训练速度　29*
9.6.*　Multi-sample Dropout方法　292
9.6.2　代码实现：为图卷积模型添加 Multi-sample Dropout方法　292
9.6.3　代码实现：使用带有Multi-sample Dropout方法的图卷积模型　293
9.7　从图*经网络的视角看待深度学习　294
9.8　图*经网络使用拉普拉斯矩阵的原因　295
9.8.*　节点与邻接矩阵的点积作用　295
9.8.2　拉普拉斯矩阵的点积作用　296
9.8.3　重新审视图卷积的拟合本质　296
9.8.4　点积计算并*是唯*方法　296
第　*0章 基于空间域的图*经网络实现　297
*0.*　重新认识图卷积*经网络　298
*0.*.*　基于谱域的图处理　298
*0.*.2　基于*点域的图处理　298
*0.*.3　基于*点域的图卷积　298
*0.*.4　图卷积的*性　299
*0.2　实例27：用图注意力*经网络为论文分类　300
*0.2.*　图注意力网络　300
*0.2.2　工程*署　30*
*0.2.3　代码实现：对邻接矩阵进行对称归*化拉普拉斯矩阵转化　30*
*0.2.4　代码实现：搭建图注意力*经网络层　30*
*0.2.5　代码实现：搭建图注意力模型类　302
*0.2.6　代码实现：实例化图注意力模型，并进行训练与评估　303
*0.2.7　常用的图*经网络库　304
*0.3　图*经网络常用库——DGL库　305
*0.3.*　DGL库的实现与性能　305
*0.3.2　安装DGL库的方法及注意事项　305
*0.3.3　DGL库中的数据集　306
*0.3.4　DGL库中的图　307
*0.3.5　DGL库中的内联函数　307
*0.3.6　扩展：了解PyG库　307
*0.4　DGLGraph图的基本操作　308
*0.4.*　DGLGraph图的*建与维护　308
*0.4.2　查看DGLGraph图中的度　309
*0.4.3　DGLGraph图与NetWorkx图的相互转化　3*0
*0.4.4　NetWorkx库　3**
*0.4.5　DGLGraph图中*点属性的操作　3*3
*0.4.6　DGLGraph图中边属性的操作　3*4
*0.4.7　DGLGraph图属性操作中的注意事项　3*4
*0.4.8　使用函数对图的*点和边进行计算　3*5
*0.4.9　使用函数对图的*点和边进行过滤　3*5
*0.4.*0　DGLGraph图的消息传播　3*6
*0.4.**　DGL库中的多图处理　3*7
*0.5　实例28：用带有残差结构的多层GAT模型实现论文分类　3*8
*0.5.*　代码实现：使用DGL数据集加载CORA样本　3*9
*0.5.2　用邻居聚合策略实现GATConv　32*
*0.5.3　代码实现：用DGL库中的GATConv搭建多层GAT模型　323
*0.5.4　代码实现：使用早停方式训练模型并输出评估结果　324
*0.6　图卷积模型的缺陷　327
*0.6.*　*连接网络的*征与缺陷　327
*0.6.2　图卷积模型的缺陷　328
*0.6.3　弥补图卷积模型缺陷的方法　328
*0.6.4　从图结构角度理解图卷积原理及缺陷　328
*0.7　实例29：用简化图卷积模型实现论文分类　329
*0.7.*　SGC的网络结构　330
*0.7.2　DGL库中SGC模型的实现方式　33*
*0.7.3　代码实现：搭建SGC模型并进行训练　333
*0.7.4　扩展： SGC模型的*足　334
*0.8　实例30：用图滤波*经网络模型实现论文分类　334
*0.8.*　GfNN的结构　334
*0.8.2　代码实现：搭建GfNN模型并进行训练　335
*0.9　实例3*：用深度图互信息模型实现论文分类　337
*0.9.*　DGI模型的原理与READOUT函数　337
*0.9.2　代码实现：搭建多层SGC网络　338
*0.9.3　代码实现：搭建编码器和判别器　339
*0.9.4　代码实现：搭建DGI模型并进行训练　340
*0.9.5　代码实现：利用DGI模型提取*征并进行分类　342
*0.*0　实例32：用图同构网络模型实现论文分类　344
*0.*0.*　多重集与单射　344
*0.*0.2　GIN模型的原理与实现　344
*0.*0.3　代码实现：搭建多层GIN模型并进行训练　346
*0.**　实例33：用APPNP模型实现论文分类　347
*0.**.*　APPNP模型的原理与实现　347
*0.**.2　代码实现：搭建APPNP模型并进行训练　349
*0.*2　实例34：用JKNet模型实现论文分类　35*
*0.*2.*　JKNet模型结构　35*
*0.*2.2　代码实现：修改图数据的预处理*分　352
*0.*2.3　代码实现：搭建JKNet模型并进行训练　352
*0.*3　总结　355