目录

第 1 章 引言                                                                               1 

11 本书面向的读者                                                                   7 

12 深度学习的历史趋势                                                               8 

121 神经网络的众多名称和命运变迁                                                 8 

122 与日俱增的数据量                                                             12 

123 与日俱增的模型规模                                                          13 

124 与日俱增的精度、复杂度和对现实世界的冲击                                    15 

第 1 部分 应用数学与机器学习基础 

第 2 章 线性代数                                                                         19 

21 标量、向量、矩阵和张量                                                          19 

22 矩阵和向量相乘                                                                 21 

23 单位矩阵和逆矩阵                                                                22 

24 线性相关和生成子空间                                                           23 

25 范数                                                                             24 

26 特殊类型的矩阵和向量                                                           25 

27 特征分解                                                                          26 

28 奇异值分解                                                                       28 

29 Moore-Penrose 伪逆                                                               28 

210 迹运算                                                                           29 

211 行列式                                                                           30 

212 实例：主成分分析                                                              30 

第 3 章 概率与信息论                                                                   34 

31 为什么要使用概率                                                                34 

32 随机变量                                                                          35 

33 概率分布                                                                          36 

331 离散型变量和概率质量函数                                                    36 

332 连续型变量和概率密度函数                                                    36 

34 边缘概率                                                                          37 

35 条件概率                                                                          37 

36 条件概率的链式法则                                                              38 

37 独立性和条件独立性                                                              38 

38 期望、方差和协方差                                                              38 

39 常用概率分布                                                                     39 

391 Bernoulli 分布                                                                40 

392 Multinoulli 分布                                                              40 

393 高斯分布                                                                     40 

394 指数分布和 Laplace 分布                                                      41 

395 Dirac 分布和经验分布                                                         42 

396 分布的混合                                                                   42 

310 常用函数的有用性质                                                           43 

311 贝叶斯规则                                                                      45 

312 连续型变量的技术细节                                                          45 

313 信息论                                                                           47 

314 结构化概率模型                                                                 49 

第 4 章 数值计算                                                                         52 

41 上溢和下溢                                                                       52 

42 病态条件                                                                          53 

43 基于梯度的优化方法                                                              53 

431 梯度之上：Jacobian 和 Hessian 矩阵                                            56 

44 约束优化                                                                          60 

45 实例：线性ZUI小二乘                                                              61 

第 5 章 机器学习基础                                                                   63 

51 学习算法                                                                          63 

511 任务 T                                                                      63 

512 性能度量 P                                                                   66 

513 经验 E                                                                       66 

514 示例：线性回归                                                               68 

52 容量、过拟合和欠拟合                                                            70 

521 没有免费午餐定理                                                             73 

522 正则化                                                                       74 

53 超参数和验证集                                                                 76 

531 交叉验证                                                                     76 

54 估计、偏差和方差                                                               77 

541 点估计                                                                       77 

542 偏差                                                                         78 

543 方差和标准差                                                                 80 

544 权衡偏差和方差以ZUI小化均方误差                                              81 

545 一致性                                                                       82 

55 ZUI大似然估计                                                                     82 

551 条件对数似然和均方误差                                                     84 

552 ZUI大似然的性质                                                               84 

56 贝叶斯统计                                                                       85 

561 ZUI大后验 (MAP) 估计                                                         87 

57 监督学习算法                                                                     88 

571 概率监督学习                                                                 88 

572 支持向量机                                                                   88 

573 其他简单的监督学习算法                                                     90 

58 无监督学习算法                                                                 91 

581 主成分分析                                                                   92 

582 k-均值聚类                                                                   94 

59 随机梯度下降                                                                     94 

510 构建机器学习算法                                                               96 

511 促使深度学习发展的挑战                                                        96 

5111 维数灾难                                                                    97 

5112 局部不变性和平滑正则化                                                     97 

5113 流形学习                                                                    99 

第 2 部分 深度网络：现代实践 

第 6 章 深度前馈网络                                                                   105 

61 实例：学习 XOR                                                                107 

62 基于梯度的学习                                                                 110 

621 代价函数                                                                    111 

622 输出单元                                                                    113 

63 隐藏单元                                                                       119 

631 整流线性单元及其扩展                                                       120 

632 logistic sigmoid 与双曲正切函数                                               121 

633 其他隐藏单元                                                                122 

64 架构设计                                                                       123 

641 万能近似性质和深度                                                        123 

642 其他架构上的考虑                                                           126 

65 反向传播和其他的微分算法                                                    126 

651 计算图                                                                      127 

652 微积分中的链式法则                                                        128 

653 递归地使用链式法则来实现反向传播                                           128 

654 全连接 MLP 中的反向传播计算                                               131 

655 符号到符号的导数                                                           131 

656 一般化的反向传播                                                           133 

657 实例：用于 MLP 训练的反向传播                                             135 

658 复杂化                                                                      137 

659 深度学习界以外的微分                                                       137 

6510 高阶微分                                                                   138 

66 历史小记                                                                       139 

第 7 章 深度学习中的正则化                                                            141 

71 参数范数惩罚                                                                    142 

711 L2 参数正则化                                                               142 

712 L1 正则化                                                                   144 

72 作为约束的范数惩罚                                                           146 

73 正则化和欠约束问题                                                           147 

74 数据集增强                                                                      148 

75 噪声鲁棒性                                                                      149 

751 向输出目标注入噪声                                                        150 

76 半监督学习                                                                      150 

77 多任务学习                                                                      150 

78 提前终止                                                                       151 

79 参数绑定和参数共享                                                           156 

791 卷积神经网络                                                                156 

710 稀疏表示                                                                      157 

711 Bagging 和其他集成方法                                                      158 

712 Dropout                                                                        159 

713 对抗训练                                                                      165 

714 切面距离、正切传播和流形正切分类器                                         167 

第 8 章 深度模型中的优化                                                             169 

81 学习和纯优化有什么不同                                                        169 

811 经验风险ZUI小化                                                              169 

812 代理损失函数和提前终止                                                     170 

813 批量算法和小批量算法                                                       170 

82 神经网络优化中的挑战                                                          173 

821 病态                                                                        173 

822 局部极小值                                                                  174 

823 高原、鞍点和其他平坦区域                                                   175 

824 悬崖和梯度爆炸                                                              177 

825 长期依赖                                                                    177 

826 非精确梯度                                                                  178 

827 局部和全局结构间的弱对应                                                   178 

828 优化的理论限制                                                              179 

83 基本算法                                                                       180 

831 随机梯度下降                                                                180 

832 动量                                                                        181 

833 Nesterov 动量                                                              183 

84 参数初始化策略                                                                 184 

85 自适应学习率算法                                                               187 

851 AdaGrad                                                                   187 

852 RMSProp                                                                   188 

853 Adam                                                                       189 

854 选择正确的优化算法                                                        190 

86 二阶近似方法                                                                    190 

861 牛顿法                                                                      190 

862 共轭梯度                                                                    191 

863 BFGS                                                                      193 

87 优化策略和元算法                                                               194 

871 批标准化                                                                    194 

872 坐标下降                                                                    196 

873 Polyak 平均                                                                 197 

874 监督预训练                                                                  197 

875 设计有助于优化的模型                                                       199 

876 延拓法和课程学习                                                           199 

第 9 章 卷积网络                                                                        201 

91 卷积运算                                                                       201 

92 动机                                                                             203 

93 池化                                                                             207 

94 卷积与池化作为一种无限强的先验                                              210 

95 基本卷积函数的变体                                                           211 

96 结构化输出                                                                      218 

97 数据类型                                                                       219 

98 高效的卷积算法                                                                 220 

99 随机或无监督的特征                                                           220 

910 卷积网络的神经科学基础                                                       221 

911 卷积网络与深度学习的历史                                                    226 

第 10 章 序列建模：循环和递归网络                                                    227 

101 展开计算图                                                                     228 

102 循环神经网络                                                                  230 

1021 导师驱动过程和输出循环网络                                                232 

1022 计算循环神经网络的梯度                                                    233 

1023 作为有向图模型的循环网络                                                  235 

1024 基于上下文的 RNN 序列建模                                                237 

103 双向 RNN                                                                      239 

104 基于编码 - 解码的序列到序列架构                                              240 

105 深度循环网络                                                                  242 

106 递归神经网络                                                                  243 

107 长期依赖的挑战                                                                244 

108 回声状态网络                                                                  245 

109 渗漏单元和其他多时间尺度的策略                                             247 

1091 时间维度的跳跃连接                                                       247 

1092 渗漏单元和一系列不同时间尺度                                              247 

1093 删除连接                                                                   248 

1010 长短期记忆和其他门控 RNN                                                 248 

10101 LSTM                                                                    248 

10102 其他门控 RNN                                                           250 

1011 优化长期依赖                                                                251 

10111 截断梯度                                                                  251 

10112 引导信息流的正则化                                                       252 

1012 外显记忆                                                                      253 

第 11 章 实践方法论                                                                    256 

111 性能度量                                                                      256 

112 默认的基准模型                                                                258 

113 决定是否收集更多数据                                                         259 

114 选择超参数                                                                     259 

1141 手动调整超参数                                                            259 

1142 自动超参数优化算法                                                       262 

1143 网格搜索                                                                   262 

1144 随机搜索                                                                   263 

1145 基于模型的超参数优化                                                      264 

115 调试策略                                                                      264 

116 示例：多位数字识别                                                            267 

第 12 章 应用                                                                          269 

121 大规模深度学习                                                                269 

1211 快速的 CPU 实现                                                           269 

1212 GPU 实现                                                                  269 

1213 大规模的分布式实现                                                       271 

1214 模型压缩                                                                   271 

1215 动态结构                                                                   272 

1216 深度网络的专用硬件实现                                                    273 

122 计算机视觉                                                                     274 

1221 预处理                                                                     275 

1222 数据集增强                                                                 277 

123 语音识别                                                                      278 

124 自然语言处理                                                                  279 

1241 n-gram                                                                    280 

1242 神经语言模型                                                               281 

1243 高维输出                                                                   282 

1244 结合 n-gram 和神经语言模型                                                286 

1245 神经机器翻译                                                               287 

1246 历史展望                                                                   289 

125 其他应用                                                                      290 

1251 推荐系统                                                                   290 

1252 知识表示、推理和回答                                                       292 

第 3 部分 深度学习研究 

第 13 章 线性因子模型                                                                  297 

131 概率 PCA 和因子分析                                                          297 

132 独立成分分析                                                                  298 

133 慢特征分析                                                                     300 

134 稀疏编码                                                                      301 

135 PCA 的流形解释                                                               304 

第 14 章 自编码器                                                                       306 

141 欠完备自编码器                                                                306 

142 正则自编码器                                                                  307 

1421 稀疏自编码器                                                               307 

1422 去噪自编码器                                                               309 

1423 惩罚导数作为正则                                                         309 

143 表示能力、层的大小和深度                                                     310 

144 随机编码器和解码器                                                          310 

145 去噪自编码器详解                                                              311 

1451 得分估计                                                                   312 

1452 历史展望                                                                   314 

146 使用自编码器学习流形                                                         314 

147 收缩自编码器                                                                  317 

148 预测稀疏分解                                                                  319 

149 自编码器的应用                                                                319 

第 15 章 表示学习                                                                       321 

151 贪心逐层无监督预训练                                                         322 

1511 何时以及为何无监督预训练有效有效                                          323 

152 迁移学习和领域自适应                                                         326 

153 半监督解释因果关系                                                          329 

154 分布式表示                                                                     332 

155 得益于深度的指数增益                                                         336 

156 提供发现潜在原因的线索                                                       337 

第 16 章 深度学习中的结构化概率模型                                                 339 

161 非结构化建模的挑战                                                          339 

162 使用图描述模型结构                                                          342 

1621 有向模型                                                                   342 

1622 无向模型                                                                   344 

1623 配分函数                                                                   345 

1624 基于能量的模型                                                            346 

1625 分离和 d-分离                                                              347 

1626 在有向模型和无向模型中转换                                                350 

1627 因子图                                                                     352 

163 从图模型中采样                                                                353 

164 结构化建模的优势                                                              353 

165 学习依赖关系                                                                  354 

166 推断和近似推断                                                                354 

167 结构化概率模型的深度学习方法                                              355 

1671 实例：受限玻尔兹曼机                                                       356 

第 17 章 蒙特卡罗方法                                                                  359 

171 采样和蒙特卡罗方法                                                          359 

1711 为什么需要采样                                                            359 

1712 蒙特卡罗采样的基础                                                       359 

172 重要采样                                                                      360 

173 马尔可夫链蒙特卡罗方法                                                       362 

174 Gibbs 采样                                                                    365 

175 不同的峰值之间的混合挑战                                                    365 

1751 不同峰值之间通过回火来混合                                                367 

1752 深度也许会有助于混合                                                      368 

第 18 章 直面配分函数                                                                  369 

181 对数似然梯度                                                                  369 

182 随机ZUI大似然和对比散度                                                       370 

183 伪似然                                                                          375 

184 得分匹配和比率匹配                                                          376 

185 去噪得分匹配                                                                  378 

186 噪声对比估计                                                                  378 

187 估计配分函数                                                                  380 

1871 退火重要采样                                                               382 

1872 桥式采样                                                                   384 

第 19 章 近似推断                                                                       385 

191 把推断视作优化问题                                                          385 

192 期望ZUI大化                                                                     386 

193 ZUI大后验推断和稀疏编码                                                       387 

194 变分推断和变分学习                                                          389 

1941 离散型潜变量                                                               390 

1942 变分法                                                                     394 

1943 连续型潜变量                                                               396 

1944 学习和推断之间的相互作用                                                  397 

195 学成近似推断                                                                  397 

1951 醒眠算法                                                                   398 

1952 学成推断的其他形式                                                       398 

第 20 章 深度生成模型                                                                  399 

201 玻尔兹曼机                                                                     399 

202 受限玻尔兹曼机                                                                400 

2021 条件分布                                                                   401 

2022 训练受限玻尔兹曼机                                                       402 

203 深度信念网络                                                                  402 

204 深度玻尔兹曼机                                                                404 

2041 有趣的性质                                                                 406 

2042 DBM 均匀场推断                                                           406 

2043 DBM 的参数学习                                                           408 

2044 逐层预训练                                                                 408 

2045 联合训练深度玻尔兹曼机                                                    410 

205 实值数据上的玻尔兹曼机                                                       413 

2051 Gaussian-Bernoulli RBM                                                    413 

2052 条件协方差的无向模型                                                      414 

206 卷积玻尔兹曼机                                                                417 

207 用于结构化或序列输出的玻尔兹曼机                                           418 

208 其他玻尔兹曼机                                                                419 

209 通过随机操作的反向传播                                                       419 

2091 通过离散随机操作的反向传播                                                420 

2010 有向生成网络                                                                422 

20101 sigmoid 信念网络                                                          422 

20102 可微生成器网络                                                           423 

20103 变分自编码器                                                             425 

20104 生成式对抗网络                                                           427 

20105 生成矩匹配网络                                                           429 

20106 卷积生成网络                                                             430 

20107 自回归网络                                                                430 

20108 线性自回归网络                                                           430 

20109 神经自回归网络                                                           431 

201010 NADE                                                                   432 

2011 从自编码器采样                                                               433 

20111 与任意去噪自编码器相关的马尔可夫链                                       434 

20112 夹合与条件采样                                                           434 

20113 回退训练过程                                                             435 

2012 生成随机网络                                                                435 

20121 判别性 GSN                                                               436 

2013 其他生成方案                                                                436 

2014 评估生成模型                                                                437 

2015 结论                                                                           438 

参考文献                                                                                 439 

索引                    

《深度学习》由全球zhiming的三位专家Ian Goodfellow、Yoshua Bengio 和Aaron Courville撰写，是深度学习领域奠基性的经典教材。全书的内容包括3个部分：第1部分介绍基本的数学工具和机器学习的概念，它们是深度学习的预备知识；第2部分系统深入地讲解现今已成熟的深度学习方法和技术；第3部分讨论某些具有前瞻性的方向和想法，它们被公认为是深度学习未来的研究重点。

《深度学习》适合各类读者阅读，包括相关专业的大学生或研究生，以及不具有机器学习或统计背景、但是想要快速补充深度学习知识，以便在实际产品或平台中应用的软件工程师。