本书对所有重要的机器学习方法和新近研究趋势进行了深入探索，新版重写了关于神经网络和深度学习的章节，并扩展了关于贝叶斯学习的内容。书中首先讨论基础知识，包括均方、最小二乘和最大似然方法，以及岭回归、贝叶斯决策理论分类、逻辑回归和决策树。然后介绍较新的技术，包括稀疏建模方法、再生核希尔伯特空间和支持向量机中的学习、关注EM算法的贝叶斯推理及其变分近似推理、蒙特卡罗方法、关注贝叶斯网络的概率图模型、隐马尔可夫模型和粒子滤波。此外，书中还讨论了降维、隐变量建模、统计参数估计、维纳和卡尔曼滤波、凸优化等技术。

目录

译者序

前言

致谢

作者简介

符号说明

第1章 引言1

1.1 历史背景1

1.2 人工智能与机器学习1

1.3 算法能学习数据中隐藏的东西3

1.4 机器学习典型应用4

1.4.1 语音识别4

1.4.2 计算机视觉4

1.4.3 多模态数据5

1.4.4 自然语言处理5

1.4.5 机器人5

1.4.6 自动驾驶5

1.4.7 未来的挑战5

1.5 机器学主要方向6

1.5.1 监督学习6

1.6 无监督和半监督学习8

1.7 本书结构和路线图9

参考文献11

第2章 概率和过程13

2.1 引言13

2.2 概率和变量13

2.2.1 概率13

2.2.2 离散变量14

2.2.3 连续变量16

2.2.4 均值和方差16

2.2.5 变量变换18

2.3 分布示例19

2.3.1 离散变量19

2.3.2 连续变量21

2.4 过程27

2.4.1 一阶和二阶统计量28

2.4.2 平稳和遍历29

2.4.3率谱密度31

2.4.4 自回归模型35

2.5 信息论38

2.5.1 离散变量38

2.5.2 连续变量41

2.6 收敛42

2.6.1 处处收敛43

2.6.2 几乎处处收敛43

2.6.3 均方意义下的收敛43

2.6.4 依概率收敛43

2.6.5 依分布收敛43

习题44

参考文献45

第3章 参数化建模学习：概念和方向46

3.1 引言46

3.2 参数估计：确定观点46

3.3 线回归49

3.4 分类52

3.4.1 生成和判别学习54

3.5 有偏估计与无偏估计55

3.5.1 选择有偏还是无偏估计56

3.6 克拉美-罗下界57

3.7 充分统计量60

3.8 正则化61

3.8.1 逆问题：病态和过拟合63

3.9 偏差-方差困境65

3.9.1 均方误差估计65

3.9.2 偏差-方差权衡66

3.10 似然法69

3.10.1 线回归：非白高斯噪声实例71

3.11 贝叶斯推断71

3.11.1 后验概率估计方法74

3.12 维数灾难75

3.13 验证76

3.13.1 交叉验证77

3.14 期望损失函数和经验风险函数78

3.14.1 可学习79

3.15 非参数建模和非参数估计79

习题80

参考文献83

第4章 均方误差线估计85

4.1 引言85

4.2 均方误差线估计：正规方程85

4.2.1 代价函数曲面86

4.3 几何观点：正交条件87

4.4 扩展到复值变量89

4.4.1 宽线复值估计90

4.4.2 复值变量优化：沃廷格微积分93

4.5 线滤波94

4.6 均方误差线滤波：频率域观点96

4.6.1 反卷积：图像去模糊96

4.7 一些典型应用98

4.7.1 干扰抵消98

4.7.2 系统辨识99

4.7.3 反卷积：信道均衡100

4.8 算法方面：莱文森算法和格-梯算法105

4.8.1 前向后向均方误差预测106

4.8.2 格-梯方案109

4.9 线模型均方误差估计111

4.9.1 高斯-马尔可夫定理113

4.9.2 约束线估计：波束成形实例115

4.10 时变统计：卡尔曼滤波118

习题123

参考文献125

第5章 梯度下降：LMS算法族127

5.1 引言127

5.2 速下降法127

5.3 应用于均方误差代价函数130

5.3.1 时变步长135

5.3.2 复值情形135

5.4 136

5.4.1 在均方误差线估计中的应用138

5.5 小均方自适应算法139

5.5.1 平稳环境中LMS算法的收敛和稳态能140

5.5.2 累积损失上界144

5.6 仿射投影算法145

5.6.1 APA的几何解释147

5.6.2 正交投影148

5.6.3 归一化LMS算法149

5.7 复值情形150

5.7.1 宽线LMS151

5.7.2 宽线APA151

5.8 LMS同族算法152

5.8.1 符号误差LMS152

5.8.2 小均四次方算法152

5.8.3 变换域LMS153

5.9 仿真示例155

5.10 自适应判决反馈均衡157

5.11 线约束LMS159

5.12 非平稳环境中LMS算法的跟踪能160

5.13 分布式学习：分布式LMS162

5.13.1 协同策略163

5.13.2 扩散LMS164

5.13.3 收敛和稳态能：一些169

5.13.4 基于共识的分布式方法171

5.14 实例研究：目标定位172

5.15 一些结论：共识矩阵174

习题174

参考文献177

第6章 小二乘算法族181

6.1 引言181

6.2 小二乘线回归：几何视角181

6.3 小二乘估计的统计特183

6.3.1 LS估计是无偏估计183

6.3.2 LS估计的协方差矩阵183

6.3.3 白噪声下LS估计是线无偏估计184

6.3.4 高斯白噪声下LS估计达到克拉美-罗界185

6.3.5 LS估计的分布185

6.4 正交化输入矩阵的列空间：SVD方法186

6.4.1 伪逆矩阵和SVD187

6.5 岭回归：几何观点189

6.5.1 主成分回归190

6.6 递归小二乘算法191

6.6.1 时间迭代计算192

6.6.2 参数的时间更新192

6.7 牛顿迭代极小化方法194

6.7.1 RLS和牛顿方法195

6.8 RLS的稳态能196

6.9 复值数据：宽线RLS198

6.10 LS方法的计算199

6.10.1 乔列斯基分解199

6.10.2 QR分解199

6.10.3 快速RLS版本200

6.11 坐标下降法和循环坐标下降法201

6.12 仿真示例202

6.13体小二乘法205

6.13.1体小二乘法的几何解释208

习题210

参考文献212

第7章 分类：经典方法导览215

7.1 引言215

7.2 贝叶斯分类215

7.2.1 贝叶斯分类器小化分类误差216

7.2.2 平均风险217

7.3 决策（超）曲面219

7.3.1 高斯分布实例220

7.4 朴素贝叶斯分类器224

7.5 邻法则225

7.6 对数几率回归226

7.7 费舍尔线判别230

7.7.1 散布矩阵230

7.7.2 费舍尔判别：两类情况232

7.7.3 费舍尔判别：多类情况234

7.8 分类树235

7.9 分类器组合238

7.9.1 无免费午餐原理238

7.9.2 一些实验比较239

7.9.3 分类器组合方案239

7.10 提升方法241

7.10.1 AdaBoost算法241

7.10.2 对数损失函数244

7.11 提升树246

习题247

参考文献250

第8章 参数学习：凸分析方法252

8.1 引言252

8.2 凸集和凸函数252

8.2.1 凸集252

8.2.2 凸函数254

8.3 凸集投影法256

8.3.1 投影特258

8.4 凸集投影基本定理261

8.5 并行POCS263

8.6 从凸集到参数估计和机器学习264

8.6.1 回归264

8.6.2 分类266

8.7 无穷多封闭凸集：在线学习实例267

8.7.1 APSM的收敛269

8.8 约束学习272

8.9 分布式APSM273

8.10 优化非光滑凸代价函数275

8.10.1 次梯度和次微分275

8.10.2 小化非光滑连续凸损失函数：批量学习实例277

8.10.3 凸优化在线学习281

8.11 悔过分析284

8.11.1 次梯度算法的悔过分析285

8.12 在线学习和大数据应用：讨论286

8.12.1似、估计和优化误差287

8.12.2 批处理与在线学习288

8.13端算子290

8.13.1端算子的质293

8.13.2端小化293

8.14端分裂优化方法295

8.14.1端前向-后向分裂算子297

8.14.2 交替方向乘子法297

8.14.3 镜像下降算法298

8.15 分布式优化：一些要点299

习题300

参考文献303

第9章 稀疏感知学习：概念和理论基础307

9.1 引言307

9.2 寻找范数307

9.3 小收缩和选择算子309

9.4 稀疏信号表示313

9.5 寻找稀疏解315

9.5.1 2范数极小值316

9.5.2 0范数极小值317

9.5.3 1范数极小值317

9.5.4 1范数极小值的质318

9.5.5 几何解释319

9.6 0极小值的321

9.6.1 互相干322

9.7 0和1极小值等价的充分条件324

9.7.1 自相干数隐含的条件324

9.7.2 约束等距324

9.8 基于噪声测量的鲁棒稀疏信号恢复327

9.9 压缩感知：的荣光328

9.9.1 压缩感知328

9.9.2 降定嵌入329

9.9.3 欠奈奎斯特采样：模拟信息转换330

9.10 实例研究：图像降噪333

习题335

参考文献337

第10章 稀疏感知学习：算法和应用341

10.1 引言341

10.2 稀疏提升算法341

10.2.1 贪心算法341

10.2.2 迭代收缩/阈值算法345

10.2.3 关于算法选择的一些实用提示351

10.3 稀疏感知方法的变化354

10.4 在线稀疏提升算法360

10.4.1 LASSO：能361