机器学习是以概率论、统计学、信息论、最优化理论、计算理论等为基础的计算机应用理论学科，也是人工智能、数据挖掘等领域的基础学科。《机器学习方法》全面系统地介绍了机器学习的主要方法，共分三篇。第一篇介绍监督学习的主要方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、Boosting、EM算法、隐马尔可夫模型、条件随机场等；第二篇介绍无监督学习的主要方法，包括聚类、奇异值分解、主成分分析、潜在语义分析、概率潜在语义分析、马尔可夫链蒙特卡罗法、潜在狄利克雷分配、PageRank算法等。第三篇介绍深度学习的主要方法，包括前馈神经网络、卷积神经网络、循环神经网络、序列到序列模型、预训练语言模型、生成对抗网络等。书中每章介绍一两种机器学习方法，详细叙述各个方法的模型、策略和算法。从具体例子入手，由浅入深，帮助读者直观地理解基本思路，同时从理论角度出发，给出严格的数学推导，严谨详实，让读者更好地掌握基本原理和概念。目的是使读者能学会和使用这些机器学习的基本技术。为满足读者进一步学习的需要，书中还对各个方法的要点进行了总结，给出了一些习题，并列出了主要参考文献。

    《机器学习方法》是机器学习及相关课程的教学参考书，适合人工智能、数据挖掘等专业的本科生、研究生使用，也供计算机各个领域的专业研发人员参考。

李航，字节跳动科技有限公司人工智能实验室总监， IEEE会士、ACL会士、ACM杰出科学家、CCF杰出会员。研究方向包括信息检索、自然语言处理、统计机器学习及数据挖掘。李航于1988年从日本京都大学电气工程系毕业，1998年获得日本东京大学计算机科学博士。他1990年至2001年就职于日本NEC公司中央研究所，任研究员；2001年至2012年就职于微软亚洲研究院，任高级研究员与主任研究员；2012年至2017年就职于华为技术有限公司诺亚方舟实验室，任首席科学家、主任。李航一直活跃在相关学术领域，曽出版过四部学术专著，并在顶级国际学术会议和顶级国际学术期刊上发表过120多篇学术论文，包括SIGIR, WWW, WSDM, ACL, EMNLP, ICML, NIPS, SIGKDD, AAAI, IJCAI，以及NLE, JMLR, TOIS, IRJ, IPM, TKDE, TWEB, TIST等。他和同事的论文获得了KDD2008最佳应用论文奖，他指导的学生获得了SIGIR2008，ACL2012最佳学生论文奖。李航参与了多项产品开发，包括Microsoft SQL Server 2005, Microsoft Office 2007, Microsoft Live Search 2008, Microsoft Bing 2009, Bing 2010, Office 2010, Office 2012，拥有42项授权美国专利。李航还在顶级国际学术会议和顶级国际学术期刊担任许多重要工作，如大会程序委员会主席，资深委员，及委员，期刊编委，包括SIGIR, WWW, WSDM, ACL, NAACL, EMNLP, NIPS,SIGKDD, ICDM, ACML, IJCAI, IRJ, TIST, JASIST, JCST等。

《机器学习方法》在《统计学习方法》的基础上增加了深度学习的内容，全面系统地介绍了机器学习的主要方法，系统阐述其理论、模型、策略和算法，从具体例子入手，由浅入深，帮助读者直观地理解基本思路，同时从理论角度出发，给出严格的数学推导，严谨详实，让读者更好地掌握基本原理和概念。《机器学习方法》可作为机器学习及相关课程的教学参考书，适合人工智能、文本数据挖掘、信息检索及自然语言处理等专业的本科生、研究生使用，也供计算机各个领域的专业研发人员参考。

第1篇监督学习

第1章机器学习及监督学习概论3

11机器学习3

12机器学习的分类5

121基本分类5

122按模型分类10

123按算法分类11

124按技巧分类12

13机器学习方法三要素13

131模型13

132策略14

133算法16

14模型评估与模型选择17

141训练误差与测试误差17

142过拟合与模型选择18

15正则化与交叉验证20

151正则化20

152交叉验证20

16泛化能力21

161泛化误差21

162泛化误差上界22

17生成模型与判别模型24

18监督学习应用24

181分类问题24

182标注问题26

183回归问题27

本章概要28

继续阅读29

习题29

参考文献29

第2章感知机30

21感知机模型30

22感知机学习策略31

221数据集的线性可分性31

222感知机学习策略31

23感知机学习算法32

231感知机学习算法的原始形式33

232算法的收敛性35

233感知机学习算法的对偶形式37

本章概要39

继续阅读40

习题40

参考文献40

第3章k近邻法41

31k近邻算法41

32k近邻模型42

321模型42

322距离度量42

323k值的选择43

324分类决策规则44

33k近邻法的实现：kd树44

331构造kd树45

332搜索kd树46

本章概要48

继续阅读48

习题48

参考文献49

第4章朴素贝叶斯法50

41朴素贝叶斯法的学习与分类50

411基本方法50

412后验概率最大化的含义51

42朴素贝叶斯法的参数估计52

421极大似然估计52

422学习与分类算法53

423贝叶斯估计54

本章概要55

继续阅读56

习题56

参考文献56

第5章决策树57

51决策树模型与学习57

511决策树模型57

512决策树与if-then规则58

513决策树与条件概率分布58

514决策树学习58

52特征选择60

521特征选择问题60

522信息增益61

523信息增益比64

53决策树的生成64

531ID3算法65

532C45的生成算法66

54决策树的剪枝66

55CART算法68

551CART生成69

552CART剪枝72

本章概要74

继续阅读75

习题75

参考文献75

第6章逻辑斯谛回归与最大熵模型77

61逻辑斯谛回归模型77

611逻辑斯谛分布77

612二项逻辑斯谛回归模型78

613模型参数估计79

614多项逻辑斯谛回归79

62最大熵模型80

621最大熵原理80

622最大熵模型的定义82

623最大熵模型的学习83

624极大似然估计86

63模型学习的最优化算法87

631改进的迭代尺度法87

632拟牛顿法90

机器学习方法

本章概要91

继续阅读92

习题92

参考文献93

第7章支持向量机94

71线性可分支持向量机与硬间隔最大化94

711线性可分支持向量机94

712函数间隔和几何间隔96

713间隔最大化97

714学习的对偶算法101

72线性支持向量机与软间隔最大化106

721线性支持向量机106

722学习的对偶算法107

723支持向量110

724合页损失函数111

73非线性支持向量机与核函数112

731核技巧112

732正定核115

733常用核函数118

734非线性支持向量分类机120

74序列最小最优化算法121

741两个变量二次规划的求解方法122

742变量的选择方法124

743SMO算法126

本章概要127

继续阅读129

习题129

参考文献129

第8章Boosting131

81AdaBoost算法131

811Boosting的基本思路131

812AdaBoost算法132

813AdaBoost的例子134

82AdaBoost算法的训练误差分析135

83AdaBoost算法的解释137

831前向分步算法137

832前向分步算法与AdaBoost138

目录XI

84提升树140

841提升树模型140

842提升树算法140

843梯度提升144

本章概要145

继续阅读146

习题146

参考文献146

第9章EM算法及其推广148

91EM算法的引入148

911EM算法148

912EM算法的导出151

913EM算法在无监督学习中的应用153

92EM算法的收敛性153

93EM算法在高斯混合模型学习中的应用154

931高斯混合模型155

932高斯混合模型参数估计的EM算法155

94EM算法的推广158

941F函数的极大-极大算法158

942GEM算法160

本章概要161

继续阅读162

习题162

参考文献162

第10章隐马尔可夫模型163

101隐马尔可夫模型的基本概念163

1011隐马尔可夫模型的定义163

1012观测序列的生成过程166

1013隐马尔可夫模型的3个基本问题166

102概率计算算法166

1021直接计算法166

1022前向算法167

1023后向算法169

1024一些概率与期望值的计算170

103学习算法172

1031监督学习方法172

1032Baum-Welch算法172

XII机器学习方法

1033Baum-Welch模型参数估计公式174

104预测算法175

1041近似算法175

1042维特比算法176

本章概要179

继续阅读179

习题180

参考文献180

第11章条件随机场181

111概率无向图模型181

1111模型定义181

1112概率无向图模型的因子分解183

112条件随机场的定义与形式184

1121条件随机场的定义184

1122条件随机场的参数化形式185

1123条件随机场的简化形式186

1124条件随机场的矩阵形式187

113条件随机场的概率计算问题189

1131前向-后向算法189

1132概率计算189

1133期望值的计算190

114条件随机场的学习算法191

1141改进的迭代尺度法191

1142拟牛顿法194

115条件随机场的预测算法195

本章概要197

继续阅读198

习题198

参考文献199

第12章监督学习方法总结200

第

2篇

无

监

督

学

习

无监学习

第13章无监督学习概论207

131无监督学习基本原理207

132基本问题208

133机器学习三要素210

134无监督学习方法210

目录XIII

本章概要214

继续阅读215

参考文献215

第14章聚类方法216

141聚类的基本概念216

1411相似度或距离216

1412类或簇219

1413类与类之间的距离220

142层次聚类220

143k均值聚类222

1431模型222

1432策略223

1433算法224

1434算法特性225

本章概要226

继续阅读227

习题227

参考文献227

第15章奇异值分解229

151奇异值分解的定义与性质229

1511定义与定理229

1512紧奇异值分解与截断奇异值分解233

1513几何解释235

1514主要性质237

152奇异值分解的计算238

153奇异值分解与矩阵近似241

1531弗罗贝尼乌斯范数241

1532矩阵的最优近似242

1533矩阵的外积展开式245

本章概要247

继续阅读248

习题248

参考文献249

第16章主成分分析250

161总体主成分分析250

1611基本想法250

XIV机器学习方法

1612定义和导出252

1613主要性质253

1614主成分的个数257

1615规范化变量的总体主成分260

162样本主成分分析260

1621样本主成分的定义和性质261

1622相关矩阵的特征值分解算法263

1623数据矩阵的奇异值分解算法265

本章概要267

继续阅读269

习题269

参考文献269

第17章潜在语义分析271

171单词向量空间与话题向量空间271

1711单词向量空间271

1712话题向量空间273

172潜在语义分析算法276

1721矩阵奇异值分解算法276

1722例子278

173非负矩阵分解算法279

1731非负矩阵分解279

1732潜在语义分析模型280

1733非负矩阵分解的形式化280

1734算法281

本章概要283

继续阅读284

习题284

参考文献285

第18章概率潜在语义分析286

181概率潜在语义分析模型286

1811基本想法286

1812生成模型287

1813共现模型288

1814模型性质289

182概率潜在语义分析的算法291

本章概要293

继续阅读294

目录XV

习题294

参考文献295

第19章马尔可夫链蒙特卡罗法296

191蒙特卡罗法296

1911随机抽样296

1912数学期望估计297

1913积分计算298

192马尔可夫链299

1921基本定义299

1922离散状态马尔可夫链300

1923连续状态马尔可夫链305

1924马尔可夫链的性质306

193马尔可夫链蒙特卡罗法310

1931基本想法310

1932基本步骤311

1933马尔可夫链蒙特卡罗法与统计学习311

194Metropolis-Hastings算法312

1941基本原理312

1942Metropolis-Hastings算法315

1943单分量Metropolis-Hastings算法315

195吉布斯抽样316

1951基本原理316

1952吉布斯抽样算法318

1953抽样计算319

本章概要320

继续阅读321

习题321

参考文献322

第20章潜在狄利克雷分配324

201狄利克雷分布324

2011分布定义324

2012共轭先验327

202潜在狄利克雷分配模型328

2021基本想法328

2022模型定义329

2023概率图模型331

2024随机变量序列的可交换性332

XVI机器学习方法

2025概率公式332

203LDA的吉布斯抽样算法333

2031基本想法333

2032算法的主要部分334

2033算法的后处理336

2034算法337

204LDA的变分EM算法338

2041变分推理338

2042变分EM算法339

2043算法推导340

2044算法总结346

本章概要346

继续阅读348

习题348

参考文献348

第21章PageRank算法349

211PageRank的定义349

2111基本想法349

2112有向图和随机游走模型350

2113PageRank的基本定义352

2114PageRank的一般定义354

212PageRank的计算355

2121迭代算法355

2122幂法357

2123代数算法361

本章概要362

继续阅读363

习题363

参考文献364

第22章无监督学习方法总结365

221无监督学习方法的关系和特点365

2211各种方法之间的关系365

2212无监督学习方法366

2213基础机器学习方法366

222话题模型之间的关系和特点367

参考文献368

目录XVII

第

3篇

深

度

学

习

第23章前馈神经网络371

231前馈神经网络的模型371

2311前馈神经网络定义372

2312前馈神经网络的例子381

2313前馈神经网络的表示能力386

232前馈神经网络的学习算法389

2321前馈神经网络学习389

2322前馈神经网络学习的优化算法391

2323反向传播算法393

2324在计算图上的实现397

2325算法的实现技巧401

233前馈神经网络学习的正则化406

2331深度学习中的正则化406

2332早停法406

2333暂退法408

本章概要410

继续阅读413

习题413

参考文献414

第24章卷积神经网络415

241卷积神经网络的模型415

2411背景415

2412卷积416

2413汇聚424

2414卷积神经网络427

2415卷积神经网络性质430

242卷积神经网络的学习算法432

2421卷积导数432

2422反向传播算法433

243图像分类中的应用436

2431AlexNet436

2432残差网络437

本章概要441

继续阅读443

习题443

参考文献445

XVIII机器学习方法

第25章循环神经网络447

251简单循环神经网络447

2511模型447

2512学习算法450

252常用循环神经网络454

2521长短期记忆网络454

2522门控循环单元网络457

2523深度循环神经网络458

2524双向循环神经网络459

253自然语言生成中的应用460

2531词向量460

2532语言模型与语言生成463

本章概要465

继续阅读467

习题467

参考文献468

第26章序列到序列模型469

261序列到序列基本模型469

2611序列到序列学习469

2612基本模型471

262RNNSearch模型472

2621注意力472

2622模型定义474

2623模型特点475

263Transformer模型475

2631模型架构476

2632模型特点482

本章概要483

继续阅读486

习题486

参考文献486

第27章预训练语言模型488

271GPT模型488

2711预训练语言模型488

2712模型和学习490

272BERT模型493

2721去噪自动编码器493

2722模型和学习495

目录XIX

2723模型特点499

本章概要500

继续阅读502

习题502

参考文献502

第28章生成对抗网络504

281GAN基本模型504

2811模型504

2812学习算法506

2813理论分析507

282图像生成中的应用508

2821转置卷积509

2822DCGAN511

本章概要513

继续阅读514

习题514

参考文献515

第29章深度学习方法总结516

291深度学习的模型516

292深度学习的方法518

293深度学习的优化算法520

294深度学习的优缺点522

参考文献523

附录A梯度下降法524

附录B牛顿法和拟牛顿法526

附录C拉格朗日对偶性531

附录D矩阵的基本子空间534

附录EKL散度的定义和狄利克雷分布的性质537

附录F软最大化函数的偏导数和交叉熵损失函数的偏导数539

索引541

2012年《统计学习方法 (第 1版)》出版，内容涵盖监督学习的主要方法， 2019年第 2版出版，增加了无监督学习的主要方法，都属于传统机器学习。在这段时间里，机器学习领域发生了巨大变化，深度学习在人工智能各个应用方向取得了巨大突破，成为机器学习的主流技术，彻底改变了机器学习的面貌。有些读者希望能看到与之前风格相同的讲解深度学习的书籍，这也触发了作者在原来《统计学习方法》的基础上增加深度学习内容的想法（计划今后再增加强化学习）。从 2018年开始，历时 3年左右，完成了深度学习的写作。

考虑到内容的变化，现将书名更改为《机器学习方法》。第 1篇监督学习和第 2篇无监督学习基本为原来的内容，增加第 3篇深度学习，希望对读者有所裨益。传统机器学习是深度学习的基础，所以将这些内容放在一本书里讲述也有其合理之处。虽然深度学习目前是大家关注的重点，但传统机器学习仍然有其不容忽视的地位。事实上，传统机器学习和深度学习各自有更适合的应用场景，比如，深度学习长于大数据、复杂问题的预测，特别是人工智能的应用；传统机器学习善于小数据、相对简单问题的预测。

本书的定位是讲解机器学习的基本内容，并不完全是入门书。介绍的内容都是最基本的，在这种意义上适合初学者。但主旨是把最重要的原理和方法做系统的总结，方便大家经常阅读和复习。在写第 3篇的时候也接受大家对第 1篇和第 2篇的反馈意见，在力求文字简练清晰的同时，也确保叙述的详尽明了，以方便读者理解。在各章方法的导入部分适当增加了背景和动机的介绍。

第 3篇中使用的数学符号与第 1篇和第 2篇有一定的对应关系，但由于深度学习的特点也有一些改变，也都能自成体系。将符号完全统一于一个框架内还需要做大量的工作，希望在增加第 4篇强化学习之后再做处理。

对第 3篇的原稿，郑诗源、张新松等帮助做了校阅，对一些章节的内容提出了宝贵的意见。责任编辑王倩也为本书的出版做了大量工作。在此对他们表示衷心的感谢。

李航 

2021年 5月 27日