《机器学习方法》在《统计学习方法》的基础上增加了深度学习的内容，系统地介绍了机器学习的主要方法，系统阐述其理论、模型、策略和算法，从具体例子入手，由浅入深，帮助读者直观地理解基本思路，同时从理论角度出发，给出严格的数学推导，严谨详实，让读者更好地掌握基本原理和概念。《机器学习方法》可作为机器学习及相关课程的教学参考书，适合人工智能、文本数据挖掘、信息检索及自然语言处理等专业的本科生、研究生使用，也供计算机各个领域的专业研发人员参考。

篇 监 督 学 习

章   机器学习及监督学习概论 3 

11机器学习 3 

12机器学习的分类 5 

121基本分类 5 

122按模型分类  10 

123按算法分类  11 

124按技巧分类  12 

13机器学习方法三要素  13 

131模型  13 

132策略  14 

133算法  16 

14模型评估与模型选择  17 

141训练误差与测试误差  17 

142过拟合与模型选择  18 

15正则化与交叉验证  20 

151正则化  20 

152交叉验证  20 

16泛化能力  21 

161泛化误差  21 

162泛化误差上界  22 

17生成模型与判别模型  24 

18监督学习应用  24 

181分类问题  24 

182标注问题  26 

183回归问题  27
本章概要 28
继续阅读 29
习题 29
参考文献 29 

VIII机器学习方法
第 2章感知机 30 

21感知机模型  30 

22感知机学习策略  31 

221数据集的线性可分性  31 

222感知机学习策略  31 

23感知机学习算法  32 

231感知机学习算法的原始形式 33 

232算法的收敛性  35 

233感知机学习算法的对偶形式 37
本章概要 39
继续阅读 40
习题 40
参考文献 40

第 3章 k近邻法  41 

31 k近邻算法  41 

32 k近邻模型  42 

321模型  42 

322距离度量  42 

323 k值的选择  43 

324分类决策规则  44 

33 k近邻法的实现：kd树  44 

331构造 kd树  45 

332搜索 kd树  46
本章概要 48
继续阅读 48
习题 48
参考文献 49

第 4章朴素贝叶斯法 50 

41朴素贝叶斯法的学习与分类  50 

411基本方法  50 

412后验概率化的含义 51 

42朴素贝叶斯法的参数估计  52 

421极大似然估计  52 

422学习与分类算法  53 

423贝叶斯估计  54
本章概要 55
继续阅读 56 

目录 IX
习题 56
参考文献 56

第 5章决策树 57 

51决策树模型与学习  57 

511决策树模型  57 

512决策树与 if-then规则  58 

513决策树与条件概率分布 58 

514决策树学习  58 

52特征选择  60 

521特征选择问题  60 

522信息增益  61 

523信息增益比  64 

53决策树的生成  64 

531 ID3算法  65 

532 C45的生成算法  66 

54决策树的剪枝  66 

55 CART算法  68 

551 CART生成  69 

552 CART剪枝  72
本章概要 74
继续阅读 75
习题 75
参考文献 75

第 6章逻辑斯谛回归与熵模型 77 

61逻辑斯谛回归模型  77 

611逻辑斯谛分布  77 

612二项逻辑斯谛回归模型 78 

613模型参数估计  79 

614多项逻辑斯谛回归  79 

62熵模型  80 

621熵原理  80 

622熵模型的定义  82 

623熵模型的学习  83 

624极大似然估计  86 

63模型学习的化算法  87 

631改进的迭代尺度法  87 

632拟牛顿法  90 

机器学习方法
本章概要 91
继续阅读 92
习题 92
参考文献 93

第 7章支持向量机  94 

71线性可分支持向量机与硬间隔化 94 

711线性可分支持向量机  94 

712函数间隔和几何间隔  96 

713间隔化  97 

714学习的对偶算法  101 

72线性支持向量机与软间隔化  106 

721线性支持向量机  106 

722学习的对偶算法  107 

723支持向量  110 

724合页损失函数  111 

73非线性支持向量机与核函数  112 

731核技巧  112 

732正定核  115 

733常用核函数  118 

734非线性支持向量分类机  120 

74序列小化算法  121 

741两个变量二次规划的求解方法  122 

742变量的选择方法  124 

743 SMO算法  126
本章概要  127
继续阅读  129
习题  129
参考文献  129

第 8章 Boosting  131 

81 AdaBoost算法  131 

811 Boosting的基本思路  131 

812 AdaBoost算法  132 

813 AdaBoost的例子  134 

82 AdaBoost算法的训练误差分析  135 

83 AdaBoost算法的解释  137 

831前向分步算法  137 

832前向分步算法与 AdaBoost  138 

目录 XI 
84提升树  140 

841提升树模......

机器学习是以概率论、统计学、信息论、**化理论、计算理论等为基础的计算机应用理论学科，也是人工智能、数据挖掘等领域的基础学科。《机器学习方法》系统地介绍了机器学习的主要方法，共分三篇。篇介绍监督学习的主要方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与**熵模型、支持向量机、Boosting、EM算法、隐马尔可夫模型、条件随机场等；第二篇介绍无监督学习的主要方法，包括聚类、奇异值分解、主成分分析、潜在语义分析、概率潜在语义分析、马尔可夫链蒙特卡罗法、潜在狄利克雷分配、PageRank算法等。第三篇介绍深度学习的主要方法，包括前馈神经网络、卷积神经网络、循环神经网络、序列到序列模型、预训练语言模型、生成对抗网络等。书中每章介绍一两种机器学习方法，详细叙述各个方法的模型、策略和算法。从具体例子入手，由浅入深，帮助读者直观地理解基本思路，同时从理论角度出发，给出严格的数学推导，严谨详实，让读者更好地掌握基本原理和概念。目的是使读者能学会和使用这些机器学习的基本技术。为满足读者进一步学习的需要，书中还对各个方法的要点进行了总结，给出了一些习题，并列出了主要参考文献。 《机器学习方法》是机器学习及相关课程的教学参考书，适合人工智能、数据挖掘等专业的本科生、研究生使用，也供计算机各个领域的专业研发人员参考。

李航，字节跳动科技有限公司人工智能实验室总监， IEEE会士、ACL会士、ACM杰出科学家、CCF杰出会员。研究方向包括信息检索、自然语言处理、统计机器学习及数据挖掘。李航于1988年从日本京都大学电气工程系毕业，1998年获得日本东京大学计算机科学博士。他1990年至2001年就职于日本NEC公司中央研究所，任研究员；2001年至2012年就职于微软亚洲研究院，任研究员与主任研究员；2012年至2017年就职于华为技术有限公司诺亚方舟实验室，任首席科学家、主任。李航一直活跃在相关学术领域，曽出版过四部学术专著，并在国际学术会议和国际学术期刊上发表过120多篇学术论文，包括SIGIR, WWW, WSDM, ACL, EMNLP, ICML, NIPS, SIGKDD, AAAI, IJCAI，以及NLE, JMLR, TOIS, IRJ, IPM, TKDE, TWEB, TIST等。他和同事的论文获得了KDD2008应用论文奖，他指导的学生获得了SIGIR2008，ACL2012学生论文奖。李航参与了多项产品开发，包括Microsoft SQL Server 2005, Microsoft Office 2007, Microsoft Live Search 2008, Microsoft Bing 2009, Bing 2010, Office 2010, Office 2012，拥有42项授权美国。李航还在国际学术会议和国际学术期刊担任许多重要工作，如大会程序委员会，委员，及委员，期刊编委，包括SIGIR, WWW, WSDM, ACL, NAACL, EMNLP, NIPS,SIGKDD, ICDM, ACML, IJCAI, IRJ, TIST, JASIST, JCST等。