| 书名： | 机器学习方法 |
| 出版社： | 清华大学出版社 |
| 出版日期 | 2022 |
| ISBN号： | 9787302597308 |
 |
| 机器学习是以概率论、统计学、信息论、最优化理论、计算理论等为基础的计算机应用理论学科，也是人工智能、数据挖掘等领域的基础学科。《机器学习方法》全面系统地介绍了机器学习的主要方法，共分三篇。第一篇介绍监督学习的主要方法，包括感知机、k近邻法、朴素贝叶斯法、决策树、逻辑斯谛回归与最大熵模型、支持向量机、Boosting、EM算法、隐马尔可夫模型、条件随机场等；第二篇介绍无监督学习的主要方法，包括聚类、奇异值分解、主成分分析、潜在语义分析、概率潜在语义分析、马尔可夫链蒙特卡罗法、潜在狄利克雷分配、PageRank算法等。第三篇介绍深度学习的主要方法，包括前馈神经网络、卷积神经网络、循环神经网络、序列到序列模型、预训练语言模型、生成对抗网络等。书中每章介绍一两种机器学习方法，详细叙述各个方法的模型、策略和算法。从具体例子入手，由浅入深，帮助读者直观地理解基本思路，同时从理论角度出发，给出严格的数学推导，严谨详实，让读者更好地掌握基本原理和概念。目的是使读者能学会和使用这些机器学习的基本技术。为满足读者进一步学习的需要，书中还对各个方法的要点进行了总结，给出了一些习题，并列出了主要参考文献。 《机器学习方法》是机器学习及相关课程的教学参考书，适合人工智能、数据挖掘等专业的本科生、研究生使用，也供计算机各个领域的专业研发人员参考。 |
 |
| 李航，字节跳动科技有限公司人工智能实验室总监， IEEE会士、ACL会士、ACM杰出科学家、CCF杰出会员。研究方向包括信息检索、自然语言处理、统计机器学习及数据挖掘。李航于1988年从日本京都大学电气工程系毕业，1998年获得日本东京大学计算机科学博士。他1990年至2001年就职于日本NEC公司中央研究所，任研究员；2001年至2012年就职于微软亚洲研究院，任高级研究员与主任研究员；2012年至2017年就职于华为技术有限公司诺亚方舟实验室，任首席科学家、主任。李航一直活跃在相关学术领域，曽出版过四部学术专著，并在顶级国际学术会议和顶级国际学术期刊上发表过120多篇学术论文，包括SIGIR, WWW, WSDM, ACL, EMNLP, ICML, NIPS, SIGKDD, AAAI, IJCAI，以及NLE, JMLR, TOIS, IRJ, IPM, TKDE, TWEB, TIST等。他和同事的论文获得了KDD2008最佳应用论文奖，他指导的学生获得了SIGIR2008，ACL2012最佳学生论文奖。李航参与了多项产品开发，包括Microsoft SQL Server 2005, Microsoft Office 2007, Microsoft Live Search 2008, Microsoft Bing 2009, Bing 2010, Office 2010, Office 2012，拥有42项授权美国专利。李航还在顶级国际学术会议和顶级国际学术期刊担任许多重要工作，如大会程序委员会主席，资深委员，及委员，期刊编委，包括SIGIR, WWW, WSDM, ACL, NAACL, EMNLP, NIPS,SIGKDD, ICDM, ACML, IJCAI, IRJ, TIST, JASIST, JCST等。 |
|
|
| 《机器学习方法》在《统计学习方法》的基础上增加了深度学习的内容，全面系统地介绍了机器学习的主要方法，系统阐述其理论、模型、策略和算法，从具体例子入手，由浅入深，帮助读者直观地理解基本思路，同时从理论角度出发，给出严格的数学推导，严谨详实，让读者更好地掌握基本原理和概念。《机器学习方法》可作为机器学习及相关课程的教学参考书，适合人工智能、文本数据挖掘、信息检索及自然语言处理等专业的本科生、研究生使用，也供计算机各个领域的专业研发人员参考。 |
|
|
|
第1篇监督学习 第1章机器学习及监督学习概论3 11机器学习3 12机器学习的分类5 121基本分类5 122按模型分类10 123按算法分类11 124按技巧分类12 13机器学习方法三要素13 131模型13 132策略14 133算法16 14模型评估与模型选择17 141训练误差与测试误差17 142过拟合与模型选择18 15正则化与交叉验证20 151正则化20 152交叉验证20 16泛化能力21 161泛化误差21 162泛化误差上界22 17生成模型与判别模型24 18监督学习应用24 181分类问题24 182标注问题26 183回归问题27 本章概要28 继续阅读29 习题29 参考文献29 第2章感知机30 21感知机模型30 22感知机学习策略31 221数据集的线性可分性31 222感知机学习策略31 23感知机学习算法32 231感知机学习算法的原始形式33 232算法的收敛性35 233感知机学习算法的对偶形式37 本章概要39 继续阅读40 习题40 参考文献40 第3章k近邻法41 31k近邻算法41 32k近邻模型42 321模型42 322距离度量42 323k值的选择43 324分类决策规则44 33k近邻法的实现：kd树44 331构造kd树45 332搜索kd树46 本章概要48 继续阅读48 习题48 参考文献49 第4章朴素贝叶斯法50 41朴素贝叶斯法的学习与分类50 411基本方法50 412后验概率最大化的含义51 42朴素贝叶斯法的参数估计52 421极大似然估计52 422学习与分类算法53 423贝叶斯估计54 本章概要55 继续阅读56 习题56 参考文献56 第5章决策树57 51决策树模型与学习57 511决策树模型57 512决策树与if-then规则58 513决策树与条件概率分布58 514决策树学习58 52特征选择60 521特征选择问题60 522信息增益61 523信息增益比64 53决策树的生成64 531ID3算法65 532C45的生成算法66 54决策树的剪枝66 55CART算法68 551CART生成69 552CART剪枝72 本章概要74 继续阅读75 习题75 参考文献75 第6章逻辑斯谛回归与最大熵模型77 61逻辑斯谛回归模型77 611逻辑斯谛分布77 612二项逻辑斯谛回归模型78 613模型参数估计79 614多项逻辑斯谛回归79 62最大熵模型80 621最大熵原理80 622最大熵模型的定义82 623最大熵模型的学习83 624极大似然估计86 63模型学习的最优化算法87 631改进的迭代尺度法87 632拟牛顿法90 机器学习方法 本章概要91 继续阅读92 习题92 参考文献93 第7章支持向量机94 71线性可分支持向量机与硬间隔最大化94 711线性可分支持向量机94 712函数间隔和几何间隔96 713间隔最大化97 714学习的对偶算法101 72线性支持向量机与软间隔最大化106 721线性支持向量机106 722学习的对偶算法107 723支持向量110 724合页损失函数111 73非线性支持向量机与核函数112 731核技巧112 732正定核115 733常用核函数118 734非线性支持向量分类机120 74序列最小最优化算法121 741两个变量二次规划的求解方法122 742变量的选择方法124 743SMO算法126 本章概要127 继续阅读129 习题129 参考文献129 第8章Boosting131 81AdaBoost算法131 811Boosting的基本思路131 812AdaBoost算法132 813AdaBoost的例子134 82AdaBoost算法的训练误差分析135 83AdaBoost算法的解释137 831前向分步算法137 832前向分步算法与AdaBoost138 目录XI 84提升树140 841提升树模型140 842提升树算法140 843梯度提升144 本章概要145 继续阅读146 习题146 参考文献146 第9章EM算法及其推广148 91EM算法的引入148 911EM算法148 912EM算法的导出151 913EM算法在无监督学习中的应用153 92EM算法的收敛性153 93EM算法在高斯混合模型学习中的应用154 931高斯混合模型155 932高斯混合模型参数估计的EM算法155 94EM算法的推广158 941F函数的极大-极大算法158 942GEM算法160 本章概要161 继续阅读162 习题162 参考文献162 第10章隐马尔可夫模型163 101隐马尔可夫模型的基本概念163 1011隐马尔可夫模型的定义163 1012观测序列的生成过程166 1013隐马尔可夫模型的3个基本问题166 102概率计算算法166 1021直接计算法166 1022前向算法167 1023后向算法169 1024一些概率与期望值的计算170 103学习算法172 1031监督学习方法172 1032Baum-Welch算法172 XII机器学习方法 1033Baum-Welch模型参数估计公式174 104预测算法175 1041近似算法175 1042维特比算法176 本章概要179 继续阅读179 习题180 参考文献180 第11章条件随机场181 111概率无向图模型181 1111模型定义181 1112概率无向图模型的因子分解183 112条件随机场的定义与形式184 1121条件随机场的定义184 1122条件随机场的参数化形式185 1123条件随机场的简化形式186 1124条件随机场的矩阵形式187 113条件随机场的概率计算问题189 1131前向-后向算法189 1132概率计算189 1133期望值的计算190 114条件随机场的学习算法191 1141改进的迭代尺度法191 1142拟牛顿法194 115条件随机场的预测算法195 本章概要197 继续阅读198 习题198 参考文献199 第12章监督学习方法总结200 第 2篇 无 监 督 学 习 无监学习 第13章无监督学习概论207 131无监督学习基本原理207 132基本问题208 133机器学习三要素210 134无监督学习方法210 目录XIII 本章概要214 继续阅读215 参考文献215 第14章聚类方法216 141聚类的基本概念216 1411相似度或距离216 1412类或簇219 1413类与类之间的距离220 142层次聚类220 143k均值聚类222 1431模型222 1432策略223 1433算法224 1434算法特性225 本章概要226 继续阅读227 习题227 参考文献227 第15章奇异值分解229 151奇异值分解的定义与性质229 1511定义与定理229 1512紧奇异值分解与截断奇异值分解233 1513几何解释235 1514主要性质237 152奇异值分解的计算238 153奇异值分解与矩阵近似241 1531弗罗贝尼乌斯范数241 1532矩阵的最优近似242 1533矩阵的外积展开式245 本章概要247 继续阅读248 习题248 参考文献249 第16章主成分分析250 161总体主成分分析250 1611基本想法250 XIV机器学习方法 1612定义和导出252 1613主要性质253 1614主成分的个数257 1615规范化变量的总体主成分260 162样本主成分分析260 1621样本主成分的定义和性质261 1622相关矩阵的特征值分解算法263 1623数据矩阵的奇异值分解算法265 本章概要267 继续阅读269 习题269 参考文献269 第17章潜在语义分析271 171单词向量空间与话题向量空间271 1711单词向量空间271 1712话题向量空间273 172潜在语义分析算法276 1721矩阵奇异值分解算法276 1722例子278 173非负矩阵分解算法279 1731非负矩阵分解279 1732潜在语义分析模型280 1733非负矩阵分解的形式化280 1734算法281 本章概要283 继续阅读284 习题284 参考文献285 第18章概率潜在语义分析286 181概率潜在语义分析模型286 1811基本想法286 1812生成模型287 1813共现模型288 1814模型性质289 182概率潜在语义分析的算法291 本章概要293 继续阅读294 目录XV 习题294 参考文献295 第19章马尔可夫链蒙特卡罗法296 191蒙特卡罗法296 1911随机抽样296 1912数学期望估计297 1913积分计算298 192马尔可夫链299 1921基本定义299 1922离散状态马尔可夫链300 1923连续状态马尔可夫链305 1924马尔可夫链的性质306 193马尔可夫链蒙特卡罗法310 1931基本想法310 1932基本步骤311 1933马尔可夫链蒙特卡罗法与统计学习311 194Metropolis-Hastings算法312 1941基本原理312 1942Metropolis-Hastings算法315 1943单分量Metropolis-Hastings算法315 195吉布斯抽样316 1951基本原理316 1952吉布斯抽样算法318 1953抽样计算319 本章概要320 继续阅读321 习题321 参考文献322 第20章潜在狄利克雷分配324 201狄利克雷分布324 2011分布定义324 2012共轭先验327 202潜在狄利克雷分配模型328 2021基本想法328 2022模型定义329 2023概率图模型331 2024随机变量序列的可交换性332 XVI机器学习方法 2025概率公式332 203LDA的吉布斯抽样算法333 2031基本想法333 2032算法的主要部分334 2033算法的后处理336 2034算法337 204LDA的变分EM算法338 2041变分推理338 2042变分EM算法339 2043算法推导340 2044算法总结346 本章概要346 继续阅读348 习题348 参考文献348 第21章PageRank算法349 211PageRank的定义349 2111基本想法349 2112有向图和随机游走模型350 2113PageRank的基本定义352 2114PageRank的一般定义354 212PageRank的计算355 2121迭代算法355 2122幂法357 2123代数算法361 本章概要362 继续阅读363 习题363 参考文献364 第22章无监督学习方法总结365 221无监督学习方法的关系和特点365 2211各种方法之间的关系365 2212无监督学习方法366 2213基础机器学习方法366 222话题模型之间的关系和特点367 参考文献368 目录XVII 第 3篇 深 度 学 习 第23章前馈神经网络371 231前馈神经网络的模型371 2311前馈神经网络定义372 2312前馈神经网络的例子381 2313前馈神经网络的表示能力386 232前馈神经网络的学习算法389 2321前馈神经网络学习389 2322前馈神经网络学习的优化算法391 2323反向传播算法393 2324在计算图上的实现397 2325算法的实现技巧401 233前馈神经网络学习的正则化406 2331深度学习中的正则化406 2332早停法406 2333暂退法408 本章概要410 继续阅读413 习题413 参考文献414 第24章卷积神经网络415 241卷积神经网络的模型415 2411背景415 2412卷积416 2413汇聚424 2414卷积神经网络427 2415卷积神经网络性质430 242卷积神经网络的学习算法432 2421卷积导数432 2422反向传播算法433 243图像分类中的应用436 2431AlexNet436 2432残差网络437 本章概要441 继续阅读443 习题443 参考文献445 XVIII机器学习方法 第25章循环神经网络447 251简单循环神经网络447 2511模型447 2512学习算法450 252常用循环神经网络454 2521长短期记忆网络454 2522门控循环单元网络457 2523深度循环神经网络458 2524双向循环神经网络459 253自然语言生成中的应用460 2531词向量460 2532语言模型与语言生成463 本章概要465 继续阅读467 习题467 参考文献468 第26章序列到序列模型469 261序列到序列基本模型469 2611序列到序列学习469 2612基本模型471 262RNNSearch模型472 2621注意力472 2622模型定义474 2623模型特点475 263Transformer模型475 2631模型架构476 2632模型特点482 本章概要483 继续阅读486 习题486 参考文献486 第27章预训练语言模型488 271GPT模型488 2711预训练语言模型488 2712模型和学习490 272BERT模型493 2721去噪自动编码器493 2722模型和学习495 目录XIX 2723模型特点499 本章概要500 继续阅读502 习题502 参考文献502 第28章生成对抗网络504 281GAN基本模型504 2811模型504 2812学习算法506 2813理论分析507 282图像生成中的应用508 2821转置卷积509 2822DCGAN511 本章概要513 继续阅读514 习题514 参考文献515 第29章深度学习方法总结516 291深度学习的模型516 292深度学习的方法518 293深度学习的优化算法520 294深度学习的优缺点522 参考文献523 附录A梯度下降法524 附录B牛顿法和拟牛顿法526 附录C拉格朗日对偶性531 附录D矩阵的基本子空间534 附录EKL散度的定义和狄利克雷分布的性质537 附录F软最大化函数的偏导数和交叉熵损失函数的偏导数539 索引541
|
 |
|
2012年《统计学习方法 (第 1版)》出版，内容涵盖监督学习的主要方法， 2019年第 2版出版，增加了无监督学习的主要方法，都属于传统机器学习。在这段时间里，机器学习领域发生了巨大变化，深度学习在人工智能各个应用方向取得了巨大突破，成为机器学习的主流技术，彻底改变了机器学习的面貌。有些读者希望能看到与之前风格相同的讲解深度学习的书籍，这也触发了作者在原来《统计学习方法》的基础上增加深度学习内容的想法（计划今后再增加强化学习）。从 2018年开始，历时 3年左右，完成了深度学习的写作。 考虑到内容的变化，现将书名更改为《机器学习方法》。第 1篇监督学习和第 2篇无监督学习基本为原来的内容，增加第 3篇深度学习，希望对读者有所裨益。传统机器学习是深度学习的基础，所以将这些内容放在一本书里讲述也有其合理之处。虽然深度学习目前是大家关注的重点，但传统机器学习仍然有其不容忽视的地位。事实上，传统机器学习和深度学习各自有更适合的应用场景，比如，深度学习长于大数据、复杂问题的预测，特别是人工智能的应用；传统机器学习善于小数据、相对简单问题的预测。 本书的定位是讲解机器学习的基本内容，并不完全是入门书。介绍的内容都是最基本的，在这种意义上适合初学者。但主旨是把最重要的原理和方法做系统的总结，方便大家经常阅读和复习。在写第 3篇的时候也接受大家对第 1篇和第 2篇的反馈意见，在力求文字简练清晰的同时，也确保叙述的详尽明了，以方便读者理解。在各章方法的导入部分适当增加了背景和动机的介绍。 第 3篇中使用的数学符号与第 1篇和第 2篇有一定的对应关系，但由于深度学习的特点也有一些改变，也都能自成体系。将符号完全统一于一个框架内还需要做大量的工作，希望在增加第 4篇强化学习之后再做处理。 对第 3篇的原稿，郑诗源、张新松等帮助做了校阅，对一些章节的内容提出了宝贵的意见。责任编辑王倩也为本书的出版做了大量工作。在此对他们表示衷心的感谢。 李航 2021年 5月 27日
|
