适读人群：

想进入机器学习领域的初学者；

计算机及相关专业的学生；

想要向机器学习工程师、数据科学家转型的非开发岗人员；

使用过机器学习技术，但想要更加深入了解其工作原理的人员；

其他对机器学习、人工智能有兴趣的自学者

配套代码及彩色图表获取方式：

1、微信关注“华章计算机”

2、在后台回复关键词：68137

本书是使用Python进行机器学习和深度学习的指南。它既可以用作清晰的分步教程，也可以作为构建机器学习系统时常用的参考手册。本书包含清晰的解释、图表和工作示例，深入地介绍了机器学习的基本技术，并且给出了机器学习背后的原理，使你可以自己建立模型和应用程序。第3版结合TensorFlow 2和scikit-learn的新版本进行了更新，涵盖强化学习和生成对抗网络（GAN）这两种先进的机器学习技术。

机器学习将改变你解决问题的思路，并让你看到如何释放数据的力量来解决问题。无论你是Python机器学习的初学者还是想加深自己对前沿发展的了解，本书都是你不可或缺的好帮手。

译者序

前言

作者简介

审校者简介

章　赋予计算机从数据中学习的能力1

　1.1　构建能把数据转换为知识的智能机器1

　1.2　三种不同类型的机器学习1

　　　1.2.1　用监督学习预测未来2

　　　1.2.2　用强化学习解决交互问题3

　　　1.2.3　用无监督学习发现隐藏的结构4

　1.3　基本术语与符号4

　　　1.3.1　本书中使用的符号和约定5

　　　1.3.2　机器学习的术语6

　1.4　构建机器学习系统的路线图6

　　　1.4.1　预处理——整理数据6

　　　1.4.2　训练和选择预测模型7

　　　1.4.3　评估模型并对未曾谋面的数据进行预测8

　1.5　将Python用于机器学习8

　　　1.5.1　利用Python Package Index安装Python及其他软件包8

　　　1.5.2　采用Anaconda Python发行版和软件包管理器8

　　　1.5.3　用于科学计算、数据科学和机器学习的软件包9

　1.6　本章小结9

第2章　训练简单的机器学习分类算法10

　2.1　人工神经元——机器学习的早期历史10

　　　2.1.1　人工神经元的正式定义11

　　　2.1.2　感知器学习规则12

　2.2　用Python实现感知器学习算法14

　　　2.2.1　面向对象的感知器API14

　　　2.2.2　在鸢尾花数据集上训练感知器模型16

　2.3　自适应线性神经元和学习收敛20

　　　2.3.1　通过梯度下降小化代价函数21

　　　2.3.2　用Python实现Adaline22

　　　2.3.3　通过特征缩放改善梯度下降26

　　　2.3.4　大规模机器学习与随机梯度下降27

　2.4　本章小结31

第3章　scikit-learn机器学习分类器32

　3.1　选择分类算法32

　3.2　了解scikit-learn的步——训练感知器32

　3.3　基于逻辑回归的分类概率建模37

　　　3.3.1　逻辑回归与条件概率37

　　　3.3.2　学习逻辑代价函数的权重39

　　　3.3.3　将Adaline实现转换为一个逻辑回归算法41

　　　3.3.4　用scikit-learn训练逻辑回归模型44

　　　3.3.5　通过正则化解决过拟合问题46

　3.4　使用支持向量机化分类间隔48

　　　3.4.1　对分类间隔化的直观认识48

　　　3.4.2　用松弛变量解决非线性可分问题50

　　　3.4.3　其他的scikit-learn实现51

　3.5　用核支持向量机求解非线性问题51

　　　3.5.1　处理线性不可分数据的核方法52

　　　3.5.2　利用核技巧发现高维空间的分离超平面53

　3.6　决策树学习56

　　　3.6.1　化信息增益——获得收益56

　　　3.6.2　构建决策树59

　　　3.6.3　多个决策树的随机森林组合62

　3.7　k-近邻——一种惰性学习算法64

　3.8　本章小结66

第4章　构建良好的训练数据集——数据预处理67

　4.1　处理缺失数据67

　　　4.1.1　识别数据中的缺失值67

　　　4.1.2　删除有缺失值的训练样本或特征68

　　　4.1.3　填补缺失值69

　　　4.1.4　了解scikit-learn估计器API69

　4.2　处理类别数据70

　　　4.2.1　用pandas实现类别数据的编码70

　　　4.2.2　映射序数特征71

　　　4.2.3　为分类标签编码71

　　　4.2.4　为名义特征做独热编码72

　4.3　把数据集划分为独立的训练数据集和测试数据集74

　4.4　保持相同的特征缩放76

　4.5　选择有意义的特征78

　　　4.5.1　L1和L2正则化对模型复杂度的惩罚78

　　　4.5.2　L2正则化的几何解释78

　　　4.5.3　L1正则化的稀疏解决方案79

　　　4.5.4　序列特征选择算法82

　4.6　用随机森林评估特征的重要性86

　4.7　本章小结88

第5章　通过降维压缩数据89

　5.1　用主成分分析实现无监督降维89

　　　5.1.1　主成分分析的主要步骤89

　　　5.1.2　逐步提取主成分90

　　　5.1.3　总方差和解释方差92

　　　5.1.4　特征变换93

　　　5.1.5　用scikit-learn实现主成分分析95

　5.2　基于线性判别分析的监督数据压缩97

　　　5.2.1　主成分分析与线性判别分析97

　　　5.2.2　线性判别分析的内部工作原理98

　　　5.2.3　计算散布矩阵98

　　　5.2.4　为新特征子空间选择线性判别100

　　　5.2.5　将样本投影到新的特征空间102

　　　5.2.6　用scikit-learn实现LDA103

　5.3　非线性映射的核主成分分析104

　　　5.3.1　核函数与核技巧104

　　　5.3.2　用Python实现核主成分分析107

　　　5.3.3　投影新的数据点112

　　　5.3.4　scikit-learn的核主成分分析115

　5.4　本章小结116

第6章　模型评估和超参数调优的实践117

　6.1　用流水线方法简化工作流117

　　　6.1.1　加载威斯康星乳腺癌数据集117

　　　6.1.2　在流水线中集成转换器和估计器118

　6.2　使用k折交叉验证评估模型性能120

　　　6.2.1　holdout方法120

　　　6.2.2　k折交叉验证121

　6.3　用学习和验证曲线调试算法123

　　　6.3.1　用学习曲线诊断偏差和方差问题124

　　　6.3.2　用验证曲线解决过拟合和欠拟合问题126

　6.4　通过网格搜索调优机器学习模型127

　　　6.4.1　通过网格搜索调优超参数128

　　　6.4.2　通过嵌套式交叉验证选择算法129

　6.5　了解不同的性能评估指标130

　　　6.5.1　分析混淆矩阵130

　　　6.5.2　优化分类模型的精度和召回率131

　　　6.5.3　绘制ROC曲线133

　　　6.5.4　多元分类评分指标135

　　　6.5.5　处理类不均衡问题135

　6.6　本章小结137

第7章　组合不同模型的集成学习138

　7.1　集成学习138

　7.2　通过多数票机制组合分类器140

　　　7.2.1　实现一个简单的多数票分类器141

　　　7.2.2　用多数票原则进行预测145

　　　7.2.3　评估和优化集成分类器147

　7.3　bagging——基于bootstrap样本构建集成分类器151

　　　7.3.1　bagging简介151

　　　7.3.2　应用bagging对葡萄酒数据集中的样本分类152

　7.4　通过自适应boosting提高弱学习机的性能155

　　　7.4.1　boosting的工作原理156

　　　7.4.2　用scikit-learn实现AdaBoost158

　7.5　本章小结161

第8章　用机器学习进行情感分析162

　8.1　为文本处理预备好IMDb电影评论数据162

　　　8.1.1　获取电影评论数据集162

　　　8.1.2　把电影评论数据集预处理成更方便的格式163

　8.2　词袋模型介绍164

　　　8.2.1　把单词转换成特征向量164

　　　8.2.2　通过词频-逆文档频率评估单词相关性166

　　　8.2.3　清洗文本数据167

　　　8.2.4　把文档

◆ 前言◆

通过新闻和社交媒体的报道，你可能已经了解到，机器学习已成为当代激动人心的技术之一。像谷歌、Facebook、苹果、亚马逊和IBM这样的大公司基于各自的考虑，已经在机器学习的研究和应用方面投入了巨资。机器学习似乎已经成为我们这个时代的流行词，但这绝不是昙花一现。这个激动人心的领域为我们开启了许多新的可能性，已经成为我们日常生活中不可或缺的一部分。智能手机的语音助手、为客户合适的产品、防止欺诈、过滤垃圾邮件，以及检测和诊断疾病等都是明证，类似的应用层出不穷。

机器学习入门

如果有志从事机器学习方面的工作，想更好地解决问题或开展机器学习方面的研究，那么本书就是为你而备。然而，对新手而言，机器学习背后的理论、概念可能艰深晦涩，但近几年已经出版了许多机器学习方面的著作，这有助于大家通过研发强大的机器学习算法走上机器学习之路。

理论与实践相结合

通过实际的机器学习应用示例来接触实际代码是深入该领域的好方法。此外，具体的示例也有助于通过把所学的材料直接付诸行动来阐明宽泛的概念。然而请记住，更强大的力量意味着更重大的责任！

除了提供使用Python编程语言和基于Python的机器学习库进行机器学习的实践经验之外，本书还将介绍机器学习算法背后的数学概念，这些对成功地应用机器学习至关重要。因此，本书与一般纯粹的实践手册有所不同，书中不仅会对有关机器学习概念的必要细节进行讨论，而且还将对机器学习算法的工作原理、使用方法，以及如何避免常见的陷阱（为重要）做出直观且翔实的解释。

为什么要选择Python

在深入机器学习领域之前，请先回答一个重要的问题：“为什么要选择Python？”答案很简单：Python功能强大且易于取得。Python已经成为数据科学常用的编程语言，因为它不仅可以让我们忘记编程的冗长乏味，而且为我们提供了可以把想法落地、把概念直接付诸行动的环境。

探索机器学习领域

如果在谷歌专业网站以“机器学习”作为关键词进行搜索，可能会找到325万个出版物。当然，我们无法对过去60年来所出现的各种不同算法和应用逐一进行考证。然而，本书将开启一个激动人心的旅程，它将涵盖所有重要的主题和概念，让你在这些领域能够捷足先登。如果你发现本书所提供的知识还不足以解渴，那么没关系，你还可以利用本书所引用的其他有价值的许多资源来追踪该领域的重要突破。

我们认为，对机器学习的研究可以帮助我们成为更好的科学家、思想家和问题解决者。本书将与你分享这些知识。要获得知识就要学习，关键在于保持热情，实践出真知。

前面的路或许崎岖不平，有些主题可能颇具挑战性，但希望你能抓住这个机会，更多地思考本书所带来的回报。请记住，我们将共同踏上这段旅程，帮助你掌握许多强大的，让你以数据驱动的方式来解决棘手的问题。

本书的目标读者

如果你已经详细研究了机器学习方面的理论，那么本书可以教你如何把知识付诸实践。如果你以前使用过机器学习技术，想要更加深入地了解其工作原理，那么本书也是为你而写的。

如果你是机器学习领域的新手，那么不必担心，你更有理由为阅读本书而感到兴奋！我保证机器学习将会改变你解决问题的思路，并让你看到如何通过释放数据的力量来解决问题。如果你想了解如何开始用Python来回答有关数据方面的关键问题，那么请阅读本书。无论是想从零开始，还是想扩展自己已有的数据科学知识，本书都是必不可少且不可忽视的资源。

本书内容

章介绍用于解决不同问题的主要机器学习子领域。另外，还将讨论创建典型的机器学习模型构建流水线的基本步骤，从而形成贯穿后续各章的脉络。

第2章追溯机器学习的起源，介绍二元感知分类器和自适应线性神经元。还会简单介绍模式分类的基本原理，同时关注算法优化和机器学习的交互。

第3章描述机器学习的基本分类算法，并使用流行、的开源机器学习软件库之一scikit-learn提供实际示例。

第4章讨论如何解决未处理数据集中常见的问题，如数据缺失。也会讨论用来识别数据集中信息量的特征的几种方法，并教你如何处理不同类型的变量以作为机器学习算法的适当输入。

第5章描述在减少数据集中特征数量的同时保留大部分有用和具有可识别性信息的基本技术。讨论基于主成分分析的标准降维方法，并将其与监督学习和非线性变换技术进行比较。

第6章讨论在预测模型的性能评价中该做什么和不该做什么。此外，还将讨论模型评估的不同度量以及优化机器学习算法的技术。

第7章介绍有效结合多种学习算法的不同概念。讲解如何构建专家小组来克服个别学习者的弱点，从而产生更准确、更可靠的预测。

第8章讨论将文本数据转换为对机器学习算法有意义的表达方式的基本步骤，以根据文本内容预测人们的意见。

第9章继续使用第8章中的预测模型，并介绍使用嵌入式机器学习模型开发Web应用的基本步骤。

0章讨论根据目标变量和响应变量之间的线性关系建模，从而进行连续预测的基本技术。在介绍不同的线性模型之后，还将讨论多项式回归和基于树的建模方法。

1章将焦点转移到机器学习的其他子领域，即无监督学习。用来自三个基本聚类家族的算法来寻找一组拥有一定程度相似性的对象。

2章扩展基于梯度的优化概念，该概念在第2章中介绍过。还将介绍如何基于常见的反向传播算法在Python中构建强大的多层神经网络。

3章基于2章的知识，为更有效地训练神经网络提供实用指南。该章的重点是TensorFlow 2.0，这是一个开源的Python 软件库，它允许我们充分利用现代的多核图形处理器（GPU），通过对用户友好的Keras API，采用相同的构件来构建深度神经网络。

4章接着3章的内容更详细地介绍TensorFlow 2.0更的概念和功能。TensorFlow是一个庞大且复杂的软件库，该章将逐步探讨一些概念，例如将代码编译成静态图形以加快执行速度并定义可训练的模型参数。此外，该章还会提供用TensorFlow的Keras API以及TensorFlow的预制估计器训练深度神经网络的其他实践经验。

5章介绍卷积神经网络（CNN）。CNN代表一种特定类型的深度神经网络体系结构，特别适合用于图像数据集。由于CNN的性能优于传统方法，因此现在已被广泛用于计算机视觉中，在各种图像识别任务方面获得了非常的结果。在该章中，你将学习如何将卷积层用作图像分类的强大的特征提取器。

6章介绍深度学习的另外一种常用的神经网络体系结构，它特别适合处理文本序列数据和时间序列数据。作为热身练习， 在该章中，我们应用不同的循环神经网络来预测电影评论的情感。然后将学习神经网络如何从书中提取信息，以生成全新的文本。

第 17 章介绍一种常用的神经网络对抗训练机制，可用于生成逼真的新图像。该章首先简要地介绍自动编码器，这是一种可用于数据压缩的特定类型的神经网络体系结构。然后展示如何将自动编码器的解码器部分与第二个神经网络相结合，以区分真实图像和合成图像。通过让两个神经网络在对抗性训练中相互竞争的方法，实现用于生成新的手写数字的生成对抗网络。后，在介绍生成对抗网络的基本概念之后，介绍诸如Wasserstein距离指标等可以提高对抗性训练稳定性的方法。

8章讨论常用于训练机器人和其他自主系统的机器学习子类别。该章首先介绍强化学习 （RL） 的基础知识，让你熟悉智能体与环境的交互、强化学习系统的奖励过程，以及从经验中学习的概念。涵盖基于模型和无模型两大类强化学习。在介绍完基本算法（如基于蒙特卡罗和基于时间距离的学习）之后，我们将动手实现并训练一个可以使用Q学习算法在网格世界环境里导航的智能体。后，该章将介绍深度Q学习算法，这是使用深度神经网络的Q学习的变体。

阅读本书需要的材料

要执行本书的示例代码，需要在macOS、Linux或者Microsoft Windows操作系统上安装Python 3.7.0或更新的版本。本书将持续使用包括SciPy、NumPy、scikit-learn、Matplotlib和pandas在内的Python的科学计算软件库。

章将为设置Python环境及其核心库提供指令和有用的提示。我们将逐渐添加更多的软件库，另外也会在不同的章节中分别提供相应的安装指令，例如第8章的自然语言处理NLTK库、第9章的Flask 网络框架库，以及从3章到8章用于在GPU上训练神经网络的TensorFlow。

下载示例代码及彩色图像

本书的示例代码及彩色图像可以从http://www.packtpub.com通过个人账号下载，也可以访问华章图书官网http:/

本书自版出版以来，备受广大读者欢迎。与同类书相比，本书除了介绍如何用Python和基于Python的机器学习软件库进行实践外，还对机器学习概念的必要细节进行讨论，同时对机器学习算法的工作原理、使用方法以及如何避免掉入常见的陷阱提供直观且翔实的解释，是Python机器学习入门之作。它的内容涵盖了众多Python库，包括scikit-learn、Keras和TensorFlow等，系统性地梳理和分析了各种经典算法，并通过Python语言以具体代码示例的方式深入浅出地介绍了各种算法的应用，还给出了从情感分析到神经网络的一些实践技巧，这些内容能使你快速解决你和你的团队面临的一些重要问题。

塞巴斯蒂安·拉施卡（Sebastian Raschka）

威斯康星大学麦迪逊分校统计学副教授，专注于机器学习和深度学习研究。他拥有密歇根州立大学的博士学位，在计算生物学领域提出了几种新的计算方法，曾被科技博客Analytics Vidhya评为GitHub上极具影响力的数据科学家之一。他在Python编程方面拥有多年经验，同时还多次参加数据科学应用与机器学习领域的研讨会。

瓦希德·米尔贾利利（Vahid Mirjalili）

拥有密歇根州立大学机械工程博士学位，从事大规模分子结构计算模拟方法的研究。他曾加入密歇根州立大学的iPRoBe实验室，致力于把机器学习应用到计算机视觉和生物统计学领域。之后，他加入3M，利用自己的经验，把新的机器学习和深度学习技术应用于解决各种实际问题。

◆ 译者简介 ◆

陈斌（Chuck Chen）

NETSTARS首席技术官。1989年获得吉林大学硕士学位；1992年任新加坡航空公司系统分析师；1999年投身于硅谷互联网技术发展浪潮，曾任日立美国系统集成总监、Abacus首席架构师和Nokia美国首席工程师；2008年任eBay架构师，负责移动应用的架构设计；2014年出任易宝支付首席技术官；2016年开始担任CTO联盟联席、互联网技术百人会理事长。丰富的海外经历，多年的架构经验，深谙移动互联网对传统行业的影响；2020年投身NETSTARS，担任CTO，全力推动移动互联网技术，引领行业的变革。