目录

赞誉

推荐序一

推荐序二

推荐序三

前言

第1章决策树与人工智能1

1.1决策与智能1

1.2决策树算法的起源2

1.3决策树的核心术语4

1.4决策树的可解释性5

1.5作为决策分析工具的决策树7

1.5.1决策分析8

1.5.2基于决策分析流程的决策树9

1.6作为机器学习算法的决策树15

1.6.1机器学习算法的类型15

1.6.2基于数据的决策树18

1.6.3决策树算法面临的基本问题24

1.6.4基于规则的机器学习27

1.7作为特征学习与决策融合的决策树30

1.8参考文献31

第2章经典决策树算法33

2.1经典决策树应用的一般流程33

2.1.1缺失值的处理33

2.1.2连续数值属性的离散化处理34

2.2CART算法34

2.2.1基尼不纯度、基尼增益与基尼指数34

2.2.2CART分类决策树的原理38

2.2.3CART分类决策树的编程实践43

2.2.4回归问题与回归算法55

2.2.5CART回归决策树的特征和分割点选择准则65

2.2.6CART回归决策树的原理66

2.2.7CART回归决策树的编程实践70

2.3ID3算法75

2.3.1信息熵与信息增益75

2.3.2ID3算法示例78

2.3.3ID3算法的编程实践84

2.4C4.5算法87

2.4.1信息增益率88

2.4.2连续属性的处理88

2.4.3缺失值的处理88

2.4.4基于C4.5算法处理连续属性生成分类决策树的示例91

2.4.5C4.5算法的后续改进——C5.0算法96

2.5决策树的评估98

2.6决策树的5种可视化方法100

2.7小结107

2.8参考文献107

第3章决策树的剪枝109

3.1代价复杂度剪枝110

3.1.1CCP算法的基本原理110

3.1.2CCP算法的编程实践113

3.1.3基于sklearn的CCP示例121

3.2错误率降低剪枝127

3.2.1REP算法的基本原理127

3.2.2REP算法的编程实践128

3.3悲观错误剪枝133

3.3.1PEP算法的基本原理133

3.3.2PEP算法的编程实践135

3.4最小错误剪枝139

3.4.1MEP算法的基本原理139

3.4.2MEP算法的编程实践140

3.5其他决策树剪枝算法简介145

3.6小结147

3.7参考文献147

第4章随机森林149

4.1随机森林的基本原理149

4.1.1构造随机森林的步骤150

4.1.2随机森林的简单示例151

4.1.3基于sklearn的随机森林编程示例152

4.1.4选择最优的随机特征属性数量153

4.2套袋法156

4.2.1套袋法的算法流程157

4.2.2套袋法的偏差和方差157

4.2.3套袋法的优缺点159

4.3随机森林的参数设置与调优159

4.3.1sklearn随机森林的参数159

4.3.2调参示例161

4.3.3OOB错误率与交叉验证166

4.4随机森林的优缺点174

4.5使用随机森林进行特征属性的重要性区分的示例175

4.5.1基于基尼指数的特征属性重要性评估175

4.5.2基于袋外数据错误率的特征属性重要性评估177

4.6使用随机森林进行无监督聚类的示例179

4.7使用随机森林进行回归分析的示例182

4.8随机森林与核方法的结合184

4.9小结186

4.10参考文献186

第5章集成学习方法188

5.1提升法188

5.1.1AdaBoost算法原理189

5.1.2AdaBoost算法实现199

5.1.3AdaBoost算法的编程实践——基于sklearn解决分类问题203

5.1.4AdaBoost算法的编程实践——基于sklearn解决回归问题205

5.1.5提升法的分类、优点和挑战207

5.2梯度提升法208

5.2.1梯度提升法的原理和示例208

5.2.2梯度提升决策树211

5.2.3梯度提升分类决策树213

5.2.4梯度提升回归决策树223

5.2.5随机梯度提升树227

5.2.6基于梯度提升法的机器学习库228

5.3堆叠法233

5.3.1简单的二阶段堆叠算法234

5.3.2基于K折交叉验证的二阶段堆叠法237

5.3.3基于sklearn的K折交叉验证的二阶段堆叠法的编程实践238

5.3.4多阶段堆叠模型247

5.4套袋法、提升法、堆叠法的比较250

5.5小结252

5.6参考文献253

第6章并行决策树256

6.1随机森林的并行化256

6.2XGBoost基础259

6.2.1XGBoost核心原理260

6.2.2XGBoost系统设计及其并行化加速270

6.2.3XGBoost编程基础272

6.2.4XGBoost回归问题编程275

6.2.5XGBoost分类问题编程277

6.2.6XGBoost随机森林编程278

6.2.7XGBoost特征筛选编程281

6.2.8XGBoost与传统提升树的比较283

6.2.9XGBoost的缺点284

6.3LightGBM基础284

6.3.1LightGBM核心原理285

6.3.2LightGBM系统设计及其并行化加速291

6.3.3LigthGBM编程基础294

6.3.4LightGBM与sklearn结合的示例300

6.3.5LightGBM回归问题编程302

6.3.6LightGBM分类问题编程303

6.3.7LightGBM的优缺点305

6.4CatBoost基础306

6.4.1CatBoost核心原理306

6.4.2CatBoost系统设计及其并行化加速313

6.4.3CatBoost编程基础313

6.4.4CatBoost分类问题编程（不带分类特征属性）317

6.4.5CatBoost回归问题编程（不带分类特征属性）319

6.4.6CatBoost回归问题编程（带分类特征属性）321

6.4.7CatBoost的优缺点323

6.4.8XGBoost、LightGBM、CatBoost的比较324

6.5NGBoost简介325

6.6小结326

6.7参考文献326

第7章蚁群决策树329

7.1蚁群元启发式算法329

7.1.1典型蚁群算法330

7.1.2MMAS算法331

7.1.3ACS算法332

7.2基于蚁群的分类规则提取333

7.2.1Ant-Miner规则提取方法334

7.2.2Ant-Miner算法实现339

7.2.3Ant-Miner算法的早期变种345

7.2.4MYRA——开源实现349

7.2.5Ant-MinerMA+G算法350

7.2.6AMclr算法353

7.3蚁群决策树的算法原理355

7.3.1Ant-Tree-Miner决策树生成算法356

7.3.2ACDT算法360

7.4自适应蚁群决策森林362

7.4.1自适应ACDF算法364

7.4.2ACDF算法中的长期提升366

7.5小结367

7.6参考文献367

第8章深度决策树370

8.1深度森林370

8.1.1gcForest的基本原理370

8.1.2gcForest的编程实践376

8.1.3DF21开源库378

8.1.4改进的深度森林模型381

8.2深度神经决策树381

8.2.1DNDT的基本原理382

8.2.2DNDT的编程实践385

8.3自适应神经决策树388

8.3.1ANT的基本原理389

8.3.2ANT的编程实践392

8.4神经支持决策树401

8.4.1NBDT的基本原理401

8.4.2NBDT的编程实践406

8.5深度神经决策森林409

8.5.1dNDF的基本原理410

8.5.2dNDF模型的优缺点414

8.5.3dNDF的编程实践414

8.6小结421

8.7参考文献422

  内容简介

决策树是数据分析中广泛使用的机器学习模型，其模型简单、算法快速且具有可解释性。但随着大数据的涌现，将决策树真正应用到实践中还面临诸多困难。本书正是为解决这一痛点而作，旨在帮助读者系统且全面地了解决策树，并成功地将其用于工程实践。