内容介绍
机器学习虽然对改进产品性能和推进研究有很大的潜力,但无法对它们的预测做出解释,这是当前面临的一大障碍。本书是一本关于使机器学习模型及其决策具有可解释性的书。本书探索了可解释性的概念,介绍了简单的、可解释的模型,例如决策树、决策规则和线性回归,重点介绍了解释黑盒模型的、与模型无关的方法,如特征重要性和累积局部效应,以及用Shapley值和LIME解释单个实例预测。本书对所有的解释方法进行了深入说明和批判性讨论,例如它们如何在黑盒下工作、它们的优缺点是什么、如何解释它们的输出。本书将解答如何选择并正确应用解释方法。本书的重点是介绍表格式数据的机器学习模型,较少涉及计算机视觉和自然语言处理任务。本书适合机器学习从业者、数据科学家、统计学家和所有对使机器学习模型具有可解释性感兴趣的人阅读。
目录
目录
推荐序一/III
推荐序二/V
作者序/Ⅶ
译者序/Ⅸ
*1章引言/1
1.1故事时间/2
1.1.1闪电不会击中两次/2
1.1.2信任倒下/4
1.1.3费米的回形针/6
1.2什么是机器学习/7
1.3术语/8
*2章可解释性/13
2.1可解释性的重要性/14
2.2可解释性方法的分类/18
2.3可解释性的范围/20
2.3.1算法透明度/20
2.3.2全局、整体的模型可解释性/21
2.3.3模块层面上的全局模型可解释性/21
2.3.4单个预测的局部可解释性/22
2.3.5一组预测的局部可解释性/22
2.4可解释性评估/22
2.5解释的性质/23
2.6 人性化的解释/25
2.6.1 什么是解释/26
2.6.2 什么是好的解释/26
第3 章数据集/31
3.1 自行车租赁(回归) /32
3.2 YouTube 垃圾评论(文本分类) /32
3.3 宫颈癌的危险因素(分类) /33
第4 章可解释的模型/35
4.1 线性回归/36
4.1.1 解释/38
4.1.2 示例/40
4.1.3 可视化解释/41
4.1.4 解释单个实例预测/44
4.1.5 分类特征的编码/45
4.1.6 线性模型是否有很好的解释/46
4.1.7 稀疏线性模型/47
4.1.8 优点/50
4.1.9 缺点/50
4.2 逻辑回归/51
4.2.1 线性回归用于分类有什么问题/51
4.2.2 理论/52
4.2.3 解释/53
4.2.4 示例/55
4.2.5 优缺点/56
4.2.6 软件/57
4.3 GLM、GAM 和其他模型/57
4.3.1 非高斯结果输出——GLM /59
4.3.2 交互/63
4.3.3 非线性效应——GAM /66
4.3.4 优点/71
4.3.5 缺点/71
4.3.6 软件/72
4.3.7 进一步扩展/72
4.4 决策树/73
4.4.1 解释/75
4.4.2 示例/76
4.4.3 优点/77
4.4.4 缺点/78
4.4.5 软件/78
4.5 决策规则/79
4.5.1 OneR /81
4.5.2 顺序覆盖/85
4.5.3 贝叶斯规则列表/88
4.5.4 优点/93
4.5.5 缺点/94
4.5.6 软件和替代方法/94
4.6 RuleFit /95
4.6.1 解释和示例/96
4.6.2 理论/97
4.6.3 优点/100
4.6.4 缺点/101
4.6.5 软件和替代方法/101
4.7 其他可解释模型/101
4.7.1 朴素贝叶斯分类器/102
4.7.2 k-近邻/102
第5 章与模型无关的方法/103
5.1 部分依赖图/105
5.1.1 示例/106
5.1.2 优点/108
5.1.3 缺点/110
5.1.4 软件和替代方法/110
5.2 个体条件期望/111
5.2.1 示例/111
5.2.2 优点/115
5.2.3 缺点/115
5.2.4 软件和替代方法/115
5.3 累积局部效应图/115
5.3.1 动机和直觉/115
5.3.2 理论/119
5.3.3 ALE 图的估计/120
5.3.4 示例/123
5.3.5 优点/130
5.3.6 缺点/131
5.3.7 软件和替代方法/132
5.4 特征交互/132
5.4.1 特征交互的概念/133
5.4.2 理论:弗里德曼的H 统计量/134
5.4.3 示例/135
5.4.4 优点/137
5.4.5 缺点/138
5.4.6 实现/138
5.4.7 替代方法/138
5.5 置换特征重要性/139
5.5.1 理论/139
5.5.2 应该计算训练数据的重要性还是测试数据的重要性/140
5.5.3 示例和解释/142
5.5.4 优点/143
5.5.5 缺点/145
5.5.6 软件和替代方法/146
5.6 全局代理模型/146
5.6.1 理论/146
5.6.2 示例/148
5.6.3 优点/150
5.6.4 缺点/150
5.6.5 软件/150
5.7 局部代理模型(LIME) /150
5.7.1 表格数据的LIME /152
5.7.2 文本的LIME /155
5.7.3 图像的LIME /156
5.7.4 优点/156
5.7.5 缺点/158
5.8 Shapley 值/158
5.8.1 总体思路/158
5.8.2 示例与解释/162
5.8.3 详细的Shapley 值/163
5.8.4 优点/167
5.8.5 缺点/168
5.8.6 软件和替代方法/169
5.9 SHAP /169
5.9.1 SHAP 的定义/169
5.9.2 KernelSHAP /171
5.9.3 TreeSHAP /174
5.9.4 示例/175
5.9.5 SHAP 特征重要性/176
5.9.6 SHAP 概要图/177
5.9.7 SHAP 依赖图/178
5.9.8 SHAP 交互值/179
5.9.9 聚类SHAP 值/180
5.9.10 优点/180
5.9.11 缺点/181
5.9.12 软件/182
第6 章基于样本的解释/183
6.1 反事实解释/185
6.1.1 生成反事实解释/187
6.1.2 示例/189
6.1.3 优点/190
6.1.4 缺点/190
6.1.5 软件和替代方法/191
6.2 对抗样本/191
6.2.1 方法与示例/192
6.2.2 网络安全视角/198
6.3 原型与批评/199
6.3.1 理论/200
6.3.2 示例/205
6.3.3 优点/205
6.3.4 缺点/206
6.3.5 软件和替代方法/206
6.4 有影响力的实例/206
6.4.1 删除诊断/209
6.4.2 影响函数/213
6.4.3 识别有影响力的实例的优点/218
6.4.4 识别有影响力的实例的缺点/218
6.4.5 软件和替代方法/219
第7 章水晶球/221
7.1 机器学习的未来/223
7.2 可解释性的未来/224
参考文献/227
作者介绍
Christoph Molnar,可解释机器学习研究员,目前在德国慕尼黑大学统计研究所攻读博士学位,目标是让机器学习模型的决策更容易被人类理解。著作Interpretable Machine Learning受到业界高度关注。
朱明超,就读于复旦大学计算机科学技术专业,热衷于知识推广,主要研究机器学习和模型可解释性。
关联推荐
人工智能从业者、数据科学家、统计学家和所有对使机器学习模型具有可解释性感兴趣的人员。