目录
《人工智能算法 卷1 基础算法》
第 1 章 AI 入门 1
1.1 与人类大脑的联系 2
1.1.1 大脑和真实世界 3
1.1.2 缸中之脑 5
1.2 对问题建模 6
1.2.1 大脑和真实世界 7
1.2.2 回归分析 9
1.2.3 聚类问题 10
1.2.4 时序问题 10
1.3 对输入/ 输出建模 11
1.3.1 一个简单的例子 15
1.3.2 燃油效率 16
1.3.3 向算法传入图像 18
1.3.4 金融算法 20
1.4 理解训练过程 21
1.4.1 评估成果 22
1.4.2 批量学习和在线学习 22
1.4.3 监督学习和非监督学习 23
1.4.4 随机学习和确定学习 23
1.5 本章小结 23
第 2 章 数据归一化 25
2.1 计量尺度 25
2.2 观测值归一化 29
2.2.1 名义量归一化 30
2.2.2 顺序量归一化 32
2.2.3 顺序量解归一化 34
2.2.4 数字量归一化 35
2.2.5 数字量解归一化 37
2.3 其他归一化方法 38
2.3.1 倒数归一化 38
2.3.2 倒数解归一化 38
2.3.3 理解等边编码法 39
2.3.4 等边编码法的实现 41
2.4 本章小结 45
第3 章 距离度量 47
3.1 理解向量 47
3.2 计算向量距离 49
3.2.1 欧氏距离 49
3.2.2 曼哈顿距离 51
3.2.3 切比雪夫距离 53
3.3 光学字符识别 54
3.4 本章小结 57
第4 章 随机数生成 59
4.1 伪随机数生成算法的概念 60
4.2 随机数分布类型 61
4.3 轮盘模拟法 64
4.4 伪随机数生成算法 65
4.4.1 线性同余生成法 66
4.4.2 进位乘数法 67
4.4.3 梅森旋转算法 68
4.4.4 Box-Muller 转换法 70
4.5 用蒙特卡洛方法估算PI 值 72
4.6 本章小结 74
第5 章 K 均值聚类算法 75
5.1 理解训练集 77
5.1.1 非监督学习 77
5.1.2 监督学习 80
5.2 理解K 均值算法 80
5.2.1 分配 81
5.2.2 更新 83
5.3 K 均值算法的初始化 84
5.3.1 随机K 均值初始化 84
5.3.2 K 均值算法的Forgy 初始化 87
5.4 本章小结 90
第6 章 误差计算 91
6.1 方差和误差 92
6.2 均方根误差 93
6.3 均方误差 93
6.4 误差计算方法的比较 94
6.5 本章小结 96
第7 章 迈向机器学习 97
7.1 多项式系数 99
7.2 训练入门 101
7.3 径向基函数网络 103
7.3.1 径向基函数 104
7.3.2 径向基函数网络 107
7.3.3 实现径向基函数网络 109
7.3.4 应用径向基函数网络 113
7.4 本章小结 115
第8 章 优化训练 117
8.1 爬山算法 117
8.2 模拟退火算法 121
8.2.1 模拟退火算法的应用 122
8.2.2 模拟退火算法 123
8.2.3 冷却进度 126
8.2.4 退火概率 127
8.3 Nelder-Mead 算法 128
8.3.1 反射 130
8.3.2 扩张操作 131
8.3.3 收缩操作 132
8.4 Nelder-Mead 算法的终止条件 133
8.5 本章小结 134
第9 章 离散优化 135
9.1 旅行商问题 135
9.1.1 旅行商问题简要说明 136
9.1.2 旅行商问题求解的实现 137
9.2 环形旅行商问题 138
9.3 背包问题 139
9.3.1 背包问题简要说明 140
9.3.2 背包问题求解的实现 141
9.4 本章小结 143
第 10 章 线性回归 144
10.1 线性回归 144
10.1.1 *小二乘法拟合 146
10.1.2 *小二乘法拟合示例 148
10.1.3 安斯库姆四重奏 149
10.1.4 鲍鱼数据集 151
10.2 广义线性模型 152
10.3 本章小结 155
附录A 示例代码使用说明 157
A.1 “读懂人工智能”系列书简介 157
A.2 保持更新 157
A.3 获取示例代码 158
A.4 示例代码的内容 159
A.5 如何为项目做贡献 163
参考资料 164
《人工智能算法 卷2 受大自然启发的算法》
第 1 章　种群、计分和选择 1
1.1　理解种群　2
1.1.1　初始种群　3
1.1.2　种群成员之间的竞争　4
1.1.3　种群成员之间的合作　4
1.1.4　表型和基因型　5
1.1.5　岛屿种群　5
1.2　对种群计分　6
1.3　从种群中选择　7
1.4　截断选择　8
1.5　联赛选择　9
1.6　如何选择轮数　12
1.7　适应度比例选择　13
1.8　随机遍历抽样　15
选择一种选择算法　17
1.9　本章小结　18
第　2 章 交叉和突变　20
2.1　演化算法　21
2.2　解编码　22
2.3　交叉　23
2.3.1　拼接交叉　24
2.3.2　无重复拼接交叉　26
1
2.3.3　其他突变和交叉策略　27
2.4　突变　28
2.4.1　改组突变　29
2.4.2　扰动突变　31
2.5　为什么需要精英　33
2.6　本章小结　34
第　3 章 遗传算法　35
3.1　离散问题的遗传算法　35
3.1.1　旅行商问题　36
3.1.2　为旅行商问题设计遗传算法　38
3.1.3　旅行商问题在遗传算法中的应用　40
3.2　连续问题的遗传算法　42
3.3　遗传算法的其他应用　45
3.3.1　标签云　45
3.3.2　马赛克艺术　47
3.4　本章小结　49
第　4 章 遗传编程　50
4.1　程序作为树　50
4.1.1　后缀表示法　52
4.1.2　树表示法　54
4.1.3　终端节点和非终端节点　55
4.1.4　对树求值　55
4.1.5　生成树　58
2
4.1.6　满树初始化　59
4.1.7　生长树初始化　61
4.1.8　混合初始化　62
4.1.9　蓄水池采样　63
4.2　树突变　67
4.3　树交叉　68
4.4　拟合公式　70
4.5　本章小结　73
第　5 章 物种形成　75
5.1　物种形成实现　76
5.1.1　阈值物种形成　76
5.1.2　聚类物种形成　77
5.2　遗传算法中的物种　79
5.3　遗传编程中的物种　79
5.4　使用物种形成　80
5.5　本章小结　81
第　6 章 粒子群优化　83
6.1　群聚　83
6.2　粒子群优化　86
6.2.1　粒子　87
6.2.2　速度计算　88
6.2.3　实现　89
6.3　本章小结　91
3
第　7 章 蚁群优化　93
7.1　离散蚁群优化　95
7.1.1　ACO 初始化　97
7.1.2　蚂蚁移动　98
7.1.3　信息素更新　102
7.2　连续蚁群优化　103
7.2.1　初始候选解　106
7.2.2　蚂蚁移动　106
7.3　本章小结　110
第　8 章 细胞自动机　111
8.1　基本细胞自动机　112
8.2　康威的《生命游戏》　116
8.2.1　《生命游戏》的规则　117
8.2.2　有趣的生命图案　118
8.3　演化自己的细胞自动机　121
理解合并物理学　125
8.4　本章小结　129
第　9 章 人工生命　130
9.1　里程碑 1：绘制植物　131
9.2　里程碑 2：创建植物生长动画　134
9.2.1　植物的物理特征　135
9.2.2　植物生长　138
4
9.3　里程碑 3：演化植物　140
给植物计分　141
9.4　本章小结　142
第　10 章 建模　144
10.1　Kaggle 竞赛　145
10.2　里程碑 1：整理数据　148
10.3　里程碑 2：建立模型　152
10.4　里程碑 3：提交测试回复　156
10.5　本章小结　157
附录　A 示例代码使用说明　159
参考资料　166

《人工智能算法 卷3 深度学习和神经网络（全彩印刷）》
第 1 章　神经网络基础 1
1.1　神经元和层　2
1.2　神经元的类型　5
1.2.1　输入和输出神经元　6
1.2.2　隐藏神经元　7
1.2.3　偏置神经元　7
1.2.4　上下文神经元　8
1.2.5　其他神经元类型　10
1.3　激活函数　10
1.3.1　线性激活函数　10
1.3.2　阶跃激活函数　11
1.3.3　S 型激活函数12
1.3.4　双曲正切激活函数　13
1.4　修正线性单元（ReLU）13
1.4.1　Softmax 激活函数　14
1.4.2　偏置扮演什么角色？　17
1.5　神经网络逻辑　19
1.6　本章小结　22
第　2 章 自组织映射　23
2.1　自组织映射　24
2.1.1　理解邻域函数　27
2.1.2　墨西哥帽邻域函数　30
2.1.3　计算 SOM 误差　32
2.2　本章小结　33
第　3 章 Hopfield 网络和玻尔兹曼机34
3.1　Hopfield 神经网络　34
3.1.1　训练 Hopfield 网络　37
3.2　Hopfield-Tank 网络　41
3.3　玻尔兹曼机　42
3.3.1　玻尔兹曼机概率　44
3.4　应用玻尔兹曼机　45
3.4.1　旅行商问题　45
3.4.2　优化问题　48
3.4.3　玻尔兹曼机训练　51
3.5　本章小结　51
第　4 章 前馈神经网络　53
4.1　前馈神经网络结构　54
4.1.1　用于回归的单输出神经网络　54
4.2　计算输出　56
4.3　初始化权重　60
4.4　径向基函数网络　63
4.4.1　径向基函数　64
4.4.2　径向基函数网络　65
4.5　规范化数据　67
4.5.1　1-of-N 编码　68
4.5.2　范围规范化　69
4.5.3　Z 分数规范化70
4.5.4　复杂规范化　73
4.6　本章小结　75
第　5 章 训练与评估　77
5.1　评估分类　78
5.1.1　二值分类　79
5.1.2　多类分类　84
5.1.3　对数损失　86
5.1.4　多类对数损失　88
5.2　评估回归　88
5.3　模拟退火训练　89
5.4　本章小结　92
第　6 章 反向传播训练　93
6.1　理解梯度　93
6.1.1　什么是梯度　94
6.1.2　计算梯度　96
6.2　计算输出节点增量　98
6.2.1　二次误差函数　98
6.2.2　交叉熵误差函数　99
6.3　计算剩余节点增量　99
6.4　激活函数的导数　100
6.4.1　线性激活函数的导数　100
6.4.2　Softmax 激活函数的导数　100
6.4.3　S 型激活函数的导数　101
6.4.4　双曲正切激活函数的导数　102
6.4.5　ReLU 激活函数的导数　102
6.5　应用反向传播　103
6.5.1　批量训练和在线训练　104
6.5.2　随机梯度下降　105
6.5.3　反向传播权重更新　105
6.5.4　选择学习率和动量　106
6.5.5　Nesterov 动量　107
6.6　本章小结　108
第　7 章 其他传播训练　110
7.1　弹性传播　110
7.2　RPROP 参数　111
7.3　数据结构　113
7.4　理解 RPROP　114
7.4.1　确定梯度的符号变化　114
7.4.2　计算权重变化　115
7.4.3　修改更新值　115
7.5　Levenberg-Marquardt 算法　116
7.6　Hessian 矩阵的计算　119
7.7　具有多个输出的 LMA　120
7.8　LMA 过程概述　122
7.9　本章小结　122
第　8 章 NEAT，CPPN 和 HyperNEAT　124
8.1　NEAT 网络　125
8.1.1　NEAT 突变　128
8.1.2　NEAT 交叉　129
8.1.3　NEAT 物种形成　133
8.2　CPPN 网络　134
8.2.1　CPPN 表型　135
8.3　HyperNEAT 网络　138
8.3.1　HyperNEAT 基板　139
8.3.2　HyperNEAT 计算机视觉　140
8.4　本章小结　142
第　9 章 深度学习　143
9.1　深度学习组件　143
9.2　部分标记的数据　144
9.3　修正线性单元　145
9.4　卷积神经网络　145
9.5　神经元 Dropout　146
9.6　GPU 训练　147
9.7　深度学习工具　149
9.7.1　H2O　149
9.7.2　Theano　150
9.7.3　Lasagne 和 NoLearn　150
9.7.4　ConvNetJS　152
9.8　深度信念神经网络　152
9.8.1　受限玻尔兹曼机　154
9.8.2　训练 DBNN　155
9.8.3　逐层采样　157
9.8.4　计算正梯度　157
9.8.5　吉布斯采样　159
9.8.6　更新权重和偏置　160
9.8.7　DBNN 反向传播　161
9.8.8　深度信念应用　162
9.9　本章小结　164
第　10 章 卷积神经网络　165
10.1　LeNET-5　166
10.2　卷积层　168
10.3　*大池层　170
10.4　稠密层　172
10.5　针对 MNIST 数据集的 ConvNets　172
10.6　本章小结　174
第　11 章 剪枝和模型选择　175
11.1　理解剪枝　176
11.1.1　剪枝连接　176
11.1.2　剪枝神经元　176
11.1.3　改善或降低表现　177
11.2　剪枝算法　177
11.3　模型选择　179
11.3.1　网格搜索模型选择　180
11.3.2　随机搜索模型选择　183
11.3.3　其他模型选择技术　184
11.4　本章小结　185
第　12 章 Dropout 和正则化　186
12.1　L1 和 L2 正则化　187
12.1.1　理解 L1 正则化　188
12.1.2　理解 L2 正则化　189
12.2　Dropout 层　190
12.2.1　Dropout 层　191
12.2.2　实现 Dropout 层　191
12.3　使用 Dropout　194
12.4　本章小结　195
第　13 章 时间序列和循环网络　197
13.1　时间序列编码　198
13.1.1　为输入和输出神经元编码数据　199
13.1.2　预测正弦波　200
13.2　简单循环神经网络　204
13.2.1　Elman 神经网络　206
13.2.2　Jordan 神经网络　207
13.2.3　通过时间的反向传播　208
13.2.4　门控循环单元　211
13.3　本章小结　213
第　14 章 架构神经网络　214
14.1　评估神经网络　215
14.2　训练参数　215
14.2.1　学习率　216
14.2.2　动量　218
14.2.3　批次大小　219
14.3　常规超参数　220
14.3.1　激活函数　220
14.3.2　隐藏神经元的配置　222
14.4　LeNet-5 超参数　223
14.5　本章小结　224
第　15 章 可视化　226
15.1　混淆矩阵　227
15.1.1　读取混淆矩阵　227
15.1.2　生成混淆矩阵　228
15.2　t-SNE 降维　229
15.2.1　t-SNE 可视化　231
15.2.2　超越可视化的 t-SNE　235
15.3　本章小结　236
第　16 章 用神经网络建模　237
16.0.1　挑战赛的经验　241
16.0.2　挑战赛取胜的方法　242
16.0.3　我们在挑战赛中的方法　244
16.1　用深度学习建模　245
16.1.1　神经网络结构　245
16.1.2　装袋多个神经网络　249
16.2　本章小结　250
附录　A 示例代码使用说明　252
A.1　系列图书简介　252
A.2　保持更新　252
A.3　获取示例代码　253
A.3.1　下载压缩文件　253
A.3.2　克隆 Git 仓库　254
A.4　示例代码的内容　255
A.5　如何为项目做贡献　257
参考资料　259

作者介绍
[美] 杰弗瑞·希顿（Jeffery Heaton）他既是一位活跃的技术博主、开源贡献者，也是十多本图书的作者。他的专业领域包括数据科学、预测建模、数据挖掘、大数据、商务智能和人工智能等。他拥有华盛顿大学信息管理学硕士学位，是IEEE的*级会员、Sun认证Java程序员、开源机器学习框架Encog的&席开发人员。