基本信息：

情感分析：挖掘观点、情感和情绪（原书第2版）

本书主要从自然语言处理的角度地介绍情感分析主题的研究技术和实用算法，以帮助读者了解通常用于表达观点和情感的问题和语言结构的基本结构。涵盖情感分析的所有核心领域，如文档级情感分析、基于属性的情感分析、情感词典的构建等。还包括许多新兴的主题，如辩论分析、意图挖掘、虚假评论检测，并提出了可用来分析和总结观点的计算方法。本书可以作为情感分析领域的入门读物和研究概览，适合对情感分析和观点挖掘感兴趣的学生、研究人员阅读。

机器学习：从基础理论到典型算法（原书第2版）

本书是机器学习领域内一部具有里程碑意义的著作。包括哥伦比亚大学、北京大学在内的多个国内外名校均有以该书为基础开设的研究生课程。全书内容丰富，视野宽阔，深入浅出地介绍了目前机器学习重要的理论和关键的算法。

对偶学习

本书系统全面地阐述了对偶学习，使得相关研究人员和从业者能够更好地了解该领域的前沿技术。全书分为五部分。第1部分简要介绍机器学习和深度学习的基础知识。第2部分以机器翻译、图像翻译、语音处理及其他自然语言处理/计算机视觉为例，详细介绍了基于对偶重构准则的算法。第3部分是基于概率准则的若干工作，包括基于联合概率的对偶有监督学习和对偶推断，以及基于边缘概率的对偶半监督学习。第4部分从理论角度解读了对偶学习，并且讨论了和其他学习范式的关联。第5部分总结全书并给出若干未来研究方向。

现代决策树模型及其编程实践：从传统决策树到深度决策树

决策树是数据分析中广泛使用的机器学习模型，其模型简单、算法快速且具有可解释性。但随着大数据的涌现，将决策树真正应用到实践中还面临诸多困难。本书正是为解决这一痛点而作，旨在帮助读者系统且全面地了解决策树，并成功地将其用于工程实践。

异质图表示学习与应用

本书旨在全面回顾异质图表示学习的发展，并介绍前沿研究进展。首先从方法和技术两个角度总结了现有的工作，并介绍了该领域的一些公开资源。然后分类详细 介绍了新模型与应用。全书主体内容分为两部分，第1部分重点介绍四种主要的异质图表示学习模型。第2部分介绍了异质图表示学习在现实工业场景中的应用。之后讨论了异质图表示学习未来的研究方向，并总结了本书的内容。

联邦学习：算法详解与系统实现

本书首先介绍联邦学习的定义和发展历史，按类别介绍联邦学习算法和发展现状，介绍联邦学习的应用场景，以及相关安全机器学习的技术。然后我们将介绍zui新zui前沿的联邦学习算法，用数科系统作为实例，对联邦学习系统构建和实现进行讲解。zui后我们将介绍数科自研的基于区块链的联邦学习技术。

神经机器翻译

本书介绍自然语言处理的一个应用—机器翻译及相关知识。全书分为三部分。第一部分包含～4章，简要介绍机器翻译中的问题、机器翻译技术的实际应用及历史，讨论一直困扰机器翻译领域的译文质量评价问题。第二部分包含第5～9章，解释神经网络、基本机器翻译模型的设计，以及训练和解码的核心算法。第三部分包含第10～17章，既涵盖构建新模型的关键内容，也涉及开放性的挑战问题和一些未解决问题的前沿研究。本书主要面向学习自然语言处理或机器翻译相关课程的本科生和研究生，以及相关研究领域的研究人员。

目录：

神经机器翻译

●作者寄语

译者序

前言

阅读指南

第一部分 绪论

第1章 翻译问题 2

1.1 翻译的目标 2

1.2 歧义性 4

1.2.1 词汇翻译问题 4

1.2.2 短语翻译问题 4

1.2.3 句法翻译问题 5

1.2.4 语义翻译问题 5

1.3 语言学观点 6

1.4 数据视角 9

1.4.1 忠实度 9

1.4.2 流畅度 10

1.4.3 齐普夫定律 11

1.5 实际问题 13

1.5.1 公开的数据 13

1.5.2 评测活动 13

1.5.3 工具集 14

第2章 机器翻译的应用 15

2.1 信息获取 15

2.2 人工辅助翻译 16

2.3 交流 18

2.4 自然语言处理的管道式系统 21

2.5 多模态机器翻译 21

第3章 历史回顾 23

3.1 神经网络 24

3.1.1 生物学启发 24

3.1.2 感知器学习 25

3.1.3 多层网络 25

3.1.4 深度学习 26

3.2 机器翻译 27

3.2.1 密码破译 27

3.2.2 ALPAC报告与后续影响 27

3.2.3 少有商用系统 28

3.2.4 基于中间语言的翻译系统 28

3.2.5 数据驱动的方法 28

3.2.6 开源的研发环境 29

3.2.7 深入用户 30

3.2.8 神经翻译的兴起 30

第4章 评价方法 32

4.1 基于任务的评价 32

4.1.1 真实世界的任务 33

4.1.2 内容理解 33

4.1.3 译员翻译效率 34

4.2 人工评价 35

4.2.1 忠实度和流畅度 35

4.2.2 排序 37

4.2.3 连续分数 38

4.2.4 众包评价 40

4.2.5 人工译文编辑率 41

4.3 自动评价指标 41

4.3.1 BLEU 42

4.3.2 同义词和形态变体 43

4.3.3 TER 44

4.3.4 characTER 45

4.3.5 自举重采样 45

4.4 指标研究 47

4.4.1 关于评价的争论 47

4.4.2 对评价指标的评价 48

4.4.3 自动评价指标缺点的相关证据 49

4.4.4 新的评价指标 50

第二部分 基础

第5章 神经网络 54

5.1 线性模型 54

5.2 多层网络 55

5.3 非线性模型 56

5.4 推断 57

5.5 反向传播训练 59

5.5.1 输出节点权重 60

5.5.2 隐藏层节点权重 61

5.5.3 公式总结 63

5.5.4 权重更新示例 63

5.5.5 验证集 64

5.6 探索并行处理 65

5.6.1 向量和矩阵运算 65

5.6.2 小批量训练 65

5.7 动手实践：使用Python实现神经网络 66

5.7.1 Numpy库中的数据结构和函数 66

5.7.2 前向计算 67

5.7.3 反向计算 67

5.7.4 链式法则的重复使用 68

5.8 扩展阅读 71

第6章 计算图 72

6.1 用计算图描述神经网络 72

6.2 梯度计算 73

6.3 动手实践：深度学习框架 77

6.3.1 利用PyTorch实现前向和反向计算 77

6.3.2 循环训练 79

6.3.3 批训练 80

6.3.4 优化器 81

第7章 神经语言模型 83

7.1 前馈神经语言模型 83

7.1.1 表征单词 84

7.1.2 神经网络架构 85

7.1.3 训练 86

7.2 词嵌入 86

7.3 噪声对比估计 88

7.4 循环神经语言模型 89

7.5 长短时记忆模型 91

7.6 门控循环单元 93

7.7 深度模型 94

7.8 动手实践：PyTorch中的神经语言模型 96

7.8.1 循环神经网络 96

7.8.2 文本处理 97

7.8.3 循环训练 98

7.8.4 建议 99

7.9 扩展阅读 100

第8章 神经翻译模型 101

8.1 编码器–解码器方法 101

8.2 添加对齐模型 102

8.2.1 编码器 102

8.2.2 解码器 103

8.2.3 注意力机制 104

8.3 训练 106

8.4 深度模型 108

8.4.1 解码器 108

8.4.2 编码器 109

8.5 动手实践：利用PyTorch实现神经翻译模型 110

8.5.1 编码器 111

8.5.2 解码器 111

8.5.3 训练 113

8.6 扩展阅读 115

第9章 解码 116

9.1 柱搜索 116

9.2 集成解码 119

9.2.1 生成候选系统 120

9.2.2 融合系统输出 120

9.3 重排序 121

9.3.1 利用从右到左解码的重排序 121

9.3.2 利用反向模型的重排序 122

9.3.3 增加n-best列表的多样性 122

9.3.4 评分组件的权重学习 123

9.4 优化解码 126

9.5 约束解码 127

9.5.1 XML模式 127

9.5.2 网格搜索 127

9.5.3 强制注意力 128

9.5.4 评价 129

9.6 动手实践：Python中的解码 129

9.6.1 假设 129

9.6.2 柱空间 129

9.6.3 搜索 131

9.6.4 输出很好译文 132

9.7 扩展阅读 133

第三部分 提高

第10章 机器学习技巧 138

10.1 机器学习中的问题 138

10.2 确保随机性 140

10.2.1 打乱训练数据 141

10.2.2 权重初始化 141

10.2.3 标签平滑 142

10.3 调整学习率 142

10.3.1 动量项 142

10.3.2 调整每个参数的学习率 143

10.3.3 批梯度更新 144

10.4 避免局部很优 145

10.4.1 正则化 145

10.4.2 课程学习 145

10.4.3 drop-out法 146

10.5 处理梯度消失和梯度爆炸问题 147

10.5.1 梯度裁剪 147

10.5.2 层归一化 147

10.5.3 捷径连接和高速连接 148

10.5.4 LSTM和梯度消失 149

10.6 句子级优化 150

10.6.1 最小风险训练 150

10.6.2 生成对抗训练 151

10.7 扩展阅读 152

第11章 替代架构 155

11.1 神经网络组件 155

11.1.1 前馈层 155

11.1.2 因子分解 156

11.1.3 基本的数学运算 157

11.1.4 循环神经网络 158

11.1.5 卷积神经网络 159

11.2 注意力模型 160

11.2.1 注意力计算 160

11.2.2 多头注意力 161

11.2.3 细粒度注意力 162

11.2.4 自注意力 162

11.3 卷积机器翻译模型 163

11.4 融合注意力机制的卷积神经网络 165

11.4.1 编码器 165

11.4.2 解码器 166

11.4.3 注意力 167

11.5 自注意力：Transformer 167

11.5.1 自注意力层 167

11.5.2 解码器中的注意力 168

11.6 扩展阅读 171

第12章 重温单词 173

12.1 词嵌入 173

12.1.1 潜在语义分析 174

12.1.2 连续词袋模型 175

12.1.3 Skip Gram 176

12.1.4 GloVe 176

12.1.5 ELMo 177

12.1.6 BERT 178

12.2 多语言词嵌入 178

12.2.1 特定语言词嵌入之间的映射 179

12.2.2 语言无关的词嵌入 180

12.2.3 仅使用单语数据 180

12.3 大词汇表 182

12.3.1 低频词的特殊处理 182

12.3.2 字节对编码算法 183

12.3.3 句子片段化算法 184

12.3.4 期望优选化训练 185

12.3.5 子词正则化 185

12.4 基于字符的模型 186

12.4.1 字符序列模型 186

12.4.2 基于字符的单词表示模型 186

12.4.3 集成基于字符的模型 188

12.5 扩展阅读 189

第13章 领域自适应 195

13.1 领域 195

13.1.1 语料库之间的差异 196

13.1.2 多领域场景 197

13.1.3 领域内与领域外 198

13.1.4 自适应效应 198

13.1.5 合理的警告 199

13.2 混合模型 199

13.2.1 数据插值 199

13.2.2 模型插值 200

13.2.3 领域感知训练 201

13.2.4 主题模型 202

13.3 欠采样 204

13.3.1 Moore-Lewis：语言模型交叉熵 204

13.3.2 基于覆盖范围的方法 205

13.3.3 样本加权 206

13.4 微调 206

13.4.1 约束更新 207

13.4.2 文档级自适应 208

13.4.3 句子级自适应 209

13.4.4 课程训练 210

13.5 扩展阅读 210

第14章 超越平行语料库 214

14.1 使用单语数据 215

14.1.1 增加语言模型 215

14.1.2 回译 216

14.1.3 迭代回译 217

14.1.4 往返训练 217

14.2 多种语言对 218

14.2.1 多种输入语言 219

14.2.2 多种输出语言 219

14.2.3 共享模块 220

14.3 训练相关任务 221

14.3.1 预训练词嵌入 221

14.3.2 预训练编码器和解码器 221

14.3.3 多任务训练 222

14.4 扩展阅读 222

第15章 语言学结构 228

15.1 有指导的对齐训练 228

15.2 建模覆盖度 230

15.2.1 在推断过程中约束覆盖度 230

15.2.2 覆盖度模型 231

15.2.3 繁衍率 232

15.2.4 特征工程与机器学习 232

15.3 添加语言学标注 233

15.3.1 输入句子的语言学标注 233

15.3.2 输出句子的语言学标注 234

15.3.3 语言学结构化的模型 235

15.4 扩展阅读 236

第16章 当前挑战 238

16.1 领域不匹配 238

16.2 训练数据规模 240

16.3 稀有词 241

16.4 噪声数据 243

16.4.1 真实世界中的噪声 243

16.4.2 合成噪声 245

16.4.3 噪声对翻译质量的影响 246

16.5 柱搜索 248

16.6 词对齐 250

16.7 扩展阅读 251

第17章 分析与可视化 253

17.1 错误分析 253

17.1.1 神经机器翻译的典型错误 253

17.1.2 语言学错误类型 255

17.1.3 真实世界中的研究案例 256

17.1.4 目标测试集 257

17.1.5 合成语言 259

17.2 可视化 259

17.2.1 词嵌入 260

17.2.2 编码器状态：词义 261

17.2.3 注意力机制 262

17.2.4 多头注意力机制 263

17.2.5 语言模型预测中的记忆 264

17.2.6 解码器状态 266

17.2.7 柱搜索 266

17.3 探测向量表示 267

17.3.1 分类器方法 267

17.3.2 实验发现 268

17.4 分析神经元 269

17.4.1 认知理论 269

17.4.2 个体神经元 269

17.4.3 揭示神经元 271

17.5 追溯模型决策过程 271

17.5.1 层级间相关性传递 271

17.5.2 相关性传递在机器翻译中的应用 273

17.5.3 显著性计算 274

17.6 扩展阅读 275

参考文献 279