√ 探索神经机器翻译的理论基础、经典算法、原理技术、实践方法与前沿进展
√ 揭示隐藏于不同机器翻译研究范式背后的科学问题
√ 开启理解机器翻译技术的全新视角

√ 技术与短评双主线叙事，不止于技术

除了算法、模型、公式，本书特别撰写了20 篇短评，串起神经机器翻译技术背后的历史、故事、思想、哲学、争议和规范等。例如：

统计与规则的竞争

- 自然语言处理之经验主义与理性主义

- 卷积神经机器翻译——实用性倒逼技术创新

- 超参数设置——自动优化与实验可复现性

- 机器翻译工业部署

- 神经机器翻译达到人类同等水平了吗？

- 神经机器翻译是疯子吗？兼谈其‘幻想’

- 预训练技术争议与语言符号奠基问题

短评串联不同技术及同一技术的不同发展阶段，更好地介绍技术背后的思想、争议及发展原因。为机器翻译研究者、实践者、使用者、爱好者和旁观者等提供理解机器翻译技术的新视角！

序

前言

数学符号

章绪论/1

1.1 引言/ 2

1.2 基本思想/ 6

1.3 解码/ 12

1.4 神经机器翻译与统计机器翻译对比/18

1.5 发展历史/27

1.6 应用现状/29

1.7 本书组织/33

1.8 阅读材料/35

1.9 短评：统计与规则的竞争/36

第I 部分基础篇

第2 章神经网络基础/41

2.1 神经网络/42

2.2 神经网络训练/48

2.3 常用神经网络简介/61

2.4 阅读材料/70

2.5 短评：神经网络与自然语言处理关系演变/71

第3 章自然语言处理基础/75

3.1 语言模型/ 76

3.2 词嵌入/82

3.3 对齐/ 90

3.4 语言分析/ 93

3.5 阅读材料/99

3.6 短评：自然语言处理之经验主义与理性主义/100

第II 部分原理篇

第4 章经典神经机器翻译/105

4.1 编码器-解码器结构/106

4.2 序列到序列学习/112

4.3 训练/114

4.4 解码/114

4.5 阅读材料/116

4.6 短评：神经机器翻译之独立同发现——编码器-解码器vs. 序列到序列/117

第5 章基于注意力的神经机器翻译/119

5.1 经典神经机器翻译模型的瓶颈/120

5.2 注意力机制/120

5.3 注意力机制的改进/124

5.4 基于注意力的多层神经机器翻译模型GNMT/127

5.5 阅读材料/128

5.6 短评：注意力机制与认知注意/129

第6 章基于卷积神经网络的神经机器翻译模型/131

6.1 卷积编码器/132

6.2 全卷积序列到序列模型/133

6.3 ByteNet/137

6.4 阅读材料/139

6.5 短评：卷积神经机器翻译——实用性倒逼技术创新/140

第7 章基于自注意力的神经机器翻译/142

7.1 自注意力机制/143

7.2 Transformer 模型/144

7.3 自注意力改进方法/149

7.4 阅读材料/152

7.5 短评：Transformer 带来的自然语言处理技术革新/153

第8 章神经机器翻译若干基础问题及解决方案/156

8.1 开放词汇表/157

8.2 深度模型/161

8.3 快速解码/162

8.4 模型融合/166

8.5 领域适应/169

8.6 阅读材料/172

8.7 短评：再谈神经机器翻译新思想新技术的诞生/173

第III 部分实践篇

第9 章数据准备/176

9.1 平行语料/177

9.2 语料获取/179

9.3 数据过滤与质量评估/183

9.4 数据处理/186

9.5 阅读材料/188

9.6 短评：浅谈数据对机器翻译的重要性 /188

0 章训练/191

10.1 mini-batch 设置/192

10.2 学习速率设置/195

10.3 随机梯度下降算法选择/197

10.4 其他超参数选择/200

10.5 分布式训练/202

10.6 Transformer 训练设置/207

10.7 阅读材料/209

10.8 短评：超参数设置——自动优化与实验可复现性/ 210

1 章测试/213

11.1 解码/214

11.2 解码和训练不一致/218

11.3 机器翻译评测方法/ 220

11.4 错误分析/ 223

11.5 阅读材料 /225

11.6 短评：评测驱动机器翻译研究/ 225

2 章部署/233

12.1 GPU 环境下的部署/234

12.2 CPU 环境下的部署/237

12.3 智能终端部署/240

12.4 模型压缩与计算加速/244

12.5 阅读材料/245

12.6 短评：机器翻译工业部署 /246

3 章系统设计与实现/251

13.1 总体设计/252

13.2 功能设计/254

13.3 开源系统/ 257

13.4 FAIRSEQ 解析/259

13.5 阅读材料/264

13.6 短评：机器翻译开源之路/ 264

第IV 部分进阶篇

4 章语篇级神经机器翻译/271

14.1 什么是语篇/272

14.2 语篇级机器翻译面临的挑战/274

14.3 语篇级机器翻译形式化定义/275

14.4 语篇级神经机器翻译方法 /276

14.5 面向语篇现象的机器翻译评测数据集/288

14.6 语篇级机器翻译评测方法/288

14.7 未来方向/289

14.8 阅读材料/290

14.9 短评：神经机器翻译达到人类同等水平了吗/292

5 章低资源及无监督神经机器翻译/296

15.1 低资源语言与资源稀缺挑战/297

15.2 低资源神经机器翻译/298

15.3 无监督机器翻译/305

15.4 未来方向/311

15.5 阅读材料/312

15.6 短评：无监督机器翻译之美及挑战/ 312

6 章融合知识的神经机器翻译/315

16.1 知识与机器翻译 /316

16.2 语言学知识融合/318

16.3 非语言学知识融合/324

16.4 双语知识融合/328

16.5 内部知识迁移/332

16.6 未来方向/337

16.7 阅读材料/337

16.8 短评：浅谈基于知识的机器翻译/ 338

7 章鲁棒神经机器翻译/342

17.1 鲁棒性概述/343

17.2 对抗鲁棒性/346

17.3 对抗样本生成/347

17.4 对抗训练/355

17.5 数据集/356

17.6 未来方向/358

17.7 阅读材料/359

17.8 短评：神经机器翻译是疯子吗？兼谈其“幻想”/ 360

8 章多语言神经机器翻译/363

18.1 基本思想与形式化定义/364

18.2 多语言机器翻译vs. 双语机器翻译/365

18.3 多语言神经机器翻译模型/367

18.4 训练数据采样方法/ 375

18.5 大规模多语言神经机器翻译/376

18.6 多语言神经机器翻译向双语神经机器翻译迁移/ 384

18.7 未来方向/386

18.8 阅读材料/389

18.9 短评：多语言机器翻译之美/390

9 章语音与视觉多模态神经机器翻译/393

19.1 文本模态之外的机器翻译 /394

19.2 端到端语音翻译/ 395

19.3 视觉引导的多模态神经机器翻译/ 407

19.4 阅读材料/ 417

19.5 短评：预训练技术争议与符号奠基问题/ 419

第20 章发展趋势与展望/427

20.1 展望/ 428

20.2 本书未覆盖内容/ 429

20.3 短评：科幻中的机器翻译与未来机器翻译/ 433

参考文献/439

索引/482

机器翻译是计算机科学与语言学交叉形成的早的研究方向，是自然语言处理技术的重要发源地。本书聚焦新一代机器翻译技术——神经机器翻译，系统梳理和介绍神经机器翻译的核心方法和前沿研究课题。全书分为基础篇、原理篇、实践篇和进阶篇，覆盖神经机器翻译的基础知识、经典框架、原理技术、实践方法与技巧，以及无监督神经机器翻译、多语言神经机器翻译、语音与视觉多模态机器翻译等前沿研究方向。全书理论与实践相结合，基础与前沿相交映。

除此之外，本书的一个特色是在每一章均附有一篇短评，针对相应章节的主题，介绍和评论神经机器翻译技术背后的历史、故事、思想、哲学、争议和规范等。短评与全书内容相交错，使读者对神经机器翻译技术不仅知其然，而且知其所以然。

本书适合高等院校计算机专业高年级本科生，以及人工智能、自然语言处理方向的研究生阅读，也可供机器翻译研究者、实践者、使用者，以及机器翻译行业的管理者、人工翻译研究人员等对机器翻译技术感兴趣的读者参考。

熊德意

天津大学智能与计算学部教授、博士生导师、自然语言处理实验室负责人，天津大学“语言智能与技术”中外联合研究中心主任，天津大学-中译语通自然语言处理联合实验室主任、中译语通人工智能首席科学家。主要研究方向为自然语言处理，特别专注于机器翻译、对话、问答、自然语言生成、常识推理、认知计算等方向的研究。在Computational Linguistics、IEEE TPAMI、AI、AAAI、ACL等国际期刊和会议上发表论文100余篇，在Springer出版英文专著一部。获得国家自然科学基金青年科学基金、国家重点研发计划“政府间国际科技合作创新合作”重点专项、英国皇家学会牛顿学者基金等资助。获得新加坡资讯通信研究院2008年年度研究贡献奖、北京市科学技术奖二等奖、中文信息学会“钱伟长中文信息处理科学技术奖-汉王青年创新奖”一等奖等奖项。曾是亚洲自然语言处理联合会AFNLP干事、新加坡中文与东方语文信息处理学会理事会成员，目前是中国中文信息学会理事。担任IALP 2012&2021程序委员会共同，CWMT 2017程序委员会共同，欧盟多国联合项目QTLeap咨询专家，ACL、EMNLP、NAACL、COLING等多个知名国际会议领域，以及TACL和ARR的Action Editor等。

李良友

华为诺亚方舟实验室研究员、机器翻译团队负责人。在欧盟玛丽居里项目资助下，于2017年获得都柏林城市大学计算机博士学位。主要研究方向为自然语言处理，特别专注于机器翻译相关技术领域的研发。在ACL、EMNLP等多个国际会议和期刊上发表论文10余篇，并担任ACL、EMNLP等国际会议领域和会议审稿人。

张 檬

华为诺亚方舟实验室研究员。于2018年获得清华大学计算机科学与技术系博士学位。主要研究方向为机器翻译和跨语言自然语言处理。在ACL、EMNLP、AAAI、TASLP等国际会议和期刊上发表论文10余篇。曾获中国中文信息学会博士学位论文提名奖。担任ACL、EMNLP、AAAI、IJCAI等多个知名国际会议审稿人。