| 书名： | 智能聊天机器人—— 核心技术与算法 |
| 出版社： | 清华大学出版社 |
| 出版日期 | 2021 |
| ISBN号： | 9787302570783 |
 |
| 随着人工智能技术的发展，人类对智能化服务更加渴望，聊天机器人成为研发热门之一。本书从聊天机器人所涉及的多个方面出发，先理论后实践，让读者不仅能了解其中的原理，还能自己动手编程。全书共9 章，第1 章以该领域的背景知识作为开篇，重点介绍了聊天系统中的主要模块；第2 章阐述了语音识别和隐马尔可夫模型；第3 章侧重于通用的自然语言处理技术；第4章讲解如何使用信息检索技术，来实现问答型的聊天系统；第5 章介绍一些主流的机器学习算法，以及如何使用这些算法来提升基于信息检索的问答系统；第6 章介绍推荐系统相关的知识以及常见的推荐算法，并将其应用到问答系统中；第7 章介绍如何使用深度学习来优化问答系统；第8 章讲述了聊天系统的前沿领域—知识图谱；第9 章讨论任务型和闲聊型聊天系统中更有挑战性的几个课题。 本书可为高等院校计算机科学、信息科学、电子工程和人工智能等领域的科研人员提供参考，也可作为相关专业本科生和研究生教学的参考书，对于从事深度学习及其应用的开发人员同样具有参考价值。 |
 |
| 黄申，博士，2015年美国杰出人才，微软学者，IBM ExtremeBlue天才计划成员。2006年博士毕业与上海交通大学计算机科学与工程专业，师从俞勇教授，拥有20余篇国际论文和30多项国际专利。他有超过20年机器学习和大数据领域的从业经验，现任Glassdoor机器学习资深研发经理，曾任职于LinkedIn全球数据科学部、微软亚洲研究院、IBM研究院、eBay中国研发中心高级科学家，1号店和大润发飞牛网。出版过《大数据架构和算法实现之路：电商系统的技术实战》《大数据架构商业之路：从业务需求到技术方案》《程序员的数学》等技术书籍和专栏，累计读者数万人。 |
|
|
|
本书消除了智能聊天领域的门槛，目的是培养复合型技术人才。本书通过多个案例，逐步介绍聊天机器人开发各个阶段可能遇到的技术难题、 业务需求以及相对应的技术解决方案和实践解析，让读者身临其境，探寻智能聊天机器人的奥秘。本书覆盖面全，涵盖了所有最关键的技术。可实践性强，通过大量实践才能积累宝贵的经验，最大限度地根据理论知识弥补技术方案的空白。这有利于技术人员针对不同的业务需求，制定更为合理的技术方案。 |
|
|
| 第1章 聊天机器人概述 1 1.1 聊天机器人的发展历史 1 1.2 聊天机器人的类型和应用 3 1.3 聊天机器人的模块和框架 4 第2章 自动语音识别 7 2.1 自动语音识别的发展概述 7 2.2 隐马尔可夫模型 8 2.2.1 概率论基础知识 9 2.2.2 隐马尔可夫模型是怎么来的 18 2.2.3 求解隐马尔可夫模型 25 2.3 Python实战 28 第3章 自然语言处理 33 3.1 自然语言处理的发展概述 33 3.2 常见的自然语言处理技术 34 3.2.1 停用词 34 3.2.2 同义词和近义词 37 3.2.3 多元语法 39 3.2.4 词袋模型和TF-IDF机制 40 3.2.5 语义相关的词 44 3.2.6 词性标注 61 3.2.7 实体识别 64 3.2.8 语法分析和语义分析 66 3.3 针对中英文的特殊处理 70 3.3.1 取词干和词形还原 71 3.3.2 中文分词 72 第4章 基于信息检索的问答系统 78 4.1 问答系统的发展概述 78 4.2 信息检索 78 4.2.1 如何高效地找到信息 79 4.2.2 相关性模型 84 4.2.3 其他扩展 95 4.2.4 基于信息检索的问答系统架构 99 4.3 基于Elasticsearch搜索引擎的问答系统 103 4.3.1 软件和数据的准备 103 4.3.2 Elasticsearch的基本概念和使用 105 4.3.3 在Elasticsearch中处理自然语言 114 4.3.4 自定义Elasticsearch的排序 123 4.3.5 Elasticsearch中搜索结果的统计 126 4.3.6 Elasticsearch集群 129 4.3.7 集成的问答系统 136 第5章 用机器学习提升基于信息检索的问答系统 141 5.1 如何提升问答系统 141 5.2 分析用户提出的问题 142 5.2.1 分类模型和算法 142 5.2.2 利用朴素贝叶斯模型进行文本分类 148 5.2.3 问题分类的Python实战 152 5.2.4 实体识别及其Python实战 159 5.3 检索结果的优化 166 5.3.1 线性回归的基本概念 166 5.3.2 线性回归的求解和拟合度的评估 168 5.3.3 线性回归的Python实战 181 5.3.4 聚类模型和算法 184 5.3.5 向量空间模型上的聚类 189 第6章 基于社区和推荐的问答系统 195 6.1 什么是社区和推荐 195 6.2 基于社区的问答系统 195 6.3 推荐系统的原理和算法 199 6.3.1 推荐系统 199 6.3.2 协同过滤 206 6.3.3 使用Python实现协同过滤 211 6.4 基于推荐的问答系统 214 6.5 答案的摘要 218 6.5.1 文本摘要原理和算法 218 6.5.2 文本摘要的Python实战 219 第7章 使用深度学习加强问答系统 227 7.1 神经网络 227 7.1.1 神经网络的基础知识 227 7.1.2 使用TensorFlow实现基本的神经网络 234 7.2 深度学习 243 7.2.1 卷积神经网络 243 7.2.2 深度学习在问答系统上的应用 248 第8章 使用知识图谱构建问答系统 261 8.1 什么是知识图谱 261 8.1.1 知识图谱的起源 261 8.1.2 知识图谱的应用 263 8.1.3 知识图谱的关键要素 264 8.2 基于模板的知识图谱问答 269 8.2.1 基于模板方法的主要步骤 269 8.2.2 使用SPARQL和Python实战 271 8.2.3 可能的改进 304 第9章 打造任务型和闲聊型聊天系统 306 9.1 什么是任务型聊天系统 306 9.2 理解用户的意图 307 9.2.1 基本方法 307 9.2.2 Python实战 308 9.3 识别任务相关的属性 314 9.4 对话流程的管理 324 9.4.1 基于规则的方法 325 9.4.2 基于数据统计的方法 334 9.5 闲聊型聊天系统的情感分析 342 |
 |
| 毋庸置疑，聊天机器人是最近几年最火的人工智能领域之一，各种智能家居和语音助手层出不穷。可是，中国真正有实力构建此类系统的公司并不多。笔者阅读了不少业界的观察性文章，也走访了一些业内的专家，发现导致这一现状的原因主要在于以下几点： 涉及的技术范围广，技术人才数量有限。聊天系统需要“理解”人类的语音和语意，然后进行一定的“思考”，甚至帮助用户“完成”任务。这其中就涉及了语音识别、自然语言处理和理解、信息检索、推荐、知识图谱、机器学习、深度学习等多个领域的专业知识，而精通所有这些领域的人才少之又少。 发展速度快，技术含量高。如果说语音识别、自然语言处理和信息检索领域相对成熟，那么机器学习、深度学习、知识图谱领域仍处于高速发展中，这类技术相对于普通的应用开发而言，需要更多理论知识和实践经验的积累。而商业价值的挖掘程度，往往取决于使用的技术深度。越是钻研得深入，所产生的价值就会越大。 成熟方案少。很多智能的和大数据的技术是免费的，这对于盈利模式而言无疑是重大利好。不过代价就是其中存在稳定性和易用性问题。现在有一些大型技术公司提供更成熟的解决方案，但是价格高昂，对于经费并不宽裕的初创公司而言，选择余地太小。 以上这些因素，都会形成进入智能聊天领域的门槛，而高门槛势必导致相关技术在工业界应用的步伐放缓。为了解决这个问题，企业需要培养自己的复合型技术人才，才能让企业使用适合的工具、获得准确的数据、制定合理的实现方案。为此，笔者萌生了一个想法：通过本书帮助企业快速建立复合型团队，并搭建基础的智能聊天系统。笔者在写作过程中，力求做到以下几点： 覆盖面更全。聊天系统涉及的技术栈很多，本书尝试涵盖最为关键的领域，让读者在理解了这些知识之后，能够对整个系统有一个全局性的认识。 易读易懂。通过生动的案例和形象的比喻来解读难点，降低技术理解的门槛。这样能够让刚入门的技术人员更容易理解聊天系统其中的运行原理。 可实践性强。通过大量实践才能积累宝贵的经验，最大限度地根据理论知识弥补技术方案的空白。这有利于技术人员针对不同的业务需求，制定更为合理的技术方案。 本书通过多个案例，逐步介绍聊天机器人开发各个阶段可能遇到的技术难题、业务需求以及相对应的技术解决方案和实践解析，让读者身临其境，探寻智能聊天机器人的奥秘。 勘误和支持 正如前文所述，人工智能技术发展得实在是太快了。可能就在你阅读这些文字的同时，又有一项新的技术诞生了，N项技术升级了，M项技术被淘汰了。笔者的水平有限，书中难免会出现一些不够准确或者遗漏的地方，恳请读者积极建议和斧正，我们很期待能够听到你们的反馈。 致谢 首先要感谢上海交通大学的俞勇教授，给予我不断学习的机会，带领我进入了人工智能的世界。同时，感谢天镶智能的创始人薛贵荣，你的指导让我树立了良好的科研态度。 其次，要感谢IBM美国研究院的Guangjie Ren，给我很多机会参与到IBM Waston聊天系统的设计和研发中，积累了不少实战的经验。 另外，还要感谢微软亚洲研究院、eBay中国研发中心、沃尔玛1号店、大润发飞牛网和IBM中国研发中心，在这些公司十多年的实战经验让我收获颇丰，也为本书的完成打下了坚实基础。 感谢曾经的微软战友陈正、孙建涛、Ling Bao、周明、曾华军、张本宇、沈抖、刘宁、严峻、曹云波、王琼华、康亚滨、胡健、季蕾等，eBay的战友逄伟、王强、王骁、沈丹、Yongzheng Zhang、Catherine Baudin、Alvaro Bolivar、Xiaodi Zhang、吴晓元、周洋、胡文彦、宋荣、刘文、Lily Yu等，沃尔玛1号店的战友韩军、王欣磊、胡茂华、付艳超、张旭强、黄哲铿、沙燕霖、郭占星、聂巍、邵汉成、张珺、胡毅、邱仔松、孙灵飞、凌昱、王善良、廖川、杨平、余迁、周航、吴敏、李峰等，大润发飞牛网的战友王俊杰、陈俞安、蔡伯璟、陈慧文、夏吉吉、文燕军、杨立生、张飞、代伟、陈静、赵瑜、李航等，IBM的战友李伟、谢欣、周健、马坚、刘钧、唐显莉等。要感谢的同仁太多，如有遗漏敬请谅解，很怀念和你们并肩作战的日子，让我学习到了很多。 感谢清华大学出版社的编辑王莉老师，在最近的大半年时间中始终支持我的写作，帮助引导我顺利完成全部书稿。 最后，感谢我的太太、儿子和双方父母，为了此书的写作，我周末陪伴你们的时间更少了，感谢你们对我的理解和支持。 谨以此书献给我最亲爱的家人以及众多热爱人工智能的朋友们。 黄申 于美国硅谷 2020年8月 |
