Google翻譯實作：機器翻譯NLP基礎及模型親手打造

作者：肖桐

出版社：深智數位

出版日期：2022/04/20

语言：繁体中文

ISBN：9786267146019

规格：简装/912頁/17x23x4cm/普通級/單色印刷/

出版地：中国台湾

【全中文自然語言處理】

有了多拉A夢翻譯年糕誰還要找翻譯社？人人都可以當口譯哥！

旅遊網紅用手機環遊世界溝通無礙！

當Google翻譯像空氣一樣自然的存在時，我們仿佛忘了機器翻譯走了幾百年，篳路藍縷有多麼的艱辛。身為使用者在享受這些科技的成果時，技術人員則更好奇些神奇應用底層的科學是如何發展出來的。熟悉史丹佛CS224n NLP課程的人，一定對大師Chris Manning對機器翻譯的重點十分讚嘆。本書就是堪比大師NLP和機器翻譯的鉅作。從機器翻譯的歷史、數學原理、理論細節、實作理論、參考資源、*新發展、從*細節到*宏觀的高度都放入書中。NLP是AI上皇冠上的一個明珠，機器翻譯更是*能展現NLP技術的極緻精華。從事NLP的技術人員、資料科學家、神經網路演算法科學家，如果想要進入NLP的世界，本書將會是20年來*重要，*完整、*能精進技術的一個重要提升。

本書技術重點

?理性主義及資料主義

?統計語言建議

?詞法/語法分析，以機率圖/分類器模型

?科學方法評估翻譯品質

?以詞、扭曲度/繁衍度、短語、句法模型的翻譯方法

?Google大殺器：神經機器翻譯建模

?循環神經網路模型/注意力機制，卷積神經網路模型

?Transformer，自注意力機制

?神經網路翻譯模型訓練/推論/結構*佳化

?小型裝置上的神經網路機器翻譯

?多模態/多層次機器翻譯

?當代機器翻譯的應用及佈署

本書特色

◎機器翻譯簡介

說明了從理性主義一直進入到資料主義的過程。接下來說明統計語言建模的基礎，進一步進入詞法語法分析的原理，其中並穿插了翻譯品質的評鑑標準。

◎統計機器翻譯

介紹了以詞、扭曲度、繁衍度、短語、句法為基礎的機器翻譯原理及實作。

◎近代機器翻譯的新世代 – 神經機器翻譯

介紹了神經網路及神經語言的建模、循環神經網路模型、卷積神經網路模型及自注意力機制的模型。

◎神經翻譯系統的細節

包括模型訓練及*佳化，模型的推論，更有針對神經網路系統的結構精進，以及使用低資源的神經網路(如資料蒸餾)，以及多模態、多層次的機器翻譯，也介紹了新一代神經網路的應用及發展。

?

部分?機器翻譯基礎

01 機器翻譯簡介

1.1 機器翻譯的概念

1.2 機器翻譯簡史

1.3 機器翻譯現狀及挑戰

1.4 基於規則的機器翻譯方法

1.5 資料驅動的機器翻譯方法

1.6 推薦學習資源

02 統計語言建模基礎

2.1 機率論基礎

2.2 擲骰子遊戲

2.3 n-gram 語言模型

2.4 預測與搜索

2.5 小結及拓展閱讀

03 詞法分析和語法分析基礎

3.1 問題概述

3.2 中文分詞

3.3 命名實體辨識

3.4 句法分析

3.5 小結及拓展閱讀

04 翻譯品質評價

4.1 譯文品質評價面臨的挑戰

4.2 人工評價

4.3 有參考**的自動評價

4.4 無參考**的自動評價

4.5 小結及拓展閱讀

?

第2部分?統計機器翻譯

05 基於詞的機器翻譯建模

5.1 詞在翻譯中的作用

5.2 一個簡單實例

5.3 雜訊通道模型

5.4 統計機器翻譯的3個基本問題

5.5 IBM 模型1

5.6 小結及拓展閱讀

06 基於扭曲度和繁衍率的模型

6.1 基於扭曲度的模型

6.2 基於繁衍率的模型

6.3 解碼和訓練

6.4 問題分析

6.5 小結及拓展閱讀

07 基於短語的模型

7.1 翻譯中的短語資訊

7.2 數學建模

7.3 短語取出

7.4 翻譯調序建模

7.5 翻譯特徵

7.6 *小錯誤率訓練

7.7 堆疊解碼

7.8 小結及拓展閱讀

08 基於句法的模型

8.1 翻譯中句法資訊的使用

8.2 基於層次短語的模型

8.3 基於語言學句法的模型

8.4 小結及拓展閱讀

?

第3部分?神經機器翻譯

09 神經網路和神經語言建模

9.1 深度學習與神經網路

9.2 神經網路基礎

9.3 神經網路的張量實現

9.4 神經網路的參數訓練

9.5 神經語言模型

9.6 小結及拓展閱讀

10 基於循環神經網路的模型

10.1 神經機器翻譯的發展簡史

10.2 編碼器- 解碼器框架

10.3 基於循環神經網路的翻譯建模

10.4 注意力機制

10.5 訓練及推斷

10.6 小結及拓展閱讀

11 基於卷積神經網路的模型

11.1 卷積神經網路

11.2 基於卷積神經網路的翻譯建模

11.3 局部模型的改進

11.4 小結及拓展閱讀

12 基於自注意力的模型

12.1 自注意力機制

12.2 Transformer 模型

12.3 位置編碼

12.4 基於點乘的多頭注意力機制

12.5 殘差網路和層標準化

12.6 前饋全連接網路子層

12.7 訓練

12.8 推斷

12.9 小結及拓展閱讀

?

第4部分?機器翻譯前端

13 神經機器翻譯模型訓練

13.1 開放詞表

13.2 正則化

13.3 對抗樣本訓練

13.4 學習策略

13.5 知識蒸餾

13.6 基於樣本價值的學習

13.7 小結及拓展閱讀

14 神經機器翻譯模型推斷

14.1 面臨的挑戰

14.2 基本問題

14.3 輕量模型

14.4 吩回歸翻譯

14.5 多模型整合

14.6 小結與拓展閱讀

15 神經機器翻譯模型結構*佳化

15.1 注意力機制的改進

15.2 神經網路連接*佳化及深層模型

15.3 基於句法的神經機器翻譯模型

15.4 基於結構搜索的翻譯模型*佳化

15.5 小結及拓展閱讀

16 低資源神經機器翻譯

16.1 資料的有效使用

16.2 雙向翻譯模型

16.3 多語言翻譯模型

16.4 無監督機器翻譯

16.5 領域適應

16.6 小結及拓展閱讀

17 多模態、多層次機器翻譯

17.1 機器翻譯需要更多的上下文

17.2 語音翻譯

17.3 圖型翻譯

17.4 篇章級翻譯

17.5 小結及拓展閱讀

18 機器翻譯應用技術

18.1 機器翻譯的應用並不簡單

18.2 增量式模型*佳化

18.3 互動式機器翻譯

18.4 翻譯結果的可干預性

18.5 小裝置機器翻譯

18.6 機器翻譯系統的部署

18.7 機器翻譯的應用場景

隨筆

後記

A

A.1 統計機器翻譯開放原始碼系統

A.2 神經機器翻譯開放原始碼系統

B

B.1 公開評測任務

B.2 基準資料集

B.3 平行語料

C

C.1 IBM 模型2 的訓練方法

C.2 IBM 模型3 的訓練方法

C.3 IBM 模型4 的訓練方法

C.4 IBM 模型5 的訓練方法

D 參考文獻

E 索引