人工智能導論

Introduction

toArtificialIntelligence

第八章史忠植

中國科學院計算技術研究所/2023/10/20史忠植人工智能導論：自然語言處理1自然語言處理NaturalLanguageProcessing2023/10/20史忠植人工智能導論：自然語言處理2內容提要8.1概述8.2自然語言處理的層次

8.3機器翻譯8.4對話系統(tǒng)8.5問答系統(tǒng)

8.6文本生成 8.7小結概述自然語言處理是用機器處理人類語言的理論和技術。作為語言信息處理技術的一個高層次的重要研究方向，一直是人工智能領域的核心課題。由于自然語言的多義性、上下文有關性、模糊性、非系統(tǒng)性和環(huán)境密切相關性、涉及的知識面廣等原因，自然語言處理是困難問題之一。自然語言處理的研究希望機器能夠執(zhí)行人類所期望的某些語言功能，這些功能包括：

（1）回答問題：計算機能正確地回答用自然語言輸入的有關問題；

（2）文摘生成：機器能產生輸入文本的摘要；

（3）釋義：機器能用不同的詞語和句型來復述輸入的自然語言信息；

（4）翻譯：機器能把一種語言翻譯成另外一種語言。2023/10/20史忠植人工智能導論：自然語言處理3概述自然語言自然語言：人類交流的語言,口語、書面語、手語、旗語等人造語言：機器語言，包括C++,BASIC等 世界語到目前為止的人類知識有80%以上使用自然語言文字記載下來的。但將來，可能用計算機語言形式記載的知識將會越來越多。因此說，語言信息處理技術和每年所處理的信息總量已成為衡量一個國家現代化水平的重要標志之一。相比較人工智能其它領域，自然語言理解是難度大，進展小的。至今為止未能達到很高的水平。

2023/10/20史忠植人工智能導論：自然語言處理4自然語言處理的發(fā)展自然語言理解的研究大體上經歷了三個時期萌芽時期

發(fā)展時期早期:20世紀60年代以關鍵詞匹配為主流中期:20世紀70年代以句法－語義分析為主流近期:20世紀80年代以來走向實用化和工程化大規(guī)模真實文本處理時期比較成功的系統(tǒng)處理都是受限的自然語言子集句法受限：句子結構的復雜性方面受到限制語義受限/領域受限：所表達的事物的數量方面受到限制2023/10/20史忠植人工智能導論：自然語言處理520世紀60年代：以關鍵詞匹配為主流特點：沒有真正意義上的語法分析，主要依靠關鍵詞匹配技術來識別輸入句子的意義在系統(tǒng)中事先存放了大量包含某些關鍵詞的模式，每個模式與一個或多個解釋(響應式)相對應。每當輸入一個句子，系統(tǒng)便查找與之匹配的模式，一旦匹配成功，系統(tǒng)就輸出相應的解釋，不考慮其他成分對句子意義的影響是一種近似匹配技術，輸入句子可以不準循語法，但是也容易導致錯誤自然語言處理的發(fā)展2023/10/20史忠植人工智能導論：自然語言處理620世紀70年代：句法語義分析為主流采用句法-語義分析技術典型例子LUNAR允許用普通英語和數據庫對話的人機接口句法分析語義解釋數據檢索ATN語法詞典語義規(guī)則數據庫自然語言處理的發(fā)展2023/10/20史忠植人工智能導論：自然語言處理720世紀80年代以來：實用化和工程化主要特點是開始走向實用化和工程化。其重要標志之一是有一批商品化的自然語言人機接口系統(tǒng)和機器翻譯系統(tǒng)推向了市場。另一方面，人們已經開始對大規(guī)模真實文本進行理解句法－語義分析為主的思想來自于規(guī)則的方法，而規(guī)則不可能把所有的知識表示出來自然語言在數量上浩瀚無際在性質上具有不確定性和模糊性。自然語言處理的發(fā)展2023/10/20史忠植人工智能導論：自然語言處理82023/10/20史忠植人工智能導論：自然語言處理9內容提要8.1概述8.2自然語言處理的層次

8.3機器翻譯8.4對話系統(tǒng)8.5問答系統(tǒng)

8.6文本生成 8.7小結自然語言處理是人工智能和語言學領域的分支學科，包括多個方面和步驟，概括來說，主要是認知、理解、生成等三個部分。自然語言認知和理解是讓計算機把輸入的語言變成有具體含義的符號和關系，然后根據使用者的目的做相應得處理。自然語言生成系統(tǒng)就是把計算機數據轉化為自然語言的系統(tǒng)。自然語言處理2023/10/20史忠植人工智能導論：自然語言處理10自然語言處理層次2023/10/20史忠植人工智能導論：自然語言處理11自然語言處理層次自然語言的層次劃分及對應技術理論層次結構實現技術模板匹配、基于規(guī)則語音

模式匹配基于詞素、詞匯詞匯詞典結構轉換生成、詞匯功能語法語法

擴展轉移網絡(ATN),CF規(guī)則格語法、語義基元理論、模型理論語義

產生式規(guī)則、概念相依理論、腳本、框架、語義網絡、邏輯基于記憶的推理、語言行為理論、篇章語法語用2023/10/20史忠植人工智能導論：自然語言處理12詞法分析詞法分析是理解單詞的基礎，其主要目的是從句子中切分出單詞，找出詞匯的各個詞素，從中獲得單詞的語言學信息并確定單詞的詞義例如unchangeable是由un-change-able構成的，其詞義由這三個部分構成。2023/10/20史忠植人工智能導論：自然語言處理13詞法分析語言構成語言詞匯語法詞熟語句法詞素詞法構形法構詞法詞組構造法造句法2023/10/20史忠植人工智能導論：自然語言處理14詞法分析在英語等語言中，因為單詞之間是以空格自然分開的，切分一個單詞很容易，所以找出句子的一個個詞匯就很方便。但是由于英語單詞有詞性、數、時態(tài)、派生、變形等變化，要找出各個詞素就復雜的多，需要對詞尾或詞頭進行分析。如importable，它可以是im-port-able或import-able，這是因為im、port、able這三個都是詞素。

漢語中的每個字就是一個詞素，所以要找出各個詞素是相當容易的，但要切分出各個詞就非常困難，不僅需要構詞的知識，還需要解決可能遇到的切分歧義。如“我們研究所有東西”?？梢允恰拔覀儭芯克袞|西”，也可以是“我們—研究—所有—東西”。

2023/10/20史忠植人工智能導論：自然語言處理15句法分析句法分析的主要任務：確定輸入句子的結構：識別句子的各個成分及其之間的關系句子結構的規(guī)范化：目的是簡化后續(xù)處理分析自然語言的方法主要分為兩類：基于規(guī)則的方法：如短語結構語法和Chomsky語法體系基于統(tǒng)計的方法2023/10/20史忠植人工智能導論：自然語言處理16短語結構語言定義句子：一個符號串語言：句子的集合語法：對一個句集一種有限的形式化描述描述一般語言的方法：識別器：由程序判斷讀入的符號串是不是一個句子短語結構語法：一種基于產生式的形式化工具，也稱為產生式語法2023/10/20史忠植人工智能導論：自然語言處理17短語結構語言定義：短語結構語法定義為：G＝(T，N，S，P）T是終結符集合，即被定義的語言的所有詞匯（或符號）N是非終結符集合，這些符號用于描述語法成分，并不出現于句子中。則有：V＝T

N，T

N＝

（空集），V是屬于該語法的全部符號。S是起始符號，它是N中的一個成員。P是一個產生式規(guī)則集。a

b (a

b,a

V+,b

V*)2023/10/20史忠植人工智能導論：自然語言處理18短語結構語言在短語結構語法中，基本運算是把一個符號串重寫為另一個符號串，每條語法規(guī)則也叫重寫規(guī)則一個句子的產生就是從S符號到詞匯串的推導過程如果一個程序能夠根據一個短語結構語法來確定一個句子的推導，則它可稱為一個句法分析器(parser)。語法G所定義的語言記為L(G):L(G)={W|W

T*,S

*GW}2023/10/20史忠植人工智能導論：自然語言處理19短語結構語言刻畫語言的形式體系的強和弱遞歸可枚舉語言：如果有一個程序，它能以某種順序逐個地輸出（即枚舉）一種語言的句子，這種語言是遞歸可枚舉的遞歸語言：如果有一個程序，它在讀入一個符號串后能最終確定這個串是或不是某種語言的一個句子，這稱該語言是遞歸2023/10/20史忠植人工智能導論：自然語言處理20短語結構語言正則語法：正則語法有兩種形式：左線性語法：如A

a|Ba右線性語法：如A

a|aB可以表示如下的句子：a*b*語法例子：S

a|S1

|aSS1

b|bS1與有限狀態(tài)機等價2023/10/20史忠植人工智能導論：自然語言處理21短語結構語言上下文無關語法：語法規(guī)則形式為：A

x即左邊為一非終結符，右邊沒有限制可以表示的句子如：anbn語法例子：S

a|SbS該文法應用于程序設計語言中2023/10/20史忠植人工智能導論：自然語言處理22短語結構語言上下文有關語法：語法規(guī)則：規(guī)則右邊的符號數不能少于左邊符號數右邊的符號可以是終止符也可以是非終止符上下文有關語言是遞歸的可以表示的語言：anbncn語法例子：AB

BA2023/10/20史忠植人工智能導論：自然語言處理23短語結構語言無約束短語結構語法：語法規(guī)則是沒有限制的：左邊可以是任意多個終止符或非終止符右邊可以是任意多個終止符或非終止符該語言是遞歸可枚舉的該語言與圖靈機等價語法例子：AB

C2023/10/20史忠植人工智能導論：自然語言處理24Chomsky體系無約束語法上下文有關語法上下文無關語法正則語法2023/10/20史忠植人工智能導論：自然語言處理25CFG的分析算法用一個短語結構語法對一個句子進行語法分析，意味著尋找一個從起始符到該句子的推導，這個推導一般可以表示為一棵句法樹一般一棵句法樹對應的推導不是唯一的，但是如果在推導過程中每次總是重寫最左邊的非終止符，則稱該推導為最左推導。<SENTENCE><SUBJECT><VERBPHRASE>

Mary<VERBPHRASE>Mary<VERB><OBJECT>Maryeats<OBJECT>Maryeatscheese2023/10/20史忠植人工智能導論：自然語言處理26CFG的分析算法<SENTENCE>::=<SUBJECT><VERBPHRASE><SUBJECT>::=John|Marry<VERBPHRASE>::=<VERB><OBJECT><VERB>::=eats|drinks<OBJECT>::=wine|cheeseSENTENCESUBJECTVERBPHRASEVERBOBJECTeatscheeseMary2023/10/20史忠植人工智能導論：自然語言處理27CFG的分析算法句法分析器分為：從推導方向來分：自頂向下：從樹頂的根結點開始推導建立句法樹，方向是從起始符S到句子自底向上：從樹底部的葉結點(詞或詞類)規(guī)約，建立句法樹，方向是從句子到S從算法上分：回溯算法：每次只嘗試一種推導，當這種推導失敗時便返回以嘗試另一種推導并行算法：同時進行所有的推導2023/10/20史忠植人工智能導論：自然語言處理28CFG的分析算法自頂向下的回溯算法該方法逐個地枚舉推導直到找到一個能生成句子的推導一般，對具有左遞歸的語法，該方法需要增加某些測試以避免陷入死循環(huán)對于”Maryeatscheese”的句法和推導為：SNP+VP(1)SNP+VP(1)NPN(2)N+VP(2)VPV(3)N+V+NP(4)VPV+NP(4)N+V+N(2)2023/10/20史忠植人工智能導論：自然語言處理29轉移網絡轉移網絡在自動機理論中用來表示語法。句法分析中的轉移網絡由結點和帶有標記的弧組成，結點表示狀態(tài)，弧對應于符號，基于該符號，可以實現從一個給定的狀態(tài)轉移到另一個狀態(tài)。2023/10/20史忠植人工智能導論：自然語言處理30Dogbites2023/10/20史忠植人工智能導論：自然語言處理31轉移網絡擴充轉移網絡ATNATN是20世紀70年代由W.Woods提出來的ATN語法屬于一種增強型的上下文無關語法，即用上下文無關文法描述句子文法結構，并同時提供有效的方式將各種理解語句所需要的知識加到分析系統(tǒng)中，以增強分析功能，從而使得應用ATN的句法分析程序具有分析上下文有關語言的能力。ATN主要是對轉移網絡中的弧附加了過程而得到的。當通過一個弧的時候，附加在該弧上的過程就會被執(zhí)行。這些過程的主要功能是（I）對文法特征進行賦值；(II)檢查數（number）或人稱（第一、二或三人稱）條件是否滿足，并據此允許或不允許轉移。2023/10/20史忠植人工智能導論：自然語言處理32轉移網絡表示句子的框架2023/10/20史忠植人工智能導論：自然語言處理33轉移網絡表示句子的框架2023/10/20史忠植人工智能導論：自然語言處理34轉移網絡表示句子的框架2023/10/20史忠植人工智能導論：自然語言處理35非確定性算法與確定性算法上面介紹的算法是非確定性的，分析過程中常常要進行回溯。這就降低了算法的效率。實際上，在特定的上下文中，除了某些固有的歧義外，自然語言的句法分析絕大多數都是確定的。1977年MIT的Marcus提出了句法分析的確定性算法。該算法的最大特點是確保在任何情況下，一旦一個輸入句子的部分結構被分析出來，便不再更改，一直保持到最后成為句子最終分析的一部分。2023/10/20史忠植人工智能導論：自然語言處理36非確定性算法與確定性算法Marcus的確定性算法該句法分析系統(tǒng)具有如下三個特點：(1)由數據驅動(2)已分析出來的部分結構可以成為對后繼分析過程的預期(3)通過“向前看”(look-ahead)來代替回溯特點(1)和(2)反映了自底向上和自頂向下分析相結合的策略。特點(3)則是要通過引入句子中的上下文約束來決定分析規(guī)則，保證句法分析器“看準了”以后再操作，從而避免了回溯2023/10/20史忠植人工智能導論：自然語言處理37非確定性算法與確定性算法漢語的特點漢語的詞類缺乏形式標注漢語詞類跟句法成分之間不存在簡單的一一對應關系.漢語的句子的構造原則跟短語的構造原則基本一致漢語的這兩個特點的表現形式就是普遍存在的詞類兼類現象和句法結構的遞歸嵌套性。這些必然要導致大量的回溯，增加計算的開銷采用確定性分析策略則可以解決這種問題。2023/10/20史忠植人工智能導論：自然語言處理38語義分析語義分析的任務：輸入句子的句法結構和句子中每個實詞的詞義推導出能反映該句子意義的某種形式化表示對語義現象作形式化處理要比句法現象困難得多，主要原因有語義和句法系統(tǒng)的界限很難劃清楚語義及其他認知系統(tǒng)的界限也難以劃清楚。用于計算機語義處理的計算語義學還遠未成熟2023/10/20史忠植人工智能導論：自然語言處理39格文法格語法是Filmore于1968年提出來的，曾經對自然語言理解技術的發(fā)展產生過較大的影響，直到現在不少研究仍在使用格語法。因為人們認識到格關系確實是描述語言語義(包括和語法的關系)的一種很好的形式，當然在實際應用過程中不可避免地要有些修改。2023/10/20史忠植人工智能導論：自然語言處理40格文法的特點是允許以動詞為中心構造分析結果，盡管文法規(guī)則只描述句法，但分析結果產生的結構卻相應于語義關系，而非嚴格的句法關系如句子：MaryhitBill的格文法分析結果可以表示為(hit(AgentMary)(DativeBill))在格文法中，格表示的語義方面的關系，反映的是句子中包含的思想、觀念等，稱為深層格。和短語結構語法相比，格文法對于句子的深層語義有著更好的描述。格文法2023/10/20史忠植人工智能導論：自然語言處理41如果兩個句子的底層的語義關系一致，各名詞成分所代表的格關系不會發(fā)生相應的變化。例如，被動句“BillwashitbyMary”與上述主動句具有不同的句法分析樹，但格表示完全相同。格文法2023/10/20史忠植人工智能導論：自然語言處理42格文法2023/10/20史忠植人工智能導論：自然語言處理43語用分析與知識、上下文和推理等因素有關。維諾格拉德（WinogradT）認為語言是一個講話者和聽者之間關于一個共同的世界的一種通信手段。語言是一種社會交際工具，研究語言必須研究其社會功能。維諾格拉德認為語義理論必須在三個平面上描述關系，(1)確定詞的意義(2)確定詞組在句法結構中的意義(3)一個自然語言的句子決不應被孤立地解釋。一種語義理論必須描述一個句子的意義如何依賴于它的上下文。語用分析2023/10/20史忠植人工智能導論：自然語言處理44語義理論必須涉及語言學背景(說話的上下文)和現實社會背景(即同非語言學事實的知識的相互作用)，語義理論必須同句法和語言的邏輯方面(演繹推理)相聯系。正是基于這些觀點，即語法、語義和語用學相互作用的觀點，1970年維諾格拉德成功地研究了被人稱為“絕技”的自然語言對話系統(tǒng)SHRDLU，實現人與計算機之間的靈活對話。這項創(chuàng)舉震動了當時的人工智能界。語用分析2023/10/20史忠植人工智能導論：自然語言處理452023/10/20史忠植人工智能導論：自然語言處理46內容提要8.1概述8.2自然語言處理的層次

8.3機器翻譯8.4對話系統(tǒng)8.5問答系統(tǒng)

8.6文本生成 8.7小結機器翻譯是利用計算機把一種自然語言轉變成另一種自然語言的過程。用以完成這一過程的軟件叫做機器翻譯系統(tǒng)。機器翻譯是語言學、人工智能、計算技術、認知科學等學科相結合的產物。人作翻譯時，把一個源語言句子譯成目標語言句子，涉及到四個基本操作：目標語言單詞的檢索、調序、刪詞、增詞；機器翻譯系統(tǒng)的操作過程也不例外，有檢索、分析、轉換和生成的主要四個階段。這被稱為基于分析和轉換的機器翻譯系統(tǒng)。也被認為是模擬人類翻譯活動最恰當的機制。機器翻譯2023/10/20史忠植人工智能導論：自然語言處理4720世紀50年代初到60年代中為大發(fā)展時期。但是由于當時對機器翻譯的復雜性認識不足而產生了過分的樂觀情20世紀60年代中到70年代初由于遇到了困難而處于低潮時期。20世紀80年代機器翻譯開始復興，注意力幾乎都集中在人助自動翻譯上，人助工作包括譯前編輯（或受限語言），翻譯期間的交互式解決問題，譯后編輯等。幾乎所有的研究活動都致力于在傳統(tǒng)的基于規(guī)則和“中間語言”模式的基礎上進行語言分析和生成方法的探索，這些方法都伴有人工智能類型的知識庫。在20世紀90年代早期，機器翻譯研究被新興的基于語料庫的方法向前推進，出現新的統(tǒng)計方法的引入以及基于案例的機器翻譯等。機器翻譯2023/10/20史忠植人工智能導論：自然語言處理48機器翻譯的一般過程包括：源語文輸入、識別與分析、生成與綜合和目標語言輸出。當源語文通過鍵盤或掃描器或話筒輸入計算機后，計算機首先對一個單詞逐一識別，再按照標點符號和一些特征詞(往往是虛詞)識別句法和語義。然后查找機器內存儲的詞典和句法表、語義表，把這些加工后的語文信息傳輸到規(guī)則系統(tǒng)中去。從源語文輸入的字符系列的表層結構分析到深層結構，在機器內部就得到一種類似喬姆斯基語法分析的“樹形圖”。機器翻譯2023/10/20史忠植人工智能導論：自然語言處理49基于規(guī)則的機器翻譯流程圖2023/10/20史忠植人工智能導論：自然語言處理50

1.基于分析和轉換的機器翻譯方法基于分析和轉換的機器翻譯方法就是自動實現源語言到目標語言的轉換，它采取了一系列的分析和轉換的生成層次，使一個源語言句子經過不同的中間表達形式，最終達到目標語言句子的表示。其目的是盡可能地加深對源語言的理解，生成盡可能恰當的目標語言形式。這種方法比較全面地體現了語言學知識在機器翻譯中的應用，是了解機器翻譯實現過程的非常合適的模式。機器翻譯的實現方法2023/10/20史忠植人工智能導論：自然語言處理51

句子經過分析階段之后，進入轉換和生成階段。這兩者一般聯系得比較緊密，有時無法嚴格區(qū)分，因為轉換到目標語言也就是要生成目標語言的詞匯、短語、句子?？梢园丫渥咏Y構的轉換也就是源語言的句法樹轉換長合適的目標語言對應形式當作轉換，而后續(xù)的許多處理都當作生成階段的處理步驟看待?；诜治龊娃D換的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理52

實質上，機器翻譯方法對語言的處理就是在兩種語言之間搭一座橋，實現一種語言到另一種語言意義等價的轉換。它并非象自然語言理解那樣只是對一種語言的操作，只需作針對一種語言的分析。作為一個機器翻譯系統(tǒng)，它既要考慮源語言的語法和語義規(guī)律，也要考慮目標語言的這方面規(guī)律，忽略了任何一方都是不行的。也就是說，對于雙語互譯規(guī)律的發(fā)現和應用才是機器翻譯最本質的特征。所以，在詞、短語和句子這三個層次上尋找源語言的目標語言翻譯的等價物是機器翻譯中轉換與生成的任務?；诜治龊娃D換的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理53

通常，機器翻譯的研究中將轉換看做整個翻譯過程中的一個階段。然而，在語義結構上進行轉換卻是一種好的方式。語義結構可以是跨語言的，有能力同時應用于分析和生成。另一方面，當機器翻譯系統(tǒng)的翻譯語言對擴展時，還可以應用于多種不同的語言。但要注意，大規(guī)模的自然語言語義描述相當復雜，因而在機器翻譯系統(tǒng)中的應用往往會受到限制，難以采用這樣的語義表示作為轉換的基本結構。基于分析和轉換的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理54

一般情況下，分析以句法為主、語義為輔，正確的句法結構轉換加正確的詞匯譯文可以從源語言向目標語言傳遞完整的正確信息。因此，以句法結構轉換附加上一定的語義信息，能夠構成轉換的基本層次。不足之處是：因為句法分析的結果是面向源語言的，而要生成合適的目標語言譯文，轉換部分常常引入許多目標語言方面的約束，使得轉換規(guī)則變得復雜了?；诜治龊娃D換的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理55

就標準的機器翻譯系統(tǒng)來說，句子和短語層次的結構轉換是機器翻譯轉換部分的研究重點。通常使用轉換規(guī)則，就可以實現源語言句法結構到目標語言句法結構的轉換。這方面一般采用產生式方式的轉換規(guī)則形式：S：S1+S2+…+Si<C1C2…CK>→T1+T2+…+Tj：T

上式理解為：S是SL（源語言）的某個待翻譯單位（句子、短語等等），S1~Si是S中的下一級組成單位；對于S，如果滿足條件<C1C2…Ck>，則TL（目標語言）中有T1~Tj譯文構成了相應的等價物T?；诜治龊娃D換的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理56

這樣的方法有兩個特點：一是面向源語言分析，因為源語言中的一個句子已經由句法、語義分析等階段分析完畢，生成了關于源語言句子的某種中間表示，轉換以這種源語言中間表示作為輸入；二是直接轉換，即對于S表示，直接給出譯文形式，一般不需要在目標語言內再作進一步轉換，T1~Tj可以直接包括目標語言的詞匯，也可以是對應于S1~Si的譯文組塊?；诜治龊娃D換的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理57

上述方法稱為基于句法的轉換方法，因為S1+S2+…+Si一般來說就是源語言的的句法結構表示；也可以稱為直接轉換方法，因為對于每個源語言的翻譯組塊，都馬上給出一個目標語言組塊與之對應。應該說，這種轉換方法符合人的直覺認識，也能夠實現。基于分析和轉換的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理58基于中間語言的翻譯方法是對源語言進行分析以后產生一種稱為中間語言的表示形式，然后直接由這種中間語言的表示形式生成目標語言。所謂中間語言就是自然語言的計算機表示形式的系統(tǒng)化，它試圖創(chuàng)造出一種獨立于各種自然語言，同時又能表示各種自然語言的人工語言。2.基于中間語言的翻譯方法基于中間語言的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理59

基于中間語言的機器翻譯方法主要有兩個優(yōu)點。首先，獨立的中間表示形式為多語種之間的互譯的實現提供了一種經濟有效的途徑。假設要對N種語言進行互譯，則有N＊(N-1)個語言對。不同方向的翻譯是不同的語言對。此時如果采用基于轉換的方法，因為把一種語言翻譯成另一種語言都需要一個不同的轉換機制（或模塊），所以N＊(N-1)個語言對共需要N＊(N-1)個獨立的轉換機制。而采用中間語言的方法，由于對每一種語言只需實現將該種語言翻譯成中間語言和把中間語言翻譯成該種語言的目標語言這樣兩個模塊，所以總共只需要2N個模塊。其次，中間語言不僅是對基于中間語言的機器翻譯方法這一特定目的有意義，同時，作為一種通用的自然語言表示，也值得深入研究?；谥虚g語言的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理60

基于中間語言的機器翻譯方法的優(yōu)勢是無需一種語言到另一種語言的一一轉換，對于多語種的翻譯系統(tǒng)可以節(jié)約大量的轉換知識的手工獲取工作量。假如有N種語對需要相互翻譯，只要有2N個分析和生成模塊就夠了。其中一半是源語言分析模塊，輸入為原文，輸出以IL表示；另一半是目標語言生成模塊，輸入為IL表示，輸出為目標語言譯文?；谥虚g語言的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理61

中間語言通常用語義概念表示，這些概念符號采用英語單詞符號或其它自行定義的符號來表示。大規(guī)模的IL需要大量的概念表示，需要生成對應的概念詞典。如果用語義概念來描寫一個句子，則構成復雜的語義網絡。對于多語種的機器翻譯來說，使用中間語言作為相互翻譯的中介是可取的。在理想狀態(tài)下，中間語言應該沒有或極少有歧義，結構嚴謹，詞匯單義，便于計算機處理。有了中間語言，一切源語言分析的結果和目標語言生成的開端都由它來表示?；谥虚g語言的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理62

然而，中間語言的機器翻譯方法也常遭到懷疑。因為是否能夠構造出表示各種不同的自然語言語法、語義的中間語言至少目前還是未知數。此外，中間語言能不能把各種語言的所有特征保留下來，又能很好生成對應的各種語言也是問題。所以，構造中間語言是一個巨大、復雜的工程，還包含許多理論研究，迄今為止的探索還沒有好的答案?；谥虚g語言的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理633.基于統(tǒng)計的機器翻譯方法基于統(tǒng)計的機器翻譯方法，一般不要任何語言學知識，它的基本原理是實現源語言詞匯到目標語言詞匯的映射。其思路受到語音識別研究的啟發(fā)，因而應用了類似的方法來實現。研究者用大規(guī)模的雙語語料庫作為基礎，對源語言和目標語言詞匯的對應關系進行統(tǒng)計，根據統(tǒng)計規(guī)律輸出譯文。這種方法沒有使用語言知識，主要特征是概率統(tǒng)計與隨機過程的方法成為了分析和生成過程的唯一方法。它的主要內容是雙語句對的對齊，通過詞匯同現的可能性來計算一種語言的一個詞映射到另一種語言的一個詞（或兩個、零個詞）的概率。應該說，基于統(tǒng)計的機器翻譯方法的出現改變了機器翻譯研究的面貌，從而開始了機器翻譯研究的新階段。不過，有些學者也對純統(tǒng)計方法提出了異議，認為必須引入高層語法、語義模型，顯然這是正確的。否則，基于統(tǒng)計的機器翻譯方法不可能產生高質量?；诮y(tǒng)計的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理64由于當前計算機在運算速度和存儲容量方面都有巨大的提高，可以獲取大量的機讀語料庫，因此在機器翻譯中應用統(tǒng)計方法的條件已經成熟。機器翻譯的噪聲通道模型可以視作最早的機器翻譯思想的某中復活，其思路可以這樣理解：假設說話者已經用目標語想好了一句話T，但是說出的卻是源語言句子S。這樣一個過程可以看成為編碼過程。而統(tǒng)計的機器翻譯就是要從S回推T，可以看成解碼過程。這樣，統(tǒng)計的機器翻譯任務分為兩個部分：一是建模，即建立翻譯的計算方法以及從雙語語料庫中估計模型的參數；二是解碼，即尋求一種高效搜索算法取有關概率計算的最大值?；诮y(tǒng)計的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理65

在概率計算的前后，轉換是進行有關預處理和后處理，例如句子當中的日期、時間、數字、人名等應該用適當的類別標志加以替換，以便更好地進行計算，計算后再換回來。因為這類詞不屬于一般的詞匯，單詞本身在語料庫中的出現缺乏代表性。建模就是設計各個模型的計算公式。因為直接計算某個句子出現的概率是比較困難的，語料庫不可能足夠大到包含所有句子，必須進行合理的、適當的簡化。這是統(tǒng)計方法的特點，所得到的結果是近似值，但是因為概率本身就不是精確的，所以這些近似完全可以接受?；诮y(tǒng)計的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理66

總之，基于統(tǒng)計的機器翻譯方法可以簡單的這樣看：將原始的某個句子按詞折開，然后全部單詞存儲；翻譯則是取出，按概率統(tǒng)計的方法重組句子，這樣的句子就是統(tǒng)計方法的翻譯結果。當然，我們還是認為應該加強統(tǒng)計方法與語法分析、語義分析相結合的研究?；诮y(tǒng)計的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理674.基于記憶的機器翻譯方法建立機器翻譯系統(tǒng)需要大量的知識。在基于轉換和基于中間語言的機器翻譯方法中，知識按一定規(guī)則譯成代碼，這既耗時花費也大。此外，知識獲取瓶頸阻礙了機器翻譯的快速發(fā)展，這是早期機器翻譯面臨的重大難題。為克服這一困難，除了上節(jié)介紹的統(tǒng)計方法外，日本機器翻譯專家Nagao在80年代提出了一種新方法，用已經存在的翻譯實例（雙語文本）作為知識源，這種方法稱為基于記憶的翻譯，后來普遍稱為基于實例的翻譯?；趯嵗乃枷胍驯粡V泛的采用，既用于機器翻譯的設計，也用于機器翻譯不同處理階段的實現中。用不斷積累的已經譯好的文本作為機器翻譯的樣本的思想，也是具有吸引力的?；谟洃浀臋C器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理68

基于記憶的機器翻譯方法通過結構化的翻譯例子直接把源語言的短語和句子與目標語言的短語和句子對應起來。方法的不同使得處理步驟或多或少，但都必須實現源語言到目標語言的轉換，其映射關系或者是詞到詞，或者是短語或句子到與之相應的等價物，或者是一棵句法樹到另一棵句法樹?；谟洃浀臋C器翻譯（EBMT）的實現過程簡單概述如下：給定源語言輸入句子S，在雙語語料庫C中匹配查找一個最相近的句子S’,則S'的譯文T就被接受為S的譯文。基于記憶的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理69

翻譯的過程一般就是查找和復現相似的例子，發(fā)現和記起特定的源語言表達或相似的表達在以前是如何翻譯的，把以前的翻譯實例作為主要知識源?；谟洃浀臋C器翻譯方法的基本思想：（1）把翻譯實例存入翻譯數據庫。例如，存入漢語和英語句子對；（2）對輸入的句子，在翻譯數據庫中檢索類似的翻譯例句；（3）調整實例后生成譯文?；谟洃浀臋C器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理70

基于記憶的機器翻譯方法可以按如下步驟實現：（1）對雙語語料庫進行句子級對齊；（2）在語料庫的源語言一邊進行句子分塊，稱為組塊。然后檢索輸入組塊的最佳匹配侯選，稱為源語言內部匹配；（3）在源語言最佳匹配后選的組塊中檢索對應目標語言組塊，稱為雙語匹配；（4）對組塊級檢索結果進行組合，以獲得整個源語言文本的翻譯結果?；谟洃浀臋C器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理71

源語言的內部匹配就是在語料庫中查找一個與待譯句子最相似的句子。對于任意給定的一個句子，很難在語料庫中找到與之完全匹配的句子，所以對輸入文本在語料庫源語言一邊的匹配查找采用了松弛匹配技術。松弛匹配就是部分匹配，不同的部分匹配被賦予不同的分值，以反映輸入串和語料庫中某些句子串的接近程度。整個輸入組塊與語料庫組塊匹配的分值由一定的公式計算出來。最后，待翻譯文本中所有被匹配的每個輸入組塊都在語料庫中檢索出若干個最相近的組塊，組塊可以是一個句子、或者是一個從句、或者是一個短語，按照匹配分數從大到小排列。基于記憶的機器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理72

源語言內部匹配的輸出成為輸入，即把前面從語料庫中查到的組塊、所在的句子和對應譯文等構成當前處理步驟的輸入。因為每個輸入組塊可能在語料庫中匹配若干組塊，所以每個組塊有待進一步處理，即在雙語匹配處理過程中又分為若干子過程，包括通過查詞典獲取詞組譯文；建立詞匯級雙語對照表；通過評分機制求出最佳翻譯句等等?；谟洃浀臋C器翻譯方法的輸出結果帶有相應的分數，這些分值來自不同的標準，相差可能很大。因此必須采用合適的函數（方式）對所有分數進行統(tǒng)一（歸一化），然后這些分值才有可比性?；谟洃浀臋C器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理73

基于記憶的機器翻譯方法的其它優(yōu)點：（1）可以通過索引和并行處理提高處理速度；（2）可以采用最佳匹配推理；（3）可以較好地利用翻譯專家的專業(yè)知識（通過翻譯實例）；（4）一個基于實例的機器翻譯系統(tǒng)的知識可以移植、共享?；谟洃浀臋C器翻譯方法2023/10/20史忠植人工智能導論：自然語言處理742023/10/20史忠植人工智能導論：自然語言處理75內容提要8.1概述8.2自然語言處理的層次

8.3機器翻譯8.4對話系統(tǒng)8.5問答系統(tǒng)

8.6文本生成 8.7小結對話系統(tǒng)（dialogsystem）是指以完成特定任務為主要目的的人機交互系統(tǒng)。在現有的人與人之間對話的場景下，對話系統(tǒng)能幫助提高效率、降低成本，比如客服與用戶之間的對話。這里列出幾個對話系統(tǒng)的具體應用。Siri大家都很熟悉，每個iOS上都有。Cortana和Siri類似，是微軟推出的個人助理應用，主要在Windows系統(tǒng)中對話系統(tǒng)2023/10/20史忠植人工智能導論：自然語言處理76語音對話系統(tǒng)的結構，由五個主要部分組成：（1）自動語音識別（AutomaticSpeechRecognitionASR）將原始的語音信號轉換成文本信息；（2）自然語言理解（NaturalLanguageUnderstandingNLU）將識別出來的文本信息轉換為機器可以理解的語義表示；（3）對話管理（DialogManagementDM）基于對話的狀態(tài)判斷系統(tǒng)應該采取什么動作，這里的動作可以理解為機器需要表達什么意思；對話系統(tǒng)2023/10/20史忠植人工智能導論：自然語言處理77（4）自然語言生成（NaturalLanguageGenerationNLG）將系統(tǒng)動作轉變成自然語言文本；（5）語音合成（TexttoSpeechTTS）將自然語言文本變成語音輸出給用戶。對話系統(tǒng)2023/10/20史忠植人工智能導論：自然語言處理78對話系統(tǒng)2023/10/20史忠植人工智能導論：自然語言處理792023/10/20史忠植人工智能導論：自然語言處理80內容提要8.1概述8.2自然語言處理的層次

8.3機器翻譯8.4對話系統(tǒng)8.5問答系統(tǒng)

8.6文本生成 8.7小結問答系統(tǒng)問答系統(tǒng)(questionansweringsystem,QA)是信息檢索系統(tǒng)的一種高級形式，它能用準確、簡潔的自然語言回答用戶用自然語言提出的問題。問答系統(tǒng)是目前人工智能和自然語言處理領域中一個倍受關注并具有廣泛發(fā)展前景的研究方向。2011年2月14日，在美國最受歡迎的智力問答節(jié)目《危險邊緣》(Jeopardy)中，IBM的“沃森（Watson）”超級計算機擊敗該節(jié)目的兩名總冠軍詹寧斯（JenningsK）和魯特爾（RutterB），實現有史以來首次人機智力問答對決，并贏取高達100萬美元的獎金。這是人工智能技術取得成功的代表。2023/10/20史忠植人工智能導論：自然語言處理812023/10/2082史忠植人工智能導論：自然語言處理危機邊緣2011年，“沃森”在電視娛樂節(jié)目《危機邊緣》中戰(zhàn)勝人類選手肯·詹寧斯和布拉德·拉特問答系統(tǒng)一般問答系統(tǒng)模型分為三層結構，分別為：用戶層、中間層、數據層。各部分的主要功能如下：

（1）用戶層（UI）：供用戶輸入提問的問題，并顯示系統(tǒng)返回的答案。

（2）中間層（MI）：中間處理層，主要負責：分詞、處理停用詞、計算詞語相似度、計算句子相似度，返回答案集。

（3）數據層（DI）：系統(tǒng)的知識庫存儲，主要有：專業(yè)詞庫、常用詞庫、同義詞庫、停用詞庫、課程領域本體、《知網》本體、常見問題集（FAQ）庫。2023/10/20史忠植人工智能導論：自然語言處理83問答系統(tǒng)分類問答系統(tǒng)限定域問答系統(tǒng)開發(fā)域問答系統(tǒng)基于常用提問集問答系統(tǒng)機構數據庫問答系統(tǒng)自由文本問答系統(tǒng)網絡問答系統(tǒng)固定資料庫問答系統(tǒng)單文本問答系統(tǒng)2023/10/20史忠植人工智能導論：自然語言處理84問答系統(tǒng)問答系統(tǒng)自動答題的步驟如下：1）根據專業(yè)詞庫，常用詞庫，同義詞庫對于用戶輸入的自然語言問句通過逆向最大匹配的方法進行分詞，對于未登記詞借助于分詞工具把未登記詞添加到詞庫中，在分詞過程中同時標注詞的詞性和權值；2）對于分詞后的結果依據停用詞庫，并參考詞性，刪除停用詞；3）對于專業(yè)詞匯采取基于本體的概念相似度方法進行計算詞語語義相似度，對于其他詞匯采取基于《知網》本體計算詞語語義相似度；2023/10/20史忠植人工智能導論：自然語言處理85問答系統(tǒng)4）分別計算IFIDF相似度，根據詞語的語義相似度來計算句子的語義相似