2002-12-6,統(tǒng)計(jì)機(jī)器翻譯簡(jiǎn)介,劉群liuqun,2002-12-6,統(tǒng)計(jì)機(jī)器翻譯方法的特點(diǎn),利用語(yǔ)料庫(kù)作為知識(shí)來(lái)源區(qū)別于規(guī)則方法：無(wú)需人工編寫(xiě)規(guī)則建立完整的統(tǒng)計(jì)模型區(qū)別于實(shí)例方法或模板方法：必須為整個(gè)翻譯過(guò)程建立統(tǒng)計(jì)模型,2002-12-6,統(tǒng)計(jì)機(jī)器翻譯的分類,基于平行概率語(yǔ)法的統(tǒng)計(jì)機(jī)器翻譯模型基于信源信道思想的統(tǒng)計(jì)機(jī)器翻譯模型IBM的PeterBrown等人首先提出目前影響最大幾乎成為統(tǒng)計(jì)機(jī)器翻譯的同義詞基于最大熵的統(tǒng)計(jì)機(jī)器翻譯模型源于基于特征的自然語(yǔ)言理解Och提出，獲ACL2002最佳論文,2002-12-6,統(tǒng)計(jì)機(jī)器翻譯的優(yōu)缺點(diǎn),優(yōu)點(diǎn)無(wú)需人工編寫(xiě)規(guī)則，利用語(yǔ)料庫(kù)直接訓(xùn)練得到機(jī)器翻譯系統(tǒng)；（但可以使用語(yǔ)言資源）系統(tǒng)開(kāi)發(fā)周期短；魯棒性好；譯文質(zhì)量好；缺點(diǎn)時(shí)空開(kāi)銷大；數(shù)據(jù)稀疏問(wèn)題嚴(yán)重；對(duì)語(yǔ)料庫(kù)依賴性強(qiáng)；算法研究不成熟。,2002-12-6,基于平行概率語(yǔ)法的統(tǒng)計(jì)機(jī)器翻譯模型,基本思想兩種語(yǔ)言建立一套平行的語(yǔ)法規(guī)則，規(guī)則一一對(duì)應(yīng)兩套規(guī)則服從同樣的概率分布句法分析的過(guò)程決定了生成的過(guò)程主要模型Alshawi的基于HeadTransducer的MT模型吳德愷的InverseTransductionGrammar（ITG）Takeda的Pattern-basedCFGforMT,2002-12-6,HeadTransducerMT(1),HeadTransducer（中心詞轉(zhuǎn)錄機(jī)）是一種DefiniteStateAutomata（有限狀態(tài)自動(dòng)機(jī)）與一般的有限狀態(tài)識(shí)別器的區(qū)別：每一條邊上不僅有輸入，而且有輸出；不是從左至右輸入，而是從中心詞往兩邊輸入,2002-12-6,HeadTransducerMT(2),a:a,0:0,0:0,b:b,a:a,-1:+1,b:b,-1:+1,例子：一個(gè)可以將任何a，b組成的串倒置的HeadTransducer,2002-12-6,HeadTransducerMT(3),所有的語(yǔ)言知識(shí)（詞典、規(guī)則）都表現(xiàn)為HeadTransducer；HeadTransducer可以嵌套：一個(gè)HeadTransducer的邊是另一個(gè)的識(shí)別結(jié)果；純統(tǒng)計(jì)的訓(xùn)練方法；對(duì)齊的結(jié)果是依存樹(shù)：不使用詞性和短語(yǔ)類標(biāo)記；Chart句法分析器。,2002-12-6,InversionTransductionGrammar(1),比賽星期三開(kāi)始。ThegamewillstartonWednesday。,2002-12-6,InversionTransductionGrammar(2),規(guī)則形式：ABCAAx/y產(chǎn)生源語(yǔ)言和目標(biāo)語(yǔ)言串分別為：BCBC：詞序相同BCCB：詞序交換xy：詞典,2002-12-6,Pattern-basedCFGforMT(1),每個(gè)翻譯模板由一個(gè)源語(yǔ)言上下文無(wú)關(guān)規(guī)則和一個(gè)目標(biāo)語(yǔ)言上下文無(wú)關(guān)規(guī)則（這兩個(gè)規(guī)則稱為翻譯模板的骨架），以及對(duì)這兩個(gè)規(guī)則的中心詞約束和鏈接約束構(gòu)成；舉例：S:2NP:1歲:MP:2了S:beNP:1beyear:NP:2old,2002-12-6,Pattern-basedCFGforMT(2),中心詞約束：對(duì)于上下文無(wú)關(guān)語(yǔ)法規(guī)則中右部（子結(jié)點(diǎn)）的每個(gè)非終結(jié)符，可以指定其中心詞；對(duì)于規(guī)則左部（父結(jié)點(diǎn)）的非終結(jié)符，可以直接指定其中心詞，也可以通過(guò)使用相同的序號(hào)規(guī)定其中心詞等于其右部的某個(gè)非終結(jié)符的中心詞；鏈接約束：源語(yǔ)言骨架和目標(biāo)語(yǔ)言骨架的非終結(jié)符子結(jié)點(diǎn)通過(guò)使用相同的序號(hào)建立對(duì)應(yīng)關(guān)系，具有對(duì)應(yīng)關(guān)系的非終結(jié)符互為翻譯。,2002-12-6,信源信道模型,假設(shè)目標(biāo)語(yǔ)言文本T是由一段源語(yǔ)言文本S經(jīng)過(guò)某種奇怪的編碼得到的，那么翻譯的目標(biāo)就是要將T還原成S，這也就是就是一個(gè)解碼的過(guò)程。注意，源語(yǔ)言S是噪聲信道的輸入語(yǔ)言，目標(biāo)語(yǔ)言T是噪聲信道的輸出語(yǔ)言，與整個(gè)機(jī)器翻譯系統(tǒng)的源語(yǔ)言和目標(biāo)語(yǔ)言剛好相反。,2002-12-6,統(tǒng)計(jì)機(jī)器翻譯基本方程式,P.Brown稱上式為統(tǒng)計(jì)機(jī)器翻譯基本方程式語(yǔ)言模型：P(S)翻譯模型：P(T|S)語(yǔ)言模型反映“S像一個(gè)句子”的程度：流利度翻譯模型反映“T像S”的程度：忠實(shí)度聯(lián)合使用兩個(gè)模型效果好于單獨(dú)使用翻譯模型，因?yàn)楹笳呷菀讓?dǎo)致一些不好的譯文。,2002-12-6,語(yǔ)言模型與翻譯模型,考慮漢語(yǔ)動(dòng)詞“打”的翻譯：有幾十種對(duì)應(yīng)的英語(yǔ)詞譯文：打人，打飯，打魚(yú)，打毛衣，打獵，打草稿，如果直接采用翻譯模型，就需要根據(jù)上下文建立復(fù)雜的上下文條件概率模型如果采用信源信道思想，只要建立簡(jiǎn)單的翻譯模型，可以同樣達(dá)到目標(biāo)詞語(yǔ)選擇的效果：翻譯模型：不考慮上下文，只考慮單詞之間的翻譯概率語(yǔ)言模型：根據(jù)單詞之間的同現(xiàn)選擇最好的譯文詞,2002-12-6,統(tǒng)計(jì)機(jī)器翻譯的三個(gè)問(wèn)題,三個(gè)問(wèn)題：語(yǔ)言模型P(S)的參數(shù)估計(jì)翻譯模型P(T|S)的參數(shù)估計(jì)解碼（搜索）算法,2002-12-6,語(yǔ)言模型,把一種語(yǔ)言理解成是產(chǎn)生一個(gè)句子的隨機(jī)事件語(yǔ)言模型反映的是一個(gè)句子在一種語(yǔ)言中出現(xiàn)的概率語(yǔ)言模型N元語(yǔ)法P(S)=p(s0)*p(s1|s0)*p(Sn|Sn-1Sn-N)鏈語(yǔ)法：可以處理長(zhǎng)距離依賴PCFG（要使用句法標(biāo)記）,2002-12-6,引入隱含變量：對(duì)齊A,翻譯模型與對(duì)齊,P(T|S)的計(jì)算轉(zhuǎn)化為P(T,A|S)的估計(jì)對(duì)齊：建立源語(yǔ)言句子和目標(biāo)語(yǔ)言句子的詞與詞之間的對(duì)應(yīng)關(guān)系,2002-12-6,IBMModel,對(duì)P(T,A|S)的估計(jì)IBMModel1僅考慮詞對(duì)詞的互譯概率IBMModel2加入了詞的位置變化的概率IBMModel3加入了一個(gè)詞翻譯成多個(gè)詞的概率IBMModel4IBMModel5,2002-12-6,IBMModel3,對(duì)于句子中每一個(gè)英語(yǔ)單詞e，選擇一個(gè)產(chǎn)出率，其概率為n(|e)；對(duì)于所有單詞的產(chǎn)出率求和得到m-prime；按照下面的方式構(gòu)造一個(gè)新的英語(yǔ)單詞串：刪除產(chǎn)出率為0的單詞，復(fù)制產(chǎn)出率為1的單詞，復(fù)制兩遍產(chǎn)出率為2的單詞，依此類推；在這m-prime個(gè)單詞的每一個(gè)后面，決定是否插入一個(gè)空單詞NULL，插入和不插入的概率分別為p1和p0；0為插入的空單詞NULL的個(gè)數(shù)。設(shè)m為目前的總單詞數(shù)：m-prime+0；根據(jù)概率表t(f|e)，將每一個(gè)單詞e替換為外文單詞f；對(duì)于不是由空單詞NULL產(chǎn)生的每一個(gè)外語(yǔ)單詞，根據(jù)概率表d(j|i,l,m)，賦予一個(gè)位置。這里j是法語(yǔ)單詞在法語(yǔ)串中的位置，i是產(chǎn)生當(dāng)前這個(gè)法語(yǔ)單詞的對(duì)應(yīng)英語(yǔ)單詞在英語(yǔ)句子中的位置，l是英語(yǔ)串的長(zhǎng)度，m是法語(yǔ)串的長(zhǎng)度；如果任何一個(gè)目標(biāo)語(yǔ)言位置被多重登錄（含有一個(gè)以上單詞），則返回失敗；給空單詞NULL產(chǎn)生的單詞賦予一個(gè)目標(biāo)語(yǔ)言位置。這些位置必須是空位置（沒(méi)有被占用）。任何一個(gè)賦值都被認(rèn)為是等概率的，概率值為1/0。最后，讀出法語(yǔ)串，其概率為上述每一步概率的乘積。,2002-12-6,翻譯模型的參數(shù)訓(xùn)練,ViterbiTraining（對(duì)比：EMTraining）給定初始參數(shù)；用已有的參數(shù)求最好（Viterbi）的對(duì)齊；用得到的對(duì)齊重新計(jì)算參數(shù)；回到第二步，直到收斂為止。IBMModel1：存在全局最優(yōu)IBMModel25：不存在全局最優(yōu)，初始值取上一個(gè)模型訓(xùn)練的結(jié)果,2002-12-6,統(tǒng)計(jì)機(jī)器翻譯的解碼,借鑒語(yǔ)音識(shí)別的搜索算法：堆棧搜索參數(shù)空間極大，搜索不能總是保證最優(yōu)從錯(cuò)誤類型看，只有兩種：模型錯(cuò)誤：概率最大的句子不是正確的句子搜索錯(cuò)誤：沒(méi)有找到概率最大的句子后一類錯(cuò)誤只占總錯(cuò)誤數(shù)的5%（IBM）搜索問(wèn)題不是瓶頸,2002-12-6,IBM公司的Candide系統(tǒng)1,基于統(tǒng)計(jì)的機(jī)器翻譯方法分析轉(zhuǎn)換生成中間表示是線性的分析和生成都是可逆的分析（預(yù)處理）：1.短語(yǔ)切分2.專名與數(shù)詞檢測(cè)3.大小寫(xiě)與拼寫(xiě)校正4.形態(tài)分析5.語(yǔ)言的歸一化,2002-12-6,IBM公司的Candide系統(tǒng)2,轉(zhuǎn)換（解碼）：基于統(tǒng)計(jì)的機(jī)器翻譯解碼分為兩個(gè)階段：第一階段：使用粗糙模型的堆棧搜索輸出140個(gè)評(píng)分最高的譯文語(yǔ)言模型：三元語(yǔ)法翻譯模型：EM算法第二階段：使用精細(xì)模型的擾動(dòng)搜索對(duì)第一階段的輸出結(jié)果先擴(kuò)充，再重新評(píng)分語(yǔ)言模型：鏈語(yǔ)法翻譯模型：最大熵方法,2002-12-6,IBM公司的Candide系統(tǒng)3,ARPA的測(cè)試結(jié)果：,2002-12-6,JHU的1999年夏季研討班,由來(lái)IBM的實(shí)驗(yàn)引起了廣泛的興趣IBM的實(shí)驗(yàn)很難重復(fù)：工作量太大目的構(gòu)造一個(gè)統(tǒng)計(jì)機(jī)器翻譯工具（EGYPT）并使它對(duì)于研究者來(lái)說(shuō)是可用的（免費(fèi)傳播）；在研討班上用這個(gè)工具集構(gòu)造一個(gè)捷克語(yǔ)英語(yǔ)的機(jī)器翻譯系統(tǒng)；進(jìn)行基準(zhǔn)評(píng)價(jià)：主觀和客觀；通過(guò)使用形態(tài)和句法轉(zhuǎn)錄機(jī)改進(jìn)基準(zhǔn)測(cè)試的結(jié)果；在研討班最后，在一天之內(nèi)構(gòu)造一個(gè)新語(yǔ)對(duì)的翻譯器。JHU夏季研討班大大促進(jìn)了統(tǒng)計(jì)機(jī)器翻譯的研究,2002-12-6,EGYPT工具包,EGYPT的模塊GIZA：這個(gè)模塊用于從雙語(yǔ)語(yǔ)料庫(kù)中抽取統(tǒng)計(jì)知識(shí)（參數(shù)訓(xùn)練）Decoder：解碼器，用于執(zhí)行具體的翻譯過(guò)程（在信源信道模型中，“翻譯”就是“解碼”）Cairo：整個(gè)翻譯系統(tǒng)的可視化界面，用于管理所有的參數(shù)、查看雙語(yǔ)語(yǔ)料庫(kù)對(duì)齊的過(guò)程和翻譯模型的解碼過(guò)程Whittle：語(yǔ)料庫(kù)預(yù)處理工具EGYPT可在網(wǎng)上免費(fèi)下載，成為SMT的基準(zhǔn),2002-12-6,EGYPT工具包的性能,“當(dāng)解碼器的原形系統(tǒng)在研討班上完成時(shí)，我們很高興并驚異于其速度和性能。1990年代早期在IBM公司舉行的DARPA機(jī)器翻譯評(píng)價(jià)時(shí)，我們?cè)?jīng)預(yù)計(jì)只有很短（10個(gè)詞左右）的句子才可以用統(tǒng)計(jì)方法進(jìn)行解碼，即使那樣，每個(gè)句子的解碼時(shí)間也可能是幾個(gè)小時(shí)。在早期IBM的工作過(guò)去將近10年后，摩爾定律、更好的編譯器以及更加充足的內(nèi)存和硬盤(pán)空間幫助我們構(gòu)造了一個(gè)能夠在幾秒鐘之內(nèi)對(duì)25個(gè)單詞的句子進(jìn)行解碼的系統(tǒng)。為了確保成功，我們?cè)谒阉髦惺褂昧讼喈?dāng)嚴(yán)格的閾值和約束，如下所述。但是,解碼器相當(dāng)有效這個(gè)事實(shí)為這個(gè)方向未來(lái)的工作預(yù)示了很好的前景，并肯定了IBM的工作的初衷，即強(qiáng)調(diào)概率模型比效率更重要?！币訨HU統(tǒng)計(jì)機(jī)器翻譯研討班的技術(shù)報(bào)告,2002-12-6,對(duì)IBM方法的改進(jìn),IBM方法的問(wèn)題不考慮結(jié)構(gòu)：能否適用于句法結(jié)構(gòu)差別較大的語(yǔ)言？數(shù)據(jù)稀疏問(wèn)題嚴(yán)重后續(xù)的改進(jìn)工作王野翊的改進(jìn)Yamada和Knight的改進(jìn)Och等人的改進(jìn),2002-12-6,王野翊的改進(jìn)(1),背景：德英口語(yǔ)翻譯系統(tǒng)語(yǔ)法結(jié)構(gòu)差異較大數(shù)據(jù)稀疏（訓(xùn)練數(shù)據(jù)有限）改進(jìn)：兩個(gè)層次的對(duì)齊模型粗對(duì)齊：短語(yǔ)之間的對(duì)齊細(xì)對(duì)齊：短語(yǔ)內(nèi)詞的對(duì)齊,2002-12-6,王野翊的改進(jìn)(2),文法推導(dǎo)詞語(yǔ)聚類：基于互信息的方法短語(yǔ)歸并規(guī)則學(xué)習(xí)優(yōu)點(diǎn)機(jī)器翻譯的正確率提高：錯(cuò)誤率降低了11%提高了整個(gè)系統(tǒng)的效率：搜索空間更小緩解了因口語(yǔ)數(shù)據(jù)缺乏導(dǎo)致的數(shù)據(jù)稀疏問(wèn)題,2002-12-6,Yamada和Knight的改進(jìn)(1),基于語(yǔ)法的翻譯模型（Syntax-basedTM）：輸入是源語(yǔ)言句法樹(shù)輸出是目標(biāo)語(yǔ)言句子翻譯的過(guò)程：每個(gè)內(nèi)部結(jié)點(diǎn)的子結(jié)點(diǎn)隨機(jī)地重新排列：排列概率在每一個(gè)結(jié)點(diǎn)的左邊或右邊隨機(jī)插入一個(gè)單詞左、右插入和不插入的概率取決于父結(jié)點(diǎn)和當(dāng)前結(jié)點(diǎn)標(biāo)記插入哪個(gè)詞的概率只與被插入詞有關(guān)，與位置無(wú)關(guān)對(duì)于每一個(gè)葉結(jié)點(diǎn)進(jìn)行翻譯：詞對(duì)詞的翻譯概率輸出譯文句子,2002-12-6,Yamada和Knight的改進(jìn)(2),2002-12-6,Yamada和Knight的改進(jìn)(3),2002-12-6,Yamada和Knight的改進(jìn)(4),2002-12-6,Yamada和Knight的改進(jìn)(5),訓(xùn)練英日詞典例句2121對(duì)，平均句長(zhǎng)日9.7和英6.9詞匯量：英語(yǔ)3463，日語(yǔ)3983，大部分詞只出現(xiàn)一次BrillsPOSTagger和CollinsParser用中心詞詞性標(biāo)記取得短語(yǔ)標(biāo)記壓扁句法樹(shù)：中心詞相同的句法子樹(shù)合并EM訓(xùn)練20遍迭代：IBMModel5用20遍迭代,2002-12-6,Yamada和Knight的改進(jìn)(6),困惑度Perplexity：OurModel：15.70IBMModel：9.84(Over-fitting),結(jié)果,2002-12-6,Och等人的改進(jìn)(1),著名語(yǔ)音翻譯系統(tǒng)VerbMobil的一個(gè)模塊對(duì)IBM方法的改進(jìn)基于類的模型：詞語(yǔ)自動(dòng)聚類：各400個(gè)類語(yǔ)言模型：基于類的五元語(yǔ)法，回退法平滑翻譯模型：基于對(duì)齊模板的方法短語(yǔ)層次對(duì)齊詞語(yǔ)層次對(duì)齊短語(yǔ)劃分：動(dòng)態(tài)規(guī)劃,2002-12-6,Och等人的改進(jìn)(2),對(duì)齊模板,2002-12-6,基于最大熵的統(tǒng)計(jì)機(jī)器翻譯模型(1),Och等人提出，思想來(lái)源于Papineni提出的基于特征的自然語(yǔ)言理解方法不使用信源信道思想，直接使用統(tǒng)計(jì)翻譯模型，因此是一種直接翻譯模型是一個(gè)比信源信道模型更具一般性的模型，信源信道模型是其一個(gè)特例與一般最大熵方法的區(qū)別：使用連續(xù)量作為特征,2002-12-6,基于最大熵的統(tǒng)計(jì)機(jī)器翻譯模型(2),假設(shè)e、f是機(jī)器翻譯的目標(biāo)語(yǔ)言和源語(yǔ)言句子，h1(e,f),hM(e,f)分別是e、f上的M個(gè)特征，1,M是與這些特征分別對(duì)應(yīng)的M個(gè)參數(shù)，那么直接翻譯概率可以用以下公式模擬：,2002-12-6,基于最大熵的統(tǒng)計(jì)機(jī)器翻譯模型(3),對(duì)于給定的f，其最佳譯文e可以用以下公式表示：,2002-12-6,基于最大熵的統(tǒng)計(jì)機(jī)器翻譯模型(4),取以下特征和參數(shù)時(shí)等價(jià)于信源信道模型：僅使用兩個(gè)特征h1(e,f)=logp(e)h2(e,f)=logp(f|e)121,2002-12-6,基于最大熵的統(tǒng)計(jì)機(jī)器翻譯模型(5),參數(shù)訓(xùn)練,最優(yōu)化后驗(yàn)概率準(zhǔn)則：區(qū)別性訓(xùn)練這個(gè)判斷準(zhǔn)則是凸的，存在全局最優(yōu)考慮多個(gè)參考譯文：,2002-12-6,基于最大熵的統(tǒng)計(jì)機(jī)器翻譯模型(6),Och等人的實(shí)驗(yàn)(1)：方案首先將信源信道模型中的翻譯模型換成反向的翻譯模型，簡(jiǎn)化了搜索算法，但翻譯系統(tǒng)的性能并沒(méi)有下降；調(diào)整參數(shù)1和2，系統(tǒng)性能有了較大提高；再依次引入其他一些特征，系統(tǒng)性能又有了更大的提高。,2002-12-6,基于最大熵的統(tǒng)計(jì)機(jī)器翻譯模型(7),Och等人的實(shí)驗(yàn)(2)：其他特征句子長(zhǎng)度特征(WP)：對(duì)于產(chǎn)生的每一個(gè)目標(biāo)語(yǔ)言單詞進(jìn)行懲罰；附件的語(yǔ)言模型特征(CLM)：一個(gè)基于類的語(yǔ)言模型特征；詞典特征(MX)：計(jì)算給定的輸入輸出句子中有多少詞典中存在的共現(xiàn)詞對(duì)。,2002-12-6,基于最大熵的統(tǒng)計(jì)機(jī)器翻譯模型(8),Och等人的實(shí)驗(yàn)(2)：實(shí)驗(yàn)結(jié)果,2002-12-6,基于最大熵的統(tǒng)計(jì)機(jī)器翻譯模型(9),經(jīng)典的信源信道模型只有在理想的情況下才能達(dá)到最優(yōu)，對(duì)于簡(jiǎn)化的語(yǔ)言模型和翻譯模型，取不同的參數(shù)值實(shí)際效果更好；最大熵方法大大擴(kuò)充了統(tǒng)計(jì)機(jī)器翻譯的思路；特征的選擇更加靈活。,2002-12-6,統(tǒng)計(jì)機(jī)器翻譯的應(yīng)用,傳統(tǒng)機(jī)器翻譯的應(yīng)用領(lǐng)域跨語(yǔ)言檢索聶建云使用IBMModel1進(jìn)行CLIR機(jī)器翻譯系統(tǒng)的快速開(kāi)發(fā)針對(duì)未知語(yǔ)言快速開(kāi)發(fā),2002-12-6,總結(jié),IBM當(dāng)年的工作是有一定超前性的雖然很多人懷疑統(tǒng)計(jì)方法在機(jī)器翻譯中能否取得成功，但現(xiàn)在這已不再是問(wèn)題基于平行語(yǔ)法的機(jī)器翻譯方法總體上不成功基于最大熵的方法為統(tǒng)計(jì)機(jī)器翻譯方法開(kāi)辟了一個(gè)新天地,2002-12-6,我的工作設(shè)想,采用基于最大熵的統(tǒng)計(jì)機(jī)器翻譯模型；提出基于模板的統(tǒng)計(jì)翻譯模型：句法樹(shù)對(duì)齊抽取翻譯模板基于模板翻譯模型其它特征漢語(yǔ)詞法分析漢語(yǔ)句法分析,2002-12-6,參考文獻(xiàn)(1),Al-Onaizan1999YaserAl-Onaizan,JanCurin,MichaelJahr,KevinKnight,JohnLafferty,DanMelamed,Franz-JosefOch,DavidPurdy,NoahA.SmithandDavidYarowsky(1999).StatisticalMachineTranslation:FinalReport,JohnsHopkinsUniversity1999SummerWorkshoponLanguageEngineering,CenterforSpeechandLanguageProcessing,Baltimore,MD.Alshawi1998Alshawi,H.,Bangalore,S.andDouglas,S.AutomaticAcquisitionofHierarchicaltransductionmodelsformachinetranslation,Proc.36thConf.AssociationofComputationalLinguistics,Montreal,Canada,1998.Berger1994Berger,A.,P.Brown,S.DellaPietra,V.DellaPietra,J.Gillett,J.Lafferty,R.Mercer,H.Printz,LUres,TheCandideSystemforMachineTranslation,ProceedingsoftheDARPAWorkshoponHumanLanguageTechnology(HLT)Berger1996A.L.Berger,S.A.DellaPietra,andV.J.DellaPietra.Amaximumentropyapproachtonaturallanguageprocessing.ComputationalLinguistics,22(1):39-72,March1996.Brown1990PeterF.Brown,JohnCocke,StephenA.DellaPietra,VincentJ.DellaPietra,FredrickJelinek,JohnD.Lafferty,RobertL.Mercer,PaulS.Roossin,AStatisticalApproachtoMachineTranslation,ComputationalLinguistics,1990,2002-12-6,參考文獻(xiàn)(2),Brown1993Peter.F.Brown,StephenA.DellaPietra,VincentJ.DellaPietra,RobertL.Mercer,TheMathematicsofStatisticalMachineTranslation:ParameterEstimation,ComputationalLinguistics,Vol19,No.2,1993Ker1997SueJ.Ker,JasonS.Chang,AClass-basedApproachtoWordAlignment,ComputationalLinguistics,Vol.23,No.2,Page313-343,1997Knight1999KevinKnight,AStatisticalMachineTranslationTutorialWorkbook.unpublished,preparedinconnectionwiththeJHUsummerworkshop,August1999.(availableat/ws99/projects/mt/wkbk.rtf).Och1998FranzJosefOchandHansWeber.Improvingstatisticalnaturallanguagetranslationwithcategoriesandrules.InProc.Ofthe35thAnnualConf.oftheAssociationforComputationalLinguisticsandthe17thInt.Conf.onComputationalLinguistics,pages985-989,Montreal,Canada,August1998.Och1999F.J.Och,C.Tillmann,andH.Ney.Improvedalignmentmodelsforstatisticalmachinetranslation.InProc.oftheJointSIGDATConf.OnEmpiricalMethodsinNaturalLanguageProcessingandVeryLargeCorpora,pages20-28,UniversityofMaryland,CollegePark,MD,June1999.,2002-12-6,參考文獻(xiàn)(3),Och2001FranzJosefOch,HermannNey.WhatCanMachineTranslationLearnfromSpeechRecognition?In:proceedingsofMT2001Workshop:TowardsaRoadMapforMT,pp.26-31,SantiagodeCompostela,Spain,September2001.Och2002FranzJosefOch,HermannNey,DiscriminativeTrainingandMaximumEntropyModelsforStatisticalMachineTranslation,ACL2002Papineni1997K.A.Papineni,S.Roukos,andR.T.Ward.1997.Feature-basedlanguageunderstanding.InEuropeanConf.onSpeechCommunicationandTechnology,pages1435-1438,Rhodes,Greece,September.Papineni1998K.A.Papineni,S.Roukos,andR.T.Ward.1998.Maximumlikelihoodanddiscriminativetrainingofdirecttranslationmodels.InProc.Int.Conf.onAcoustics,Speech,andSignalProcessing