(30)優(yōu)先權(quán)數(shù)據(jù)(62)分案原申請數(shù)據(jù)(71)申請人谷歌有限責任公司地址美國加利福尼亞州GO6N18/22(2023.01)T·J·迪里格(74)專利代理機構(gòu)北京市柳沈律師事務所權(quán)利要求書3頁說明書17頁附圖10頁(54)發(fā)明名稱包括在計算機存儲介質(zhì)上編碼的計算機程序的用于訓練圖像嵌入模型的方法、系統(tǒng)和裝練示例的訓練數(shù)據(jù)，其中每個訓練示例包括：包括第一圖像和第二圖像的圖像對；以及指示以下中的一項或更多項的選擇數(shù)據(jù)：(i)圖像對的共同點擊率，和(ii)圖像對的相似圖像點擊率；以及使用訓練數(shù)據(jù)來訓練具有多個圖像嵌入模型參數(shù)的圖像嵌入模型。歷史查詢訓練數(shù)據(jù)搜索系統(tǒng)2一個或多個非暫時性計算機可讀介質(zhì)，其共同存儲指令，當由所述一個或多個處理器獲得歷史查詢?nèi)罩緮?shù)據(jù)，其中，歷史查詢?nèi)罩緮?shù)據(jù)描述一個或多個搜索查詢、響應于一個或多個搜索查詢的一個或多個圖像搜索結(jié)果、以及與一個或多個圖像搜索結(jié)果中的每一個相關聯(lián)的選擇；基于歷史查詢?nèi)罩緮?shù)據(jù)生成圖像-圖像訓練示例，其中，圖像-圖像訓練示例描述包含第一圖像和第二圖像的圖像對以及與所述圖像對相關聯(lián)的選擇數(shù)據(jù)；使用圖像嵌入模型處理第一圖像以生成第一圖像的嵌入；利用圖像嵌入模型處理第二圖像以生成第二圖像的嵌入；基于第一圖像的嵌入、第二圖像的嵌入以及與圖像對相關聯(lián)的選擇數(shù)據(jù)估計損失函基于基于第一圖像的嵌入、第二圖像的嵌入和與圖像對相關聯(lián)的選擇數(shù)據(jù)估計的損失函數(shù)來調(diào)整圖像嵌入模型的一個或多個參數(shù)。2.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，選擇數(shù)據(jù)包含描述與多個用戶響應于第一圖像和第二圖像兩者由搜索查詢的搜索結(jié)果同時識別而選擇第一圖像和第二圖像兩者的頻率相關聯(lián)的圖像對的共同點擊率的數(shù)據(jù)。3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，選擇數(shù)據(jù)包含描述與多個用戶響應于第一圖像由包括第二圖像的搜索查詢的搜索結(jié)果識別而選擇第一圖像的頻率相關聯(lián)的圖像對的相似圖像點擊率的數(shù)據(jù)。確定取決于以下因素的損失函數(shù)的梯度：(i)第一圖像的嵌入與第二圖像的嵌入之間的相似性度量，以及(ii)圖像-圖像訓練示例的選擇數(shù)據(jù)。5.根據(jù)權(quán)利要求4所述的系統(tǒng)，其中，調(diào)整圖像嵌入模型的一個或多個參數(shù)包括使用梯度來調(diào)整圖像嵌入模型的一個或多個參數(shù)。6.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，損失函數(shù)包括基于訓練示例的選擇數(shù)據(jù)確定的倍數(shù)縮放因子。7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，歷史查詢?nèi)罩緮?shù)據(jù)與一個或多個web搜索系統(tǒng)相關聯(lián)。8.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，如果選擇數(shù)據(jù)的共同點擊率描述第一圖像和第二圖像相關，則調(diào)整一個或多個參數(shù)以生成第一圖像和第二圖像的相似嵌入。9.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，如果選擇數(shù)據(jù)的相似圖像點擊率描述第一圖像和第二圖像相關，則調(diào)整一個或多個參數(shù)以生成第一圖像和第二圖像的相似嵌入。10.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，圖像嵌入模型包括被配置為處理圖像的特征表示的神經(jīng)網(wǎng)絡模型。11.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，圖像嵌入模型與文本嵌入模型聯(lián)合訓練，其中，文本嵌入模型被訓練為嵌入文本搜索查詢的一個或多個單詞。12.一種計算機實施的方法，所述方法包括：3由包括一個或多個處理器的計算系統(tǒng)從用戶計算系統(tǒng)獲得搜索查詢，其中，搜索查詢包括查詢圖像；由所述計算系統(tǒng)利用圖像嵌入模型處理查詢圖像以生成查詢圖像嵌入，其中，圖像嵌入模型在包含多個圖像-圖像訓練示例的訓練數(shù)據(jù)集上被訓練，其中，每個圖像訓練示例描述圖像對和與圖像對相關聯(lián)的選擇數(shù)據(jù)；由所述計算系統(tǒng)基于查詢圖像嵌入確定一個或多個圖像搜索結(jié)果，其中，一個或多個圖像搜索結(jié)果基于多個圖像中的每一個的相應的相關性得分；并且由所述計算系統(tǒng)向用戶計算系統(tǒng)提供一個或多個圖像搜索結(jié)果。13.根據(jù)權(quán)利要求12所述的計算機實施的方法，其中，相應的相關性得分基于查詢圖像嵌入和相應圖像的相應圖像嵌入之間的相似性度量。14.根據(jù)權(quán)利要求12所述的計算機實施的方法，其中，圖像嵌入模型基于圖像對的第一圖像的嵌入與圖像對的第二圖像的嵌入之間的相似性度量被訓練。15.根據(jù)權(quán)利要求12所述的計算機實施的方法，其中，圖像嵌入模型基于與圖像對相關聯(lián)的選擇數(shù)據(jù)被訓練，其中，選擇數(shù)據(jù)描述與多個用戶響應于第一圖像和第二圖像兩者由搜索結(jié)果同時識別而選擇第一圖像和第二圖像兩者的頻率相關聯(lián)的圖像對的共同點擊率。16.根據(jù)權(quán)利要求12所述的計算機實施的方法，其中，圖像嵌入模型通過以下方式被訓利用圖像嵌入模型處理圖像對的第一圖像以生成第一圖像的嵌入；利用圖像嵌入模型處理圖像對中的第二圖像以生成第二圖像的嵌入；基于第一圖像的嵌入、第二圖像的嵌入以及與圖像對相關聯(lián)的選擇數(shù)據(jù)估計損失函基于基于第一圖像的嵌入、第二圖像的嵌入和與圖像對相關聯(lián)的選擇數(shù)據(jù)估計的損失函數(shù)來調(diào)整圖像嵌入模型的一個或多個參數(shù)。17.根據(jù)權(quán)利要求12所述的計算機實施的方法，其中，搜索查詢還包括一個或多個單詞，并且其中，一個或多個圖像搜索結(jié)果基于一個或多個單詞的嵌入被確定，其中，一個或多個單詞的嵌入是通過利用文本嵌入模型處理一個或多個單詞生成的。18.一個或多個非暫時性計算機可讀介質(zhì)，包括指令，當所述指令由一個或多個計算設獲得歷史查詢?nèi)罩緮?shù)據(jù)，其中，歷史查詢?nèi)罩緮?shù)據(jù)描述一個或多個搜索查詢、響應于一個或多個搜索查詢的一個或多個圖像搜索結(jié)果、以及與一個或多個圖像搜索結(jié)果中的每一個相關聯(lián)的選擇；基于歷史查詢?nèi)罩緮?shù)據(jù)生成圖像-圖像訓練示例，其中，圖像-圖像訓練示例描述包括第一圖像和第二圖像的圖像對以及與所述圖像對相關聯(lián)的選擇數(shù)據(jù)；利用圖像嵌入模型處理第一圖像以生成第一圖像的嵌入；利用圖像嵌入模型處理第二圖像以生成第二圖像的嵌入；確定第一圖像的嵌入和第二圖像的嵌入之間的相似性度量；以及至少部分地基于以下來調(diào)整圖像嵌入模型的一個或多個參數(shù)：(i)第一圖像的嵌入與第二圖像的嵌入之間的相似性度量，以及(ii)圖像-圖像訓練示例的選擇數(shù)據(jù)。19.根據(jù)權(quán)利要求18所述的一個或多個非暫時性計算機可讀介質(zhì)，其中，確定第一圖像4的嵌入與第二圖像的嵌入之間的相似性度量包括：確定第一圖像的嵌入和第二圖像的嵌入之間的歐幾里得距離。20.根據(jù)權(quán)利要求18所述的一個或多個非暫時性計算機可讀介質(zhì)，其中，選擇數(shù)據(jù)描述圖像對的共同點擊率和圖像對的相似圖像點擊率。5訓練圖像嵌入模型和文本嵌入模型[0001]本申請是申請日為2019年10月24日、申請?zhí)枮?01980029223.1、發(fā)明名稱為“訓練圖像嵌入模型和文本嵌入模型”的發(fā)明專利申請的分案申請。技術領域[0002]本說明書涉及使用機器學習模型來處理數(shù)據(jù)。背景技術學習模型是參數(shù)模型，并基于接收到的輸入和模型的參數(shù)值產(chǎn)生輸出。[0004]一些機器學習模型是深度模型，其采用多層模型針對接收到的輸入產(chǎn)生輸出。例如，深度神經(jīng)網(wǎng)絡是包括輸出層和一個或更多個隱藏層的深度機器學習模型，每個隱藏層將非線性轉(zhuǎn)換應用于接收到的輸入以產(chǎn)生輸出。發(fā)明內(nèi)容[0005]本說明書描述一種被實現(xiàn)為在一個或更多個位置中的一臺或更多臺計算機上的計算機程序的訓練系統(tǒng)，該訓練系統(tǒng)使用從搜索系統(tǒng)的歷史查詢?nèi)罩緦С龅挠柧殧?shù)據(jù)來訓練圖像嵌入模型和文本嵌入模型。[0006]根據(jù)第一方面，提供一種由一個或更多個數(shù)據(jù)處理裝置執(zhí)行的方法，該方法包括：獲得包括多個訓練示例的訓練數(shù)據(jù)，其中每個訓練示例包括：包括第一圖像和第二圖像的圖像對；以及指示以下中的一項或更多項的選擇數(shù)據(jù)：(i)圖像對的共同點擊率，以及(ii)圖像對的相似圖像點擊率，其中：圖像對的共同點擊率表征用戶響應于第一圖像和第二圖像兩者由搜索查詢的搜索結(jié)果同時識別而選擇第一圖像和第二圖像兩者的頻率；以及圖像對的相似圖像點擊率表征用戶響應于第一圖像或第二圖像由分別包括第二圖像或第一圖像的搜索查詢的搜索結(jié)果識別而選擇第一圖像或第二圖像的頻率；以及使用訓練數(shù)據(jù)來訓練具有多個圖像嵌入模型參數(shù)的圖像嵌入模型，其中，對于所述多個訓練示例中的每個，所述訓練包括：使用圖像嵌入模型處理訓練示例的第一圖像，以生成第一圖像的嵌入；使用圖像嵌入模型處理訓練示例的第二圖像，以生成第二圖像的嵌入；確定第一圖像的嵌入與第二圖像的嵌入之間的相似性度量；以及至少部分地基于以下來調(diào)整圖像嵌入模型參數(shù)：(i)第一圖像的嵌入與第二圖像的嵌入之間的相似性度量，以及(ii)訓練示例的選擇數(shù)據(jù)。[0007]在一些實施方式中，訓練數(shù)據(jù)使用網(wǎng)絡搜索系統(tǒng)的歷史查詢?nèi)罩旧?。[0008]在一些實施方式中，每個訓練示例的共同點擊率指示用戶響應于該訓練示例的第一圖像和第二圖像兩者由搜索查詢的搜索結(jié)果同時識別而選擇該訓練示例的第一圖像和第二圖像兩者的次數(shù)的分數(shù)。[0009]在一些實施方式中，每個訓練示例的相似圖像點擊率指示用戶響應于第一圖像或第二圖像由分別包括第二圖像或第一圖像的搜索查詢的搜索結(jié)果識別而選擇第一圖像或第二圖像的次數(shù)的分數(shù)。6[0010]在一些實施方式中，圖像嵌入模型包括卷積神經(jīng)網(wǎng)絡。[0011]在一些實施方式中，調(diào)整圖像嵌入模型參數(shù)包括：確定損失函數(shù)的梯度，該損失函數(shù)取決于：(i)第一圖像的嵌入與第二圖像的嵌入之間的相似性度量，以及(ii)訓練示例的選擇數(shù)據(jù)；以及使用該梯度來調(diào)整圖像嵌入模型參數(shù)。[0012]在一些實施方式中，損失函數(shù)包括基于訓練示例的選擇數(shù)據(jù)確定的倍數(shù)縮放因[0013]在一些實施方式中，倍數(shù)縮放因子被確定為訓練示例的共同點擊率和相似圖像點擊率的線性組合。[0014]在一些實施方式中，確定第一圖像的嵌入與第二圖像的嵌入之間的相似性度量包括：確定第一圖像的嵌入與第二圖像的嵌入之間的歐幾里德距離。[0015]在一些實施方式中，該方法可以進一步包括接收查詢圖像以及使用通過根據(jù)在此描述的任何方面或?qū)嵤┓绞降姆椒ǐ@得的訓練后的圖像嵌入模型來處理該查詢圖像。作為示例，處理查詢圖像可以包括確定查詢圖像與搜索索引中的多個圖像之間的相應的相關性[0016]根據(jù)另一方面，提供一種方法，其包括：接收查詢圖像以及使用通過根據(jù)在此描述的任何方面或?qū)嵤┓绞降姆椒ǐ@得的訓練后的圖像嵌入模型來處理該查詢圖像。作為示例，處理查詢圖像可以包括確定查詢圖像與搜索索引中的多個圖像之間的相應的相關性得[0017]根據(jù)第二方面，提供一種系統(tǒng)，其包括：一臺或更多臺計算機；以及通信上耦合到所述一臺或更多臺計算機的一個或更多個存儲設備，其中所述一個或更多個存儲設備存儲指令，該指令在由所述一臺或更多臺計算機運行時使所述一臺或更多臺計算機執(zhí)行包括先前描述的方法的操作的操作。[0018]根據(jù)第三方面，提供一種或更多種存儲指令的計算機存儲介質(zhì)(其可以是或可以不是非暫時性存儲介質(zhì)),該指令在由一臺或更多臺計算機運行時使所述一臺或更多臺計算機執(zhí)行包括先前描述的方法的操作的操作。[0019]可以實施本說明書中描述的主題的特定實施例，以實現(xiàn)以下優(yōu)點中的一個或更多[0020]本說明書中描述的訓練系統(tǒng)可以通過處理來自搜索系統(tǒng)的歷史查詢?nèi)罩镜臄?shù)據(jù)來生成用于訓練圖像嵌入模型和文本嵌入模型的大量訓練數(shù)據(jù)(例如，數(shù)十或數(shù)億個訓練示例)。可從(例如，網(wǎng)絡搜索系統(tǒng)的)歷史查詢?nèi)罩居行С龅拇罅坑柧殧?shù)據(jù)使訓練系統(tǒng)能夠訓練出高度有效的圖像嵌入模型和文本嵌入模型。這樣的可縮放性(例如，對于可能潛在地包括數(shù)億個搜索查詢的訓練示例)是模型訓練領域的一項技術改進。例如，該可縮放性能夠?qū)崿F(xiàn)圖像嵌入模型的訓練，該圖像嵌入模型生成隱含地表征大范圍內(nèi)的概念(例如，食物、場景、地標、人造產(chǎn)品等)的圖像嵌入。相比之下，一些常規(guī)的圖地表征小范圍內(nèi)的概念(例如，僅食物或僅地標)的圖像嵌入。[0021]訓練系統(tǒng)可以處理歷史查詢?nèi)罩疽陨蓪⑽谋舅阉鞑樵兣c有關圖像(例如，用戶在其由文本搜索查詢的搜索結(jié)果識別時頻繁選擇的圖像)相關聯(lián)的“查詢-圖像”訓練示例。具體地，查詢-圖像訓練示例可以將高度特定的文本搜索查詢(例與有關圖像(例如，描繪由文本搜索查詢指定的對象)相關聯(lián)。通過使用從歷史查詢?nèi)罩緦?出的查詢-圖像訓練示例聯(lián)合訓練圖像嵌入模型和文本嵌入模型，訓練系統(tǒng)可以使圖像嵌入模型生成隱含地表示高度特定的概念的圖像嵌入。例如，訓練后的圖像嵌入模型可以處理圖像以生成隱含地表示圖像中描繪的汽車的顏色、樣式和型號的圖像嵌入。這是模型訓練領域的一項技術改進，相比之下，例如，使用如在一些常規(guī)訓練數(shù)據(jù)集中那樣將圖像與通用標簽(例如“汽車”)相關聯(lián)的訓練示例來訓練圖像嵌入模型和文本嵌入模型可能導致圖像嵌入模型生成相對無信息的嵌入。[0022]在一些實施方式中，訓練系統(tǒng)可以生成查詢-圖像訓練示例，其包括以大量不同的自然語言(例如，英語、法語、德語等)表達的搜索查詢。通過使用多語言查詢-圖像訓練示例聯(lián)合訓練圖像嵌入模型和文本嵌入模型，訓練系統(tǒng)可以訓練文本嵌入模型生成獨立于文本語言的含有信息的文本嵌入。例如，訓練系統(tǒng)可以訓練文本嵌入模型，以基于與包括文本“年輕的伊麗莎白女王”(英語)和“年輕的伊麗莎白女王”(法語)的搜索查詢相關聯(lián)的圖像的相似性生成該文本的相似嵌入。這是模型訓練領域的另一項技術改進，訓練系統(tǒng)可以基于選擇數(shù)據(jù)訓練圖像嵌入模型和文本嵌入模型，該選擇數(shù)據(jù)表征例如兩個圖像被“共同點擊”的頻率或給定圖像在其由搜索查詢的搜索結(jié)果(即通過“圖像-圖像”訓練示例)識別時被選擇的頻率。選擇數(shù)據(jù)可以通過匯總數(shù)百萬個用戶的用戶派生信號(例如，點擊)來確定，并使訓練系統(tǒng)能夠更有效地訓練圖像嵌入模型和文本嵌入模型。[0023]使用常規(guī)方法生成訓練數(shù)據(jù)缺乏通過處理搜索系統(tǒng)的歷史查詢?nèi)罩緛砩捎柧殧?shù)據(jù)的許多優(yōu)點。例如，手動生成訓練數(shù)據(jù)(例如，由人手動指定圖像的文本標簽)費時且困難，并且一般只有相對少量的訓練數(shù)據(jù)可以這種方式生成。作為另一示例，與從歷史查詢?nèi)罩旧捎柧殧?shù)據(jù)相比，通過關聯(lián)從社交網(wǎng)絡(或其它來源)繪制的圖像和說明文字來生成訓練數(shù)據(jù)可能產(chǎn)生更少的且質(zhì)量更低的訓練數(shù)據(jù)，例如，因為說明文字可能不準確地表征圖像的內(nèi)容。產(chǎn)生更多和/或質(zhì)量更高的訓練數(shù)據(jù)并使用該訓練數(shù)據(jù)訓練機器學習模型將提高可訓練機器學習模型的準確性(因此，提供比在使用常規(guī)方法生成的訓練數(shù)據(jù)上訓練的機器學習模型犯更少錯誤的機器學習模型)。另外地或備選地，通過減少獲得標記的訓練數(shù)據(jù)所需的時間，在給定的時間段內(nèi)，可以建立更大的訓練數(shù)據(jù)集，并且這還將提高可訓練機器學習模型的準確性。此外，提高可訓練機器學習模型的準確性可以使使用更簡單的機器學習模型(例如具有更少的隱藏層)成為可能，并且這可以導致實現(xiàn)機器學習模型所需的計算資源減少。以互補的方式，可能需要將數(shù)據(jù)存儲更短的時間段，因此可能需要總體上更少的存儲器存儲。[0024]本說明書的主題的一個或更多個實施例的細節(jié)在附圖和以下描述中闡述。該主題的其它特征、方面和優(yōu)點將由說明書描述、附圖和權(quán)利要求變得明顯。附圖說明[0025]圖1示出了示例圖像嵌入模型。[0026]圖2示出了示例文本嵌入模型。[0027]圖3示出了用于使用從搜索系統(tǒng)的歷史查詢?nèi)罩緦С龅挠柧殧?shù)據(jù)來訓練圖像嵌入模型和文本嵌入模型的示例訓練系統(tǒng)。[0028]圖4示出了由搜索系統(tǒng)提供的示例搜索結(jié)果頁面，其包括搜索查詢的圖像搜索結(jié)果，該搜索查詢包括一個或更多個詞語的序列。8[0029]圖5示出了由搜索系統(tǒng)提供的示例搜索結(jié)果頁面，其包括搜索查詢的圖像搜索結(jié)[0030]圖6示出了用于使用查詢-圖像訓練示例來聯(lián)合訓練圖像嵌入模型和文本嵌入模型的示例過程。[0031]圖7A示出了用于使用圖像-圖像訓練示例來訓練圖像嵌入模型的示例過程。[0032]圖7B示出了用于使用查詢-圖像訓練示例和圖像-圖像訓練示例來聯(lián)合訓練圖像嵌入模型和文本嵌入模型的示例過程。[0033]圖8是用于使用從搜索系統(tǒng)的歷史查詢?nèi)罩緦С龅牟樵?圖像訓練示例來聯(lián)合訓練圖像嵌入模型和文本嵌入模型的示例過程的流程圖。[0034]圖9是用于使用從搜索系統(tǒng)的歷史查詢?nèi)罩緦С龅膱D像-圖像訓練示例來訓練圖像嵌入模型的示例過程的流程圖。[0035]圖10示出了查詢-圖像訓練示例和圖像-圖像訓練示例的圖形表示的一部分的示例。[0036]圖11示出了示例搜索系統(tǒng)。[0037]圖12示出了示例計算機系統(tǒng)。[0038]在各個附圖中，相同的附圖標記和符號指示相同的元件。具體實施方式[0039]本說明書描述了用于使用從搜索系統(tǒng)的歷史查詢?nèi)罩緦С龅挠柧殧?shù)據(jù)來訓練圖像嵌入模型和文本嵌入模型的訓練系統(tǒng)。從歷史查詢?nèi)罩緦С龅挠柧殧?shù)據(jù)可以包括查詢-圖像訓練示例、圖像-圖像訓練示例或兩者。[0040]查詢-圖像訓練示例包括：(i)文本搜索查詢，(ii)圖像，以及(iii)選擇數(shù)據(jù)，其表征用戶響應于圖像由文字搜索查詢的搜索結(jié)果識別而選擇該圖像的頻率。如果選擇數(shù)據(jù)指示用戶在圖像由搜索查詢的搜索結(jié)果識別時頻繁選擇該圖像，則訓練系統(tǒng)可以聯(lián)合訓練圖像嵌入模型和文本嵌入模型以生成文本搜索查詢和圖像的相似嵌入。[0041]圖像-圖像訓練示例包括圖像對(包括第一圖像和第二圖像)和指示以下內(nèi)容的選擇數(shù)據(jù)：(i)圖像對的共同點擊率，(ii)圖像對的相似圖像點擊率，或(iii)兩者。圖像對的共同點擊率表征用戶響應于第一圖像和第二圖像兩者由搜索查詢的搜索結(jié)果同時識別而選擇第一圖像和第二圖像兩者的頻率。圖像對的相似圖像點擊率表征用戶響應于第一圖像由包括第二圖像的搜索查詢的搜索結(jié)果識別而選擇第一圖像的頻率，反之亦然。訓練系統(tǒng)可以訓練圖像嵌入模型，以在第一圖像和第二圖像的共同點擊率、相似圖像點擊率或兩者指示它們相關時生成第一圖像和第二圖像的相似嵌入。[0042]在一些實施方式中，訓練系統(tǒng)可以使用從歷史查詢?nèi)罩緦С龅牟樵?圖像訓練示例和圖像-圖像訓練示例，以用圖形正則化的損失函數(shù)來聯(lián)合訓練圖像嵌入模型和查詢嵌入模型。具體地，查詢-圖像訓練示例和圖像-圖像訓練示例可以被表示為圖結(jié)構(gòu)，并且訓練系統(tǒng)可以基于該圖結(jié)構(gòu)使用損失函數(shù)來聯(lián)合訓練圖像嵌入模型和查詢嵌入模型。[0043]這些特征和其它特征在下面被更詳細地描述。[0044]圖1示出了示例圖像嵌入模型100。圖像嵌入模型100配置為根據(jù)一組圖像嵌入模型參數(shù)的當前值處理圖像102,以生成圖像102的嵌入104。嵌入104是作為數(shù)值的有序集合9(例如作為向量或矩陣)對圖像102的表示。如將在下面更詳細描述地，可以使用機器學習技術來訓練圖像嵌入模型100,以生成圖像102的嵌入104,該嵌入104隱含地表示圖像102的語義內(nèi)容(例如，由圖像102描繪的對象)。[0045]圖像嵌入模型100可以配置為處理以任何適當格式表示的圖像102。例如，圖像嵌入模型100可以配置為處理以紅綠藍(RGB)顏色格式(即，通過將各個紅色值、綠色值和藍色值與圖像的每個像素相關聯(lián)來表示圖像的格式)表示的圖像102。作為另一示例，圖像嵌入模型100可以配置為處理圖像102的特征表示，例如圖像102的方向梯度直方圖(HOG)表示、尺度不變特征變換(SIFT)表示或加速魯棒特征(SURF)表示。其它特征表示也可以用于訓[0046]圖像嵌入模型100可以是由一個或更多個位置中的一臺或更多臺計算機上的計算機程序?qū)崿F(xiàn)的神經(jīng)網(wǎng)絡模型。例如，圖像嵌入模型100可以是具有從Inception神經(jīng)網(wǎng)絡或ResNet神經(jīng)網(wǎng)絡導出的架構(gòu)的卷積神經(jīng)網(wǎng)絡。[0047]圖2示出了示例文本嵌入模型200.文本嵌入模型200配置為根據(jù)一組文本嵌入模型參數(shù)的當前值處理自然語言(即，文本202)中的一個或更多個單詞的序列的表示，以生成文本202的嵌入204.嵌入204是作為數(shù)值的有序集合(例如，作為向量或矩陣)對文本202的表示。如下面將更詳細描述地，可以使用機器學習技術來訓練文本嵌入模型200以生成文本202的嵌入204,該嵌入204隱含地表示文本202的語義內(nèi)容(例如，由文本202描述的對象)。[0048]文本嵌入模型200可以配置為處理以任何適當格式表示的文本202。例如，文本嵌入模型200可以配置為處理被表示為一系列“獨熱(one-hot)”向量的文本202,其中每個獨熱向量表示文本202的相應字符(或單詞)。作為另一示例，文本嵌入模型200可以配置為處理由Word2vec模型的輸出表示的文本202。[0049]文本嵌入模型200可以是由一個或更多個位置中的一臺或更多臺計算機上的計算機程序?qū)崿F(xiàn)的神經(jīng)網(wǎng)絡模型。例如，文本嵌入模型200可以是具有包括多個一維(1D)卷積層的架構(gòu)的卷積神經(jīng)網(wǎng)絡。作為另一示例，文本嵌入模型200可以是從文本202到嵌入204的基于查找的映射。作為另一示例，文本嵌入模型200可以是配置為處理n-gram文本令牌的一系列全連接層。作為另一示例，文本嵌入模型可以是遞歸神經(jīng)網(wǎng)絡模型(例如，LSTM),其配置為順序地處理文本202的字符的表示。[0050]圖3示出了示例訓練系統(tǒng)300,其用于使用從搜索系統(tǒng)306的歷史查詢?nèi)罩?04導出的訓練數(shù)據(jù)302來訓練圖像嵌入模型100和文本嵌入模型200。訓練系統(tǒng)300通過確定圖像嵌入模型參數(shù)308和文本嵌入模型參數(shù)310的值來訓練圖像嵌入模型100和文本嵌入模型200。例如，當圖像嵌入模型100和文本嵌入模型200被實現(xiàn)為相應的神經(jīng)網(wǎng)絡時，訓練系統(tǒng)300可以使用損失函數(shù)的梯度迭代地調(diào)整神經(jīng)網(wǎng)絡的參數(shù)，如下面將更詳細描述地。訓練系統(tǒng)300可以由一個或更多個位置中的一臺或更多臺計算機上的計算機程序來實現(xiàn)。在一些實施方式中，訓練系統(tǒng)300在圖像嵌入模型100和文本嵌入模型200的訓練期間使用一個或更多個張量處理單元(TPU-為機器學習而設計的專用集成電路(ASIC))。[0051]搜索系統(tǒng)306可以是配置為通過處理包括文本、圖像或這兩者的搜索查詢執(zhí)行圖像搜索以生成響應搜索查詢而識別圖像的搜索結(jié)果的任何系統(tǒng)。示例搜索系統(tǒng)將參照圖11被更詳細地描述。[0052]搜索系統(tǒng)306的歷史查詢?nèi)罩?04為先前由搜索系統(tǒng)306處理的大量(例如，數(shù)百萬個)搜索查詢建立索引。具體地，歷史查詢?nèi)罩?04可以通過維護包括以下的數(shù)據(jù)為搜索查詢建立索引：(i)搜索查詢，以及(ii)指定由發(fā)送搜索查詢的設備的用戶選擇的一個或更多個搜索結(jié)果的數(shù)據(jù)。用戶可以通過經(jīng)由與搜索結(jié)果的任何種類的交互表達對搜索結(jié)果的興趣來“選擇”搜索結(jié)果。例如，用戶可以通過點擊搜索結(jié)果中包括的超文本鏈接或通過將光標懸停在搜索結(jié)果上預定的時間段來選擇搜索結(jié)果，以生成對由搜索結(jié)果識別的電子文檔[0053]訓練系統(tǒng)300可以處理來自歷史查詢?nèi)罩?04的數(shù)據(jù)，以生成用于訓練圖像嵌入模型100和文本嵌入模型200的查詢-圖像訓練示例和圖像-圖像訓練示例。[0054]查詢-圖像訓練示例包括：(i)文本搜索查詢，(ii)圖像，以及(iii)表征用戶響應于圖像由文字搜索查詢的搜索結(jié)果識別而選擇圖像的頻率的選擇數(shù)據(jù)。如果選擇數(shù)據(jù)指示用戶在圖像由搜索查詢的搜索結(jié)果識別時頻繁選擇該圖像，則訓練系統(tǒng)300可以聯(lián)合訓練圖像嵌入模型100和文本嵌入模型200以生成搜索查詢和圖像的相似嵌入?？梢允褂萌魏芜m當?shù)臄?shù)值相似性度量(例如，如果圖像嵌入模型100和文本嵌入模型200配置為生成相同維數(shù)的嵌入，則使用歐幾里德距離)來確定嵌入之間的相似性。[0055]圖像-圖像訓練示例包括圖像對(其包括第一圖像和第二圖像)和選擇數(shù)據(jù)，該選擇數(shù)據(jù)指示：(i)圖像對的共同點擊率，(ii)圖像對的相似圖像點擊率，或(iii)兩者。圖像對的共同點擊率表征用戶響應于第一圖像和第二圖像兩者由搜索查詢的搜索結(jié)果同時識別而選擇第一圖像和第二圖像兩者的頻率。圖像對的相似圖像點擊率表征用戶響應于第一圖像由包括第二圖像的搜索查詢的搜索結(jié)果識別而選擇第一圖像的頻率，反之亦然。訓練系統(tǒng)300可以訓練圖像嵌入模型100,以在第一圖像和第二圖像的共同點擊率、相似圖像點擊率或這兩者指示它們相關時生成第一圖像和第二圖像的相似嵌入。[0056]圖4示出了由搜索系統(tǒng)306提供的示例搜索結(jié)果頁面400,該示例搜索結(jié)果頁面400包括搜索查詢的圖像搜索結(jié)果，該搜索查詢包括一個或更多個單詞的序列。具體地，搜索結(jié)[0057]圖5示出了由搜索系統(tǒng)306提供的示例搜索結(jié)果頁面500,該示例搜索結(jié)果頁面500包括搜索查詢的圖像搜索結(jié)果，該搜索查詢包括圖像。具體地，搜索結(jié)果頁面500顯示搜索查詢508的搜索結(jié)果502、504和506,搜索查詢508包括描繪卡車的圖像。響應于接收到包括查詢圖像的搜索查詢，搜索系統(tǒng)306可以配置為提供識別與該查詢圖像相似的圖像的搜索結(jié)果。在該示例中，搜索結(jié)果502、504和506中的每個識別出[0058]如果用戶從同一組搜索結(jié)果中選擇分別識別出第一圖像和第二圖像的搜索結(jié)果，則稱用戶“共同點擊”第一圖像和第二圖像。例如，用戶可以兩個搜索結(jié)果(例如，一個接一個)而共同點擊由搜索結(jié)果402識別的圖像和由搜索結(jié)果404識別的圖像。作為另一示例，用戶可以通過選擇搜索結(jié)果頁面500上的兩個搜索結(jié)果(例如，一個接一個)而共同點擊由搜索結(jié)果504識別的圖像和由搜索結(jié)果506識別的圖像。如果用戶從同一組搜索結(jié)果中選擇三個或更多個搜索結(jié)果，則可以將由每對被選擇的搜索結(jié)果識別的圖像視為被共同點擊。例如，如果用戶從同一組搜索結(jié)果中選擇搜索結(jié)果A、B和C,則可以將由搜索結(jié)果{A,B}、{A,C}和{B,C}識別的圖像對都視為被共同點擊。[0059]圖6示出了用于使用查詢-圖像訓練示例600來聯(lián)合訓練圖像嵌入模型100和文本嵌入模型200的示例過程。查詢-圖像訓練示例600包括搜索查詢602和圖像604,該搜索查詢11602包括一個或更多個單詞的序列。訓練系統(tǒng)300使用圖像嵌入模型100并根據(jù)圖像嵌入模型200并根據(jù)文本嵌入模型參數(shù)310的當前值處理搜索查詢602,以生成搜索查詢602的嵌入[0060]訓練系統(tǒng)300確定圖像604的嵌入606與搜索查詢602的嵌入608之間的相似性度量610,并基于相似性度量610確定模型參數(shù)調(diào)整612。此后，訓練系統(tǒng)300使用模型參數(shù)調(diào)整索查詢602的搜索結(jié)果識別而選擇圖像604的頻率。用于使用查詢-圖像訓練示例聯(lián)合訓練[0061]圖7A示出了用于使用包括第一圖像702和第二圖像704的圖像-圖像訓練示例700來訓練圖像嵌入模型100的示例過程。訓練系統(tǒng)300使用圖像嵌入模型100并根據(jù)圖像嵌入300使用圖像嵌入模型100并根據(jù)圖像嵌入模型參數(shù)308的當前值處理第二圖像704,以生成[0062]訓練系統(tǒng)300確定第一圖像702的嵌入706與第二圖像704的嵌入708之間的相似性[0063]圖7B示出了用于使用查詢-圖像訓練示例和圖像-圖像訓練示例來聯(lián)合訓練圖像查詢-圖像訓練示例600和一個或更多個圖像-圖像訓練示例700可以由圖像嵌入模型處理(如參照圖6所述)和圖像-圖像訓練示例(如參照圖7A所述)來確定相應的模型參數(shù)調(diào)整714.此后，訓練系統(tǒng)300可以使用模型參數(shù)調(diào)整714來調(diào)整圖像嵌入模型參數(shù)308和文本嵌[0064]圖8是用于使用從搜索系統(tǒng)的歷史查詢?nèi)罩緦С龅牟樵?圖像訓練示例來聯(lián)合訓集(802)。每個查詢-圖像訓練示例包括：(i)包括一個或更多個單詞的序列的搜索查詢，(ii)圖像，以及(iii)表征用戶響應于圖像由搜索查詢的搜索結(jié)果識別而選擇該圖像的頻訓練圖像嵌入模型和文本嵌入模型的查詢-圖像訓練示例(804)。例如，如果特定訓練示例的圖像被用戶響應于該圖像由特定的查詢-圖像訓練示例的搜索查詢的搜索結(jié)果識別而最頻繁地選擇，則系統(tǒng)可以選擇該特定的查詢-圖像訓練示例。作為另一示例，如果特定的查詢-圖像訓練示例的圖像在由該特定的查詢-圖像訓練示例的搜索查詢的搜索結(jié)果識別后被用戶最頻繁選擇的前N個圖像中，則系統(tǒng)可以選擇該特定的查詢-圖像訓練示例。系統(tǒng)在選擇用于聯(lián)合訓練圖像嵌入模型和文本嵌入模型的查詢-圖像訓練示例時可以使用各種其它適當標準中的任何一個。例如，系統(tǒng)可以限制被選擇的查詢-圖像訓練示例的數(shù)量，該被選擇的查詢-圖像訓練示例包括指定特定人員的姓名的搜索查詢以及描繪該特定人員的對應圖像。在此示例中，因為同一個人的外觀在圖像之間可能發(fā)生顯著變化(例如，由于該人穿戴不同的衣服、鞋子、眼鏡等),所以包括大量的與特定人員對應的查詢-圖像訓練示例可能降低訓練過程的有效性。[0067]步驟806-812描述了可以針對每個被選擇的查詢-圖像訓練示例執(zhí)行以聯(lián)合訓練圖像嵌入模型和文本嵌入模型的示例過程。為了方便起見，步驟806-812描述了可以針對給定的查詢-圖像訓練示例執(zhí)行的步驟。更一般地，可以使用任何適當?shù)姆椒▉砺?lián)合訓練圖像嵌入模型和文本嵌入模型。例如，可以使用隨機梯度下降方法來聯(lián)合訓練圖像嵌入模型和文本嵌入模型，其中針對查詢-圖像訓練示例的“批(batch)”(即，集合)迭代地重復步驟806-812。在該示例中，當滿足訓練終止標準時，系統(tǒng)可以確定訓練準可以是已經(jīng)執(zhí)行了步驟806-812的預定數(shù)量的迭代。作為另一示例，訓練終止標準可以是圖像嵌入模型和文本嵌入模型的參數(shù)的值在步驟806-812的迭代之間的變化低于預定閾值。[0068]系統(tǒng)使用圖像嵌入模型并根據(jù)圖像嵌入模型參數(shù)的當前值處理給定的查詢-圖像訓練示例的圖像以生成圖像的嵌入(806)。例如，如果圖像嵌入模型是神經(jīng)網(wǎng)絡模型，則系統(tǒng)使用由該神經(jīng)網(wǎng)絡模型的架構(gòu)限定的一系列神經(jīng)網(wǎng)絡層來處理圖像。[0069]系統(tǒng)使用文本嵌入模型并根據(jù)文本嵌入模型參數(shù)的當前值處理給定的查詢-圖像訓練示例的搜索查詢的表示以生成搜索查詢的嵌入(808)。例如，如果文本嵌入模型是神經(jīng)網(wǎng)絡模型，則系統(tǒng)使用由該神經(jīng)網(wǎng)絡模型的架構(gòu)限定的一系列神經(jīng)網(wǎng)絡層來處理搜索查詢的表示。[0070]系統(tǒng)確定給定的查詢-圖像訓練示例的圖像的嵌入和搜索查詢的嵌入之間的相似性度量(810)。例如，圖像的嵌入和搜索查詢的嵌入可以具有相同的維數(shù)，并且系統(tǒng)可以通過確定相應嵌入之間的歐幾里德距離或余弦相似性度量來確定相似性度量。[0071]系統(tǒng)至少部分地基于給定的查詢-圖像訓練示例的圖像的嵌入和搜索查詢的嵌入之間的相似性度量來調(diào)整圖像嵌入模型參數(shù)和文本嵌入模型參數(shù)(812)。例如，當圖像嵌入模型和文本嵌入模型是相應的神經(jīng)網(wǎng)絡模型時，系統(tǒng)可以確定損失函數(shù)的梯度，并使用該損失函數(shù)的梯度來調(diào)整圖像嵌入模型參數(shù)和文本嵌入模型參數(shù)。系統(tǒng)可以使用任何適當?shù)姆椒?例如，反向傳播)確定損失函數(shù)的梯度。損失函數(shù)可以是取決于給定的查詢-圖像訓練示例的圖像的嵌入和搜索查詢的嵌入之間的相似性度量的任何適當?shù)膿p失函數(shù)。以下是一些示例。[0072]在一些實施方式中，損失函數(shù)可以是分類損失函數(shù)。在這些實施方式中，將給定的查詢-圖像訓練示例的搜索查詢視為為該給定的查詢-圖像訓練示例的圖像識別“正”標簽。將其它的查詢-圖像訓練示例的搜索查詢視為為該給定的查詢-圖像訓練示例的圖像識別相應的“負”標簽。更具體地，系統(tǒng)可以將給定的查詢-圖像訓練示例查詢-圖像訓練示例的搜索查詢的嵌入之間的相似性度量確定為“正”得分。系統(tǒng)可以將每個其它訓練示例的相應的“負”得分確定為給定的查詢-圖像訓練示例的圖像的嵌入與該其它訓練示例的搜索查詢的嵌入之間的相似性度量。系統(tǒng)可以使用soft-max(或采樣的soft-max)函數(shù)處理正得分和負得分，并將soft-max(或采樣的soft-max)函數(shù)的輸出提供給交叉熵損失函數(shù)(或任何其它適當?shù)姆诸悡p失函數(shù))。[0073]在一些實施方式中，損失函數(shù)可以是三重態(tài)損失函數(shù)。在這些實施方式中，系統(tǒng)可以將給定的查詢-圖像訓練示例的圖像的嵌入確定為“錨”,將給定的查詢-圖像訓練示例的[0074]可選地，損失函數(shù)可以取決于給定的查詢-圖像訓練示例的選擇數(shù)據(jù)，該選擇數(shù)據(jù)表征用戶響應于圖像由給定的查詢-圖像訓練示例的搜索查詢的搜索結(jié)果識別而選擇該圖像的頻率。例如，損失函數(shù)可以包括倍數(shù)縮放因子，其基于用戶響應于圖像由給定的查詢-圖像訓練示例的搜索查詢的搜索結(jié)果識別而選擇圖像的次數(shù)的分數(shù)。[0075]圖9是用于使用從搜索系統(tǒng)的歷史查詢?nèi)罩緦С龅膱D像-圖像訓練示例來訓練圖像嵌入模型的示例過程900的流程圖。為了方便起見，過程900將被描述為由位于一個或更多個位置的一臺或更多臺計算機的系統(tǒng)執(zhí)行。例如，根據(jù)本說明書適當編程的訓練系統(tǒng)(例如，圖3的訓練系統(tǒng)300)可以執(zhí)行過程900。[0076]系統(tǒng)處理來自搜索系統(tǒng)的歷史查詢?nèi)罩镜臄?shù)據(jù)以生成圖像-圖像訓練示例(902)。每個圖像-圖像訓練示例包括：(i)包括第一圖像和第二圖像的圖像對，(ii)指示圖像對的共同點擊率、圖像對的相似圖像點擊率或兩者的選擇數(shù)據(jù)。[0077]圖像對的共同點擊率表征用戶響應于第一圖像和第二圖像兩者由搜索查詢的搜索結(jié)果同時識別而選擇第一圖像和第二圖像兩者的頻率。例如，圖像對的共同點擊率可以指示用于響應于第一圖像和第二圖像兩者由搜索查詢的搜索結(jié)果同時識別而選擇第一圖像和第二圖像兩者的次數(shù)的分數(shù)。[0078]圖像對的相似圖像點擊率表征用戶響應于第一圖像由包括第二圖像的搜索查詢的搜索結(jié)果識別而選擇第一圖像的頻率，反之亦然。例如，圖像對的相似圖像點擊率可以指示用戶響應于第一圖像由包括第二圖像的搜索查詢的搜索結(jié)果識別而選擇第一圖像的次[0079]步驟904-908描述了可以針對每個圖像-圖像訓練示例執(zhí)行以訓練圖像嵌入模型的示例過程。為了方便起見，步驟904-908描述了可以針對每個圖像-圖像訓練示例執(zhí)行的步驟。更一般地，可以使用任何適當?shù)姆椒▉碛柧殘D像嵌入模型。例如，可以使用隨機梯度下降方法來訓練圖像嵌入模型，其中針對被選擇的訓練示例的“批”(即，集合)迭代地重復步驟904-908。在該示例中，當滿足訓練終止標準時，系統(tǒng)可以止標準可以是已經(jīng)執(zhí)行了步驟904-908的預定數(shù)量的迭代。作為另一示例，訓練終止標準可以是圖像嵌入模型的參數(shù)的值在步驟904-908的迭代之間的變化低于預定閾值。如將參照圖10更詳細描述地，圖像-圖像訓練示例也可以與查詢-圖像訓練示例結(jié)合使用，以使用圖形正則化的損失函數(shù)聯(lián)合訓練圖像嵌入模型和文本嵌入模型。[0080]系統(tǒng)使用圖像嵌入模型并根據(jù)圖像嵌入模型參數(shù)的當前值處理訓練示例的第一可以通過確定第一圖像和第二圖像的各自的嵌入之間的歐幾里德距離或余弦相似性度量傳播)確定損失函數(shù)的梯度。損失函數(shù)可以是取決于相應嵌入與選擇數(shù)據(jù)之間的相似性度[0085]在一些實施方式中，訓練系統(tǒng)300可以使用查詢-圖像訓練示例和圖像-圖像訓練對應于第一查詢-圖像訓練示例和第二查詢-圖像訓練示例的第一節(jié)點和第二節(jié)點的邊可以由圖像-圖像訓練示例限定，該圖像-圖像訓練示例包括由第一查詢-圖像訓練示例和第節(jié)點的圖像-查詢訓練示例相關聯(lián)的損失函數(shù)(例如，參照812描述的分類損失或三重態(tài)損以將連接節(jié)點i和j的邊的強度w;;確定為共同點擊率和相似圖像點擊率的線性組合(例如，由等式2定義的損失的L?(I,Q)分量。[0089]訓練系統(tǒng)300可以使用任何適當?shù)臋C器學習訓練技術、使用圖形正則化的損失函300可以使用等式2中的損失函數(shù)的替代表示通過隨機梯度下降來聯(lián)合訓練圖像嵌入模型100和文本嵌入模型200:[0091]其中i和j為圖形表示的節(jié)點建立索引，如果節(jié)點i和節(jié)點j由圖形表示中的邊連的損失函數(shù)來訓練圖像嵌入模型100和文本嵌入模型200的示例方法參照T.D.Bui,S.Ravi,V.Ramavajjala,"NeuralGraphMachines:LearningNeuralNetworksUsingGraphs",[0092]在訓練系統(tǒng)300確定圖像嵌入模型參數(shù)308和文本嵌入模型參數(shù)310的值之后，訓模型100來生成由搜索系統(tǒng)維護的搜索索引中的每個圖像的相應嵌入(如參照圖11所述)。在接收到包括查詢圖像的搜索查詢之后，搜索系統(tǒng)306可以使用圖像嵌入模型來生成查詢性得分。搜索系統(tǒng)306可以基于給定圖像的嵌入與查詢圖像的嵌入之間的相似性度量(例分地基于使用由圖像嵌入模型100生成的嵌入所確定的相關性得分來確定搜索查詢的圖像組件需要更換或維護則警告操作員。作為另一示例，查詢圖像可以是醫(yī)學圖像，并且圖像可以是有各種醫(yī)學狀況或處于各種健康狀態(tài)的患者的圖像。搜索系統(tǒng)可以處理接收到的組件圖像以獲得對圖像中體現(xiàn)的人的當前醫(yī)療狀況的指示，例如，作為第一階段檢查以確定醫(yī)學圖像是否應由?？漆t(yī)生審核。[0094]在另一示例中，訓練后的文本嵌入模型和訓練后的圖像嵌入模型都可以由搜索系統(tǒng)306用于響應于包括一個或更多個單詞的序列的搜索查詢而對圖像搜索結(jié)果進行排名。更具體地，搜索系統(tǒng)306可以使用圖像嵌入模型100來生成由搜索系統(tǒng)維護的搜索索引中的每個圖像的相應嵌入。在接收到包括一個或更多個單詞的序列的搜索查詢之后，搜索系統(tǒng)可以使用文本嵌入模型來生成單詞序列的嵌入，此后使用所生成的嵌入來確定搜索索引中的多個圖像中的每個的相應的相關性得分。搜索系統(tǒng)可以基于給定圖像的嵌入與搜索查詢的單詞序列的嵌入之間的相似性度量(例如，歐幾里得距離)來確定搜索索引中的給定圖像的相關性得分。搜索系統(tǒng)306可以至少部分地基于使用由圖像嵌入模型和文本嵌入模型生成的嵌入而確定的相關性分數(shù)來確定搜索查詢的圖像搜索結(jié)果的排名。[0095]在另一示例中，訓練后的文本嵌入模型可以用于確定相似關鍵詞(或關鍵詞序列)的“群(cluster)”,即表達相似語義內(nèi)容的關鍵詞集合。在具體示例中，相似關鍵詞的群可嵌入模型通過確定關鍵詞語料庫中的每個關鍵詞的相應嵌入、此后使用聚類算法以基于其各自的嵌入對關鍵詞進行聚類而生成關鍵詞群。聚類算法可以是例如k均值聚類算法或期望最大化聚類算法。使用訓練后的文本嵌入模型生成的關鍵字群可以用作分發(fā)參數(shù)，該分發(fā)參數(shù)調(diào)節(jié)用于與電子文檔(例如，網(wǎng)頁)一起呈現(xiàn)的數(shù)字組件(例如，廣告)的傳輸。[0096]在另一示例中，訓練后的文本嵌入模型和訓練后的圖像嵌入模型都可以用于圖像分類系統(tǒng)，該圖像分類系統(tǒng)配置為處理圖像以生成將該圖像與來自預定標簽集合的標簽相關聯(lián)的輸出。例如，標簽可以指定對象類別(例如，人、貓、車系統(tǒng)以將圖像與圖像中描繪的對象的標簽相關聯(lián)。在該示例中，圖像分類系統(tǒng)可以使用圖像嵌入模型100來生成輸入圖像的嵌入，并且可以使用文本嵌入模型來生成搜索查詢語料庫中的每個搜索查詢的相應嵌入。圖像分類系統(tǒng)可以確定輸入圖像的嵌入與每個搜索查詢的相應嵌入之間的相應相似性度量，此后可以將輸入圖像與具有最高相似性度量的特定搜索查詢相關聯(lián)。圖像分類系統(tǒng)可以基于以下兩項來確定與輸入圖像相關聯(lián)的標簽：(i)從輸入圖像得出的視覺特征，以及(ii)從特定搜索查詢得出的語義特征。可以使用文本嵌入模型200和圖像嵌入模型100的圖像分類系統(tǒng)的示例參照美國專利申請第62/768,701號進行描述。[0097]圖11示出了示例搜索系統(tǒng)100。搜索系統(tǒng)100是被實現(xiàn)為一個或更多個位置中的一臺或更多臺計算機上的計算機程序的系統(tǒng)的示例，在該計算機程序中實現(xiàn)了以下描述的系[0098]搜索系統(tǒng)1100配置為從用戶設備1104接收搜索查詢1102,以處理搜索查詢1102從而響應于搜索查詢1102確定一個或更多個搜索結(jié)果1106,并向搜索設備1104提供搜索結(jié)果1106。搜索查詢1102可以包括以自然語言(例如，英語)、圖像、音頻數(shù)據(jù)或任何其它適當形式的數(shù)據(jù)表達的搜索項。搜索結(jié)果1106從網(wǎng)站1110識別響應于搜索查詢1102的電子文檔1108,并包括指向電子文檔1108的鏈接。電子文檔1108可以包括例如圖像、HTML網(wǎng)頁、文字處理文檔、便攜式文檔格式(PDF)文檔和視頻。電子文檔1108可以包括諸如單詞、短語、圖像和音頻數(shù)據(jù)的內(nèi)容，并且可以包括嵌入式信息(例如，元信息和超鏈接)和嵌入式指令(例如，腳本)。網(wǎng)站1110是與域名相關聯(lián)并由一個或更多個服務器托管的一個或更多個電子文檔1108的集合。例如，網(wǎng)站1110可以是以超文本標記語言(HTML)格式化的網(wǎng)頁集[0099]在具體示例中，搜索查詢1102可以包括搜索詞“阿波羅登月”,并且搜索系統(tǒng)1100可以配置為執(zhí)行圖像搜索，即，提供識別響應搜索查詢1102的相應圖像的搜索結(jié)果1106。具體地，搜索系統(tǒng)1100可以提供搜索結(jié)果1106,每個搜索結(jié)果包括：(i)網(wǎng)頁的標題，(ii)從該網(wǎng)頁提取的圖像的表示，以及(iii)指向該網(wǎng)頁或該圖像本身的超文本鏈接(例如，指定統(tǒng)一資源定位符(URL))。在該示例中，搜索系統(tǒng)1100可以提供搜索結(jié)果1106,其包括：(i)網(wǎng)頁的標題“阿波羅登月”,(ii)該網(wǎng)頁中包括的阿波羅航天器的圖像的縮小尺寸的表示(即，縮略圖),以及(iii)指向該圖像的超文本鏈接。[0100]諸如局域網(wǎng)(LAN)、廣域網(wǎng)(WAN)、互聯(lián)網(wǎng)、移動電話網(wǎng)絡或其組合的計算機網(wǎng)絡1112連接網(wǎng)站1110、用戶設備1104和搜索系統(tǒng)1100(即，使它們能夠通過網(wǎng)絡1112發(fā)送和接收數(shù)據(jù))。一般而言，網(wǎng)絡1112可以將搜索系統(tǒng)1100連接到數(shù)千個網(wǎng)站1110和用戶設備[0101]用戶設備1104是在用戶控制下并能夠通過網(wǎng)絡1112發(fā)送和接收數(shù)據(jù)(包括電子文檔1108)的電子設備。示例用戶設備1104包括個人計算機、移動通信設備、以及可通過網(wǎng)絡1112發(fā)送和接收數(shù)據(jù)的其它設備。用戶設備1104通常包括有助于通過網(wǎng)絡1112發(fā)送和接收數(shù)據(jù)的用戶應用(例如，網(wǎng)頁瀏覽器)。具體地，用戶設備1104中包括的用戶應用使用戶設備1104能夠通過網(wǎng)絡1112向搜索系統(tǒng)1100發(fā)送搜索查詢1102并接收由搜索系統(tǒng)1100響應于搜索查詢1102提供的搜索結(jié)果1106。[0102]用戶設備1104中包括的用戶應用可以向用戶設備的用戶呈現(xiàn)從搜索系統(tǒng)1100接收到的搜索結(jié)果1106(例如，通過渲染顯示搜索結(jié)果1106的有序列表的搜索結(jié)果頁面)。用戶可以選擇由用戶設備1104呈現(xiàn)的搜索結(jié)果1106之一(例如，通過點擊搜索結(jié)果1106中包括的超文本鏈接),這可以導致用戶設備1104生成對由搜索結(jié)果1106識別的電子文檔1108的請求。對由搜索結(jié)果1106識別的電子文檔1108的請求通過網(wǎng)絡1112被發(fā)送到托管電子文檔1108的網(wǎng)站1110。響應于接收到對電子文檔1108的請求，托管電子文檔1108的網(wǎng)站1110可以向用戶設備1104發(fā)送電子文檔1108。[0103]搜索系統(tǒng)1100使用排名引擎1114處理搜索查詢1102以確定響應搜索查詢1102的搜索結(jié)果1106。[0104]搜索系統(tǒng)1100使用索引引擎1120以通過“爬行(crawling)”(即，系統(tǒng)地瀏覽)網(wǎng)站1110的電子文檔1108生成并維護搜索索引1116。對于大量(例如，數(shù)百萬)電子文檔1108中的每個，搜索索引1116通過維護(i)標識電子文檔1108(例如，通過指向電子文檔1108的鏈接)以及(ii)表征電子文檔1108的數(shù)據(jù)為電子文檔建議索引。表征電子文檔的由搜索索引檔的質(zhì)量(例如，電子文檔的分辨率(當電子文檔是圖像或視頻時))、與電子文檔相關聯(lián)的關鍵詞、電子文檔的緩存副本或其組合的數(shù)據(jù)。[0105]搜索系統(tǒng)1100可以將搜索索引1116存儲在可包括數(shù)千個數(shù)據(jù)存儲設備的數(shù)據(jù)存儲中。索引引擎1120可以通過持續(xù)更新搜索索引1116(例如，通過為新的申子文檔1108建立索引并從搜索索引1116中刪除不再可用的電子文檔1108)來維護搜索索引1116。[0106]搜索系統(tǒng)1100使用查詢?nèi)罩居涗浺?122來生成并維護歷史查詢?nèi)罩?118(如前所述)。搜索系統(tǒng)1100可以將歷史查詢?nèi)罩?118存儲在可包括數(shù)千個數(shù)據(jù)存儲設備的數(shù)據(jù)存儲中。查詢?nèi)罩居涗浺?122可以通過持續(xù)更新歷史查詢?nèi)罩?118(例如，通過在新的搜索查詢由搜索系統(tǒng)1100處理時對其建立索引)來維護歷史查詢?nèi)罩?118。[0107]排名引擎1114通過對由搜索索引1116索引的電子文檔1108打分來確定響應搜索查詢1102的搜索結(jié)果1106。排名引擎1114可以部分地基于從歷史查詢?nèi)罩?118訪問的數(shù)據(jù)對電子文檔1108打分。由排名引擎1114為電子文檔1108確定的得分表征電子文檔對搜索查詢1102的響應度(例如，相關性)。排名引擎1114基于由搜索索引1116索引的電子文檔1108的各自得分來確定其排名，并且基于排名來確定搜索結(jié)果。例如，排名引擎1114可以生成搜索結(jié)果1106,該搜索結(jié)果1106識別由搜索索引1116索引的排名最高的電子文檔1108。[0108]圖12是可用于執(zhí)行上述操作的示例計算機系統(tǒng)1200的框圖。系統(tǒng)1200包括處理器1210、存儲器1220、存儲設備1230和輸入/輸出設備1240。組件1210、1220、12每個可以例如使用系統(tǒng)總線1250互連。處理器1210能夠處理在系統(tǒng)1200內(nèi)運行的指令。在一個實施方式中，處理器1210是單線程處理器。在另一實施方式中，處理器1210是多線程處理器。處理器1210能夠處理存儲在存儲器1220或存儲設備1230中的指令。[0109]存儲器1220將信息存儲在系統(tǒng)1200內(nèi)。在一個實施方式中，存儲器1220是計算機可讀介質(zhì)。在一個實施方式中，存儲器1220是易失性存儲器單元。在另一實施方式中，存儲器1220是非易失性存儲器單元。[0110]存儲設備1230能夠為系統(tǒng)1200提供大容量存儲。在一個實施方式中，存儲設備1230是計算機可讀介質(zhì)。在各種不同的實施方式中，存儲設備1230可以包括例如硬盤設備、光盤設備、由多個計算設備(例如，云存儲設備)在網(wǎng)絡上共享的存儲設備、或一些其它大容量存儲設備。[0111]輸入/輸出設備1240為系統(tǒng)1200提供輸入/輸出操作。在一個實施方式中，輸入/輸出設備1240可以包括一個或更多個網(wǎng)絡接口設備，例如以太網(wǎng)卡、串行通信設備(例如，RS-232端口)和/或無線接口設備(例如，802.11卡)。在另一實施方式中，輸入/輸出設備可以包括驅(qū)動器設備，其配置為接收輸入數(shù)據(jù)并將輸出數(shù)據(jù)發(fā)送到其它輸入/輸出設備，例如鍵[0112]盡管已有在圖12中描述了示例處理系統(tǒng)，但是本說明書中描述的主題的實施方式和功能性操作可以在其它類型的數(shù)字電子電路中實現(xiàn)，或在計算機軟件、固件或硬件(包括本說明書中公開的結(jié)構(gòu)及其結(jié)構(gòu)等同物)中實現(xiàn)，或在其中的一種或更多種的組合中實現(xiàn)。[0113]本說明書結(jié)合系統(tǒng)和計算機程序組件使用術語“配置”。對于要配置為執(zhí)行特定操作或動作的一臺或更多臺計算機的系統(tǒng)，意味著該系統(tǒng)已在其上安裝了軟件、固件、硬件或其組合，所述軟件、固件、硬件或其組合在操作中使該系統(tǒng)執(zhí)行所述操作或動作。對于要配置為執(zhí)行特定操作或動作的一個或更多個計算機程序，意味著所述一個或更多個程序包括指令，該指令在由數(shù)據(jù)處理裝置運行時使該裝置執(zhí)行所述操作或動作。[0114]本說明書中描述的主題的實施例和功能性操作可以在數(shù)字電子電路中實現(xiàn)，在有形體現(xiàn)的計算機軟件或固件中實現(xiàn)，在計算機硬件(包括本說明書中公開的結(jié)構(gòu)及其結(jié)構(gòu)等同物)中實現(xiàn)，或在其中的一種或更多種的組合中實現(xiàn)。本說明書中描述的主題的實施例可以被實現(xiàn)為一個或更多個計算機程序，即在有形的非暫時性存儲介質(zhì)上編碼以由數(shù)據(jù)處理裝置運行或控制數(shù)據(jù)處理裝置的操作的計算機程序指令的一個或更多個模塊。計算機存儲介質(zhì)可以是機器可讀存儲設備、機器可讀存儲基板、隨機或串行訪問存儲器設備或其中的一種或更多種的組合。備選地或另外地，程序指令可以被編碼在人工產(chǎn)生的傳播信號(例如，機器產(chǎn)生的電信號、光信號或電磁信號)上，該傳播信號被產(chǎn)生以對信息進行編碼而傳輸?shù)胶线m的接收器裝置供數(shù)據(jù)處理裝置運行。[0115]術語“數(shù)據(jù)處理裝置”是指數(shù)據(jù)處理硬件，并涵蓋用于處理數(shù)據(jù)的各種裝置、設備和機器，例如包括可編程處理器、計算機、或者多個處理器或計算機。該裝置還可以是或可以進一步包括專用邏輯電路，例如FPGA(現(xiàn)場可編程門陣列)或ASIC(專用集成電路)。除了硬件之外，該裝置可以可選地包括為計算機程序創(chuàng)建運行環(huán)境的代碼，例如構(gòu)成處理器固本或代碼)可以以任何形式的編程語言(包括編譯或解釋性語言、或者聲明性或程序性語言)來編寫；它可以以任何形式(包括作為獨立程序或作為模塊、組件、子例程或適用于計算環(huán)境的其它單元)來部署。程序可以但不必對應于文件系統(tǒng)中的文件。程序可以存儲在保持其它程序或數(shù)據(jù)的文件的一部分(例如，存儲在標記語言文檔中的一個或更多個腳本)中，在專用于所討論的程序的單個文件中，或在多個協(xié)調(diào)文件(例如，存儲一個或更多個模塊、子程序或部分代碼的文件)中?？梢詫⒂嬎銠C程序部署為在一臺計算機上或在位于一個站點或分布于多個站點并通過數(shù)據(jù)通信網(wǎng)絡互連的多臺計算機上運行。[0117]在本說明書中，術語“引擎”廣泛地用于指代被編程以執(zhí)行一個或更多個特定功能的基于軟件的系統(tǒng)、子系統(tǒng)或過程。一般而言，引擎將被實現(xiàn)為安裝在一個或更多個位置中的一臺或更多臺計算機上的一個或更多個軟件模塊或組件。在一些情況下，一臺或更多臺計算機將專用于特定引擎；在其它情況下，可以在同一臺計算機或相同的多臺計算機上安裝并運行多個引擎。[0118]本說明書中描述的過程和邏輯流程可以由運行一個或更多個計算機程序的一臺或更多臺可編程計算機執(zhí)行，以通過對輸入數(shù)據(jù)進行操作并產(chǎn)生輸出來執(zhí)行功能。所述過程和邏輯流程還可以由專用邏輯電路(例如，F(xiàn)PGA或ASIC)執(zhí)行，或由專用邏輯電路和一臺或更多臺編程計算機的組合執(zhí)行。[0119]適合于運行計算機程序的計算機可以基于通用微處理器或?qū)Ｓ梦⑻幚砥骰騼烧撸蛘呋谌魏纹渌N類的中央處理單元。一般而言，中央處理單元將從只讀存儲器或隨機存取存儲器或兩者接收指令和數(shù)據(jù)。計算機的基本元件是用于執(zhí)行或運行指令的中央處理單元以及用于存儲指令和數(shù)據(jù)的一個或更多個存儲器設備。中央處理單元和存儲器可以由專用邏輯電路補充或并入專用邏輯電路中。一般而言，計算機還將包括用于存儲數(shù)據(jù)的一個或更多個大容量存儲設備(例如，磁盤、磁光盤或光盤),或者在操作上耦合以從所述一個或更多個大容量存儲設備接收數(shù)據(jù)、或向所述一個或更多個大容量存儲設備發(fā)送數(shù)據(jù)、或既進行所述接收又進行所述發(fā)送。然而，計算機不必具有此類設備。此外，計算機可以被嵌視頻播放器、游戲主機、全球定位系統(tǒng)(GPS)接收器或便攜式存儲設備(例如，通用串行總線[0120]適合于存儲計算機程序指令和數(shù)據(jù)的計算機可讀介質(zhì)包括所有形式的非易失性[0121]為了支持與用戶的交互，本說明書中描述的主題的實施例可以在計算機上實現(xiàn)，該計算機具有用于向用戶顯示信息的顯示設備(例如，CRT(陰極射線管)或LCD(液晶顯示器)監(jiān)視器)以及用戶可通過其向計算機提供輸入的鍵盤和定點設備(例