研究課題涵蓋語義搜索、長(zhǎng)上下文建模、代碼檢索和推薦系統(tǒng)去偏等多個(gè)領(lǐng)域。我的研究工作目錄目錄無法獲取上下文句子級(jí)語義t優(yōu)點(diǎn)：效率高、可預(yù)計(jì)算缺點(diǎn)：準(zhǔn)確性低、泛化能力弱優(yōu)點(diǎn)：準(zhǔn)確性高、快速適配新領(lǐng)域缺點(diǎn)：效率低、難以應(yīng)用ZihanLiaoet.al,2024.D2LLM:Decom?我們?yōu)?我們?yōu)閷?duì)稱與非對(duì)稱搜索任務(wù)設(shè)計(jì)?計(jì)算LLM回復(fù)的嵌入表示y以及“yes”Yi=LN(?+FFN(?))Yi=LN(?+FFN(?))可學(xué)習(xí)的query向量ygg=PMAq負(fù)例和難負(fù)例。對(duì)應(yīng)設(shè)計(jì)兩個(gè)損失：來實(shí)現(xiàn)知識(shí)遷移：2LFI=lri丁risl22?D2LLM相比最佳基線方法提高了10%-21%?？紤]到教師LLM-ce并未專門針對(duì)STS進(jìn)行微調(diào)。我們使用相同的訓(xùn)練集對(duì)STS域的教師模型進(jìn)行了微調(diào)（得到了LLM-ce-ft）。?對(duì)0.3M數(shù)據(jù)進(jìn)行微調(diào)后，教師模型的平均性能提升了基于T2Retrieval數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，約10w條段落?與雙編碼器相比，D2LLM僅略微增加了基于T2Retrieval數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，約10w條段落?與雙編碼器相比，D2LLM僅略微增加了基于T2Retrieval數(shù)據(jù)集進(jìn)行實(shí)驗(yàn)，約10w條段落?與雙編碼器相比，D2LLM僅略微增加了實(shí)現(xiàn)了效率與效果的平衡！評(píng)估各個(gè)蒸餾目標(biāo)的重要性評(píng)估PMA的重要性評(píng)估IEM的重要性評(píng)估教師模型參數(shù)大小的影響?語義復(fù)雜性?代碼不僅需要遵循嚴(yán)格的語法規(guī)則，還包含豐富的語義關(guān)系?多語言支持?不同的編程語言有不同的語法和標(biāo)準(zhǔn)庫(kù)，導(dǎo)致代碼嵌入模型需要在多語言間具有很好的?精度與存儲(chǔ)壓縮的平衡?保持精度的條件下盡可能減小嵌入維度優(yōu)點(diǎn)：效率高、可預(yù)計(jì)算缺點(diǎn)：準(zhǔn)確性低、泛化能力弱優(yōu)點(diǎn)：基座LLM潛力高缺點(diǎn)：表示質(zhì)量差，存儲(chǔ)壓力大?采用PMA模塊進(jìn)行句子級(jí)語義聚合?魔改PMA實(shí)現(xiàn)維度壓縮yigg=PMAqYi=LN(?+FFN(?))?跨卡選取in-batch負(fù)樣本，增大負(fù)例數(shù)量對(duì)比現(xiàn)有Bert/T5/GPT類代碼嵌入方法，我們?cè)诮^大多數(shù)情況下達(dá)到sota性能兼顧代碼塊全局語義理解并整合跨文件依賴關(guān)系