LR模型：手工特征工FM模型：自動(dòng)二階特征組Wide&DeepWide部分手工特征工程+Cross特Wide&Deep是相對(duì)原始的深度?？梢钥醋靼裌ide&Deep的LR換成FM；目前StateoftheArt深度模 多階組合 N的結(jié)階段：多 à模型Embedding統(tǒng)傳統(tǒng)多

策略化à模型索 多 à統(tǒng)典型多人工特征工程à排序模型發(fā)展現(xiàn)狀：DNNRanking深度學(xué)習(xí)兩大里程碑圖像領(lǐng)域àResNet(SkipNLP領(lǐng)域àBert模型(兩階段：預(yù)訓(xùn)練+Fine-DNNRanking模型的困境模型太膚淺，沒(méi)深度沒(méi)有模型具有突破性的效果提升vs.私有數(shù)據(jù)我們期待DNNRanking的ResNet&Bert高光時(shí)刻完備而簡(jiǎn)潔的DNN模今日頭條系目前采用的是這個(gè)模當(dāng)然，也有缺點(diǎn)：缺乏細(xì)粒度的用戶(hù)行為刻趨勢(shì)趨勢(shì)1（W&D/DeepFM／DeepFFM/DIN/DIEN趨勢(shì)2：顯示特征組合（xDeepFM/Deep&Cross結(jié)論：2(OK,(OK,還沒(méi)證明自己18年年中AILab嘗試過(guò)，效果與DeepFM(OK,butnot(不是好選擇(輔助結(jié)構(gòu)趨勢(shì)3：特征抽取器的進(jìn) 環(huán)境下情況要 復(fù)初步嘗 embedding，較好效果 ／ 趨勢(shì)4：多模態(tài)（文本，，，音頻….etc.）趨勢(shì)5：多目標(biāo)（點(diǎn)擊，互動(dòng)，時(shí)長(zhǎng)…..etc.）行為漏斗：瀏覽>點(diǎn)擊>互動(dòng)趨勢(shì)6：多任務(wù)（遷移學(xué)習(xí)，數(shù)據(jù)量多任務(wù)向數(shù)據(jù)量少任務(wù)遷移知識(shí)現(xiàn)狀：互聯(lián)網(wǎng)公司里，很多任務(wù)數(shù)據(jù)量夠多 地體現(xiàn)在行為漏斗中排序模型發(fā)展現(xiàn)狀與趨勢(shì)：List趨勢(shì)7：Pointwise->List（流排序instead 打分排序模型的未來(lái) LR模 DeepFM模 5年后的？？模假設(shè)我們站在5排序模型的未來(lái) by Embedding卷一 AutoML+Ranking：特征自動(dòng)化à附贈(zèng)思考題：算法工程師的未來(lái) 如果還有未來(lái)的話(huà)去年（2018）下半 AILab做過(guò)嘗試基本構(gòu)件：onehot-embedding／MLP隱層/FM層/Skip-AutoML方法AutoML找出的最優(yōu)結(jié)構(gòu)，效果略微比DeepFM好，不太多排序模型的未來(lái)：排序模型也許沒(méi)有未問(wèn)題 和排序兩階段模型，是否可以融合為單階段模型思想實(shí)驗(yàn)：讓