深入淺出Embedding：原理解析與應(yīng)用實(shí)踐讀書筆記模板01思維導(dǎo)圖讀書筆記作者介紹內(nèi)容摘要目錄分析精彩摘錄目錄0305020406思維導(dǎo)圖原理應(yīng)用技術(shù)應(yīng)用實(shí)踐系統(tǒng)學(xué)習(xí)原理小結(jié)模型第章使用實(shí)例可視化安裝處理文本注意力數(shù)據(jù)本書關(guān)鍵字分析思維導(dǎo)圖內(nèi)容摘要內(nèi)容摘要這是一本系統(tǒng)、全面、理論與實(shí)踐相結(jié)合的Embedding技術(shù)指南，由資深的AI技術(shù)專家和高級數(shù)據(jù)科學(xué)家撰寫，得到了黃鐵軍、韋青、張崢、周明等中國人工智能領(lǐng)域的領(lǐng)軍人物的一致好評和推薦。在內(nèi)容方面，本書理論與實(shí)操兼顧，一方面系統(tǒng)講解了Embedding的基礎(chǔ)、技術(shù)、原理、方法和性能優(yōu)化，一方面詳細(xì)列舉和分析了Embedding在機(jī)器學(xué)習(xí)性能提升、中英文翻譯、推薦系統(tǒng)等6個重要場景的應(yīng)用實(shí)踐；在寫作方式上，秉承復(fù)雜問題簡單化的原則，盡量避免復(fù)雜的數(shù)學(xué)公式，盡量采用可視化的表達(dá)方式，旨在降低本書的學(xué)習(xí)門檻，讓讀者能看得完、學(xué)得會。全書一共16章，分為兩個部分：第1部分（第1~9章）Embedding理論知識。主要講解Embedding的基礎(chǔ)知識、原理以及如何讓Embedding落地的相關(guān)技術(shù)，如TensorFlow和PyTorch中的Embedding層、CNN算法、RNN算法、遷移學(xué)習(xí)方法等，重點(diǎn)介紹了Transformer和基于它的GPT、BERT預(yù)訓(xùn)練模型及BERT的多種改進(jìn)版本等。第二部分（第10~16章）Embedding應(yīng)用實(shí)例。通過6個實(shí)例介紹了Embedding及相關(guān)技術(shù)的實(shí)際應(yīng)用，包括如何使用Embedding提升傳統(tǒng)機(jī)器學(xué)習(xí)性，如何把Embedding技術(shù)應(yīng)用到推薦系統(tǒng)中，如何使用Embedding技術(shù)提升NLP模型的性能等。讀書筆記讀書筆記算法細(xì)節(jié)講述的很詳細(xì)且最終都用代碼實(shí)現(xiàn)，對想要深入理解原理的初學(xué)者很友好。浮光掠影，泛泛而談，既沒有講清楚本質(zhì)，也沒有切實(shí)有意義的指導(dǎo)[豬頭]。目錄分析第1章萬物皆可嵌入第2章獲取Embedding的方法第3章計(jì)算機(jī)視覺處理第4章文本及序列處理第5章注意力機(jī)制12345第一部分Embedding基礎(chǔ)知識第6章從WordEmbedding到ELMo第7章從ELMo到BERT和GPT第8章BERT的優(yōu)化方法第9章推薦系統(tǒng)第一部分Embedding基礎(chǔ)知識第1章萬物皆可嵌入1.1處理序列問題的一般步驟1.2WordEmbedding1.3ItemEmbedding1.4用Embedding處理分類特征1.5GraphEmbedding1.6ContextualWordEmbedding1.7使用WordEmbedding實(shí)現(xiàn)中文自動摘要1.8小結(jié)第2章獲取Embedding的方法2.1使用PyTorch的EmbeddingLayer2.2使用TensorFlow2.0的EmbeddingLayer2.3從預(yù)訓(xùn)練模型獲取Embedding2.4小結(jié)第3章計(jì)算機(jī)視覺處理3.1卷積神經(jīng)絡(luò)3.2使用預(yù)訓(xùn)練模型3.3獲取預(yù)訓(xùn)練模型3.4使用PyTorch實(shí)現(xiàn)數(shù)據(jù)遷移實(shí)例3.5小結(jié)第4章文本及序列處理4.1循環(huán)絡(luò)的基本結(jié)構(gòu)4.2構(gòu)建一些特殊模型4.3小結(jié)第5章注意力機(jī)制5.1注意力機(jī)制概述5.2帶注意力機(jī)制的Encoder-Decoder模型5.3可視化Transformer5.4使用PyTorch實(shí)現(xiàn)Transformer5.5Transformer-XL5.6使用PyTorch構(gòu)建Transformer-XL5.7Reformer5.8小結(jié)第6章從WordEmbedding到ELMo6.1從word2vec到ELMo6.2可視化ELMo原理6.3小結(jié)第7章從ELMo到BERT和GPT7.1ELMo的優(yōu)缺點(diǎn)7.2可視化BERT原理7.3使用PyTorch實(shí)現(xiàn)BERT7.4可視化GPT原理7.5GPT-3簡介7.6小結(jié)第8章BERT的優(yōu)化方法8.1可視化XLNet原理8.2ALBERT方法8.3ELECTRA方法8.4小結(jié)第9章推薦系統(tǒng)9.1推薦系統(tǒng)概述9.2協(xié)同過濾9.3深度學(xué)習(xí)在推薦系統(tǒng)中的應(yīng)用9.4小結(jié)第10章用Embedding表現(xiàn)分類特征第11章用Embedding提升機(jī)器學(xué)習(xí)性能第12章用Transformer實(shí)現(xiàn)英譯中第13章Embedding技術(shù)在推薦系統(tǒng)中的應(yīng)用第二部分Embedding應(yīng)用實(shí)例第14章用BERT實(shí)現(xiàn)中文語句分類第16章Embedding技術(shù)總結(jié)第15章用GPT-2生成文本第二部分Embedding應(yīng)用實(shí)例第10章用Embedding表現(xiàn)分類特征10.1項(xiàng)目背景10.2TensorFlow2詳細(xì)實(shí)現(xiàn)10.3小結(jié)第11章用Embedding提升機(jī)器學(xué)習(xí)性能11.1項(xiàng)目概述11.2使用Embedding提升神經(jīng)絡(luò)性能11.3構(gòu)建XGBoost模型11.4使用Embedding數(shù)據(jù)的XGBoost模型11.5可視化Embedding數(shù)據(jù)11.6小結(jié)第12章用Transformer實(shí)現(xiàn)英譯中12.1TensorFlow2+實(shí)例概述12.2預(yù)處理數(shù)據(jù)12.3構(gòu)建Transformer模型12.4定義損失函數(shù)12.5定義優(yōu)化器12.6訓(xùn)練模型12.7評估預(yù)測模型12.8可視化注意力權(quán)重12.9小結(jié)第13章Embedding技術(shù)在推薦系統(tǒng)中的應(yīng)用13.1Embedding在Airbnb推薦系統(tǒng)中的應(yīng)用13.2Transformer在阿里推薦系統(tǒng)中的應(yīng)用13.3BERT在美團(tuán)推薦系統(tǒng)中的應(yīng)用13.4小結(jié)第14章用BERT實(shí)現(xiàn)中文語句分類14.1背景說明14.2可視化BERT注意力權(quán)重14.3用BERT預(yù)訓(xùn)練模型微調(diào)下游任務(wù)14.4訓(xùn)練模型14.5測試模型14.6小結(jié)第15章用GPT-2生成文本15.1GPT-2概述15.2用GPT-2生成新聞15.3微調(diào)GPT-2生成戲劇文本15.4小結(jié)第16章Embedding技術(shù)總結(jié)16.1Embedding技術(shù)回顧16.2Embedding技術(shù)展望16.3小結(jié)A.1環(huán)境分析A.2參考資料A.3安裝的準(zhǔn)備工作A.4升級GPU驅(qū)動附錄A基于GPU的TensorFlow2+、PyTorch1+升級安裝A.5安裝Python3.7A.6安裝TensorFlow-GPU2.0A.7JupyterNotebook的配置A.8安裝驗(yàn)證A.9TensorFlow一般方式處理實(shí)例A.10TensorFlow分布式處理實(shí)例010302040506附錄A基于GPU的TensorFlow2+、PyTorch1+升級安裝A.11建議使用conda安裝TensorFlowA.13修改安裝源A.12安裝PyTorch附錄A基于GP