了解文本向量化

深入文本進階處理知識引入文本向量化將文本表示成一系列能夠表達文本語義的向量。在NLP中，文本向量化是一個重要環(huán)節(jié)，其產(chǎn)出的向量質(zhì)量將直接影響到后續(xù)模型的表現(xiàn)。NLP知識引入NLP領(lǐng)域特性計算機任何計算的前提都是向量化，而文本難以直接被向量化。文本的向量化應(yīng)當盡可能地包含語言本身的信息，但文本中存在多種語法規(guī)則及其他種類的特性，導(dǎo)致向量化困難。自然語言本身可體現(xiàn)人類社會深層次的關(guān)系（如諷刺等語義），這種關(guān)系會給向量化帶來挑戰(zhàn)。此外，在文本向量化的過程中，根據(jù)映射方法的不同，將其分為文本離散表示和文本分布式表示。在實際應(yīng)用中，可根據(jù)具體情況選擇適合的方法。知識引入文本離散表示文本分布式表示文本離散表示離散表示：基于規(guī)則和統(tǒng)計的向量化方式。特點：忽略文本信息中的語序信息和語境信息；僅將其反映為若干維度的獨立概念。問題：如主語和賓語的順序問題，無法區(qū)分“我為你鼓掌”和“你為我鼓掌”。獨熱表示BOW模型TF-IDF表示獨熱表示獨熱表示用一個長的向量表示一個詞。向量長度為字典的大小。每個向量只有一個維度為1。其余維度全部為0。向量中維度為1的位置表示該詞語在字典中的位置。獨熱表示獨熱表示示例：實現(xiàn)中華民族偉大復(fù)興實現(xiàn)民族偉大團結(jié)構(gòu)造字典：{"實現(xiàn)":1,"中華":2,"民族":3,"偉大":4,"復(fù)興":5,"團結(jié)":6}向量化：獨熱向量表示實現(xiàn)：[1,0,0,0,0,0]中華：[0,1,0,0,0,0]民族：[0,0,1,0,0,0]偉大：[0,0,0,1,0,0]復(fù)興：[0,0,0,0,1,0]團結(jié)：[0,0,0,0,0,1]獨熱表示獨熱表示優(yōu)缺點：優(yōu)點：操作簡單缺點：維數(shù)過大矩陣稀疏不能保留語義BOW模型BOW模型用一個向量表示一句話或一個文檔。忽略文檔的詞語順序、語法、句法等要素。將文檔看作若干個詞匯的集合。文檔中每個詞都是獨立的。每個維度上的數(shù)值代表ID對應(yīng)的詞在句子里出現(xiàn)的頻次。BOW模型BOW模型示例：實現(xiàn)中華民族偉大復(fù)興實現(xiàn)民族偉大團結(jié)構(gòu)造字典：{"實現(xiàn)":1,"中華":2,"民族":3,"偉大":4,"復(fù)興":5,"團結(jié)":6}向量化：詞庫句子向量1句子向量2實現(xiàn)11中華10民族11偉大11復(fù)興10團結(jié)01BOW模型BOW模型缺點：維數(shù)過大矩陣稀疏不能保留語義TF-IDF表示1用一個向量表示一個句話或一個文檔。2在