第2課 自然語言描述算法 浙教版五年級(jí)上冊01.描述算法的常用方法。02.用自然語言描述算法。目錄第一節(jié)1.描述算法的常用方法。

算法的描述方法把求解問題的方法及其步驟用一種規(guī)范、可讀性強(qiáng)的方式描述出來稱為算法的描述，常用的描述方法有自然語言描述、流程圖描述、偽代碼描述等第一種：流程圖流程圖是描述代碼的一種很好的工具，利用流程圖，可以很好的表現(xiàn)出秩序執(zhí)行過程中的三種基本結(jié)構(gòu)組成一順序結(jié)構(gòu)、選擇結(jié)構(gòu)、循環(huán)結(jié)構(gòu)等。需要注意的是，在使用流程圖時(shí)，規(guī)定需要使用一些基本圖形。流程圖（N-S圖）還有一種流程圖，叫做N-S圖，是在以前的流程圖的基礎(chǔ)上重新進(jìn)行了改變，去掉了流程線，并且算法的每一步都用一個(gè)框進(jìn)行描述，最終的執(zhí)行是將所有的矩形框按照順序連接起來。第二種：偽代碼偽代碼是一種介于我們編寫的由機(jī)器執(zhí)行的語言，但是又不受語法約束的代碼。這種語言時(shí)無法被機(jī)器執(zhí)行的，但是和流程圖一樣，也是一種常用的描述算法的方法。偽代碼主要是用來表示代碼之間的邏輯關(guān)系，并不能交由計(jì)算機(jī)執(zhí)行。因此，主要使用對(duì)象是設(shè)計(jì)師和程序員，是用來表達(dá)在編碼前對(duì)算法執(zhí)行過程中的一些想法的工具。第三種：自然語言算法的第三種表述，就是使用自然語言進(jìn)行描述。自然語言比較符合我們的閱讀習(xí)慣，是一種我們都能夠理解的方式。不過，這種方式的缺點(diǎn)是無法很準(zhǔn)確的描述循環(huán)、選擇等結(jié)構(gòu)。1、理解問題。2、分析問題。 3、確定適當(dāng)數(shù)據(jù)結(jié)構(gòu)和流程控制結(jié)構(gòu)。4、用偽代碼表述算法。5、思考算法正確性與效率。如何寫好算法第二節(jié)2.用自然語言描述算法。

用自然語言描述算法

1.收集數(shù)據(jù)：文本信息的常見來源包括-商品評(píng)價(jià)、用戶產(chǎn)出的內(nèi)容(推文、帖子、提問等)、問題解決方案等2.清洗數(shù)據(jù)：去除一切不相關(guān)的字符-比如任何非數(shù)字字母的字符(針對(duì)英文)；標(biāo)記文本，并拆分為獨(dú)立的單詞；去除不相關(guān)的詞語；所有字母轉(zhuǎn)換為小寫；將拼錯(cuò)的單詞或者多種拼法的單詞與某個(gè)特定的表達(dá)綁定；考慮詞形還原

3.找到好的數(shù)據(jù)表達(dá)方式(one-hotrepresentation)：例如可以為數(shù)據(jù)集中的所有單詞制作一張?jiān)~表，將每個(gè)單詞和一個(gè)唯一的索引關(guān)聯(lián)。每個(gè)句子都是由一串?dāng)?shù)字組成(詞表中獨(dú)立單詞對(duì)應(yīng)的個(gè)數(shù))。通過列表的索引，可以統(tǒng)計(jì)出句子中某個(gè)單詞出現(xiàn)的次數(shù)(即詞袋模型)，完全忽略句子中單詞的順序4.分類

5.檢驗(yàn)

6.解釋詞語結(jié)構(gòu)：在詞袋模型的基礎(chǔ)上進(jìn)行TF-IDF評(píng)分.

7.利用語義：

模型部署之后很有可能遇到在訓(xùn)練集中沒有出現(xiàn)過的單詞，那么模型可能就無法準(zhǔn)確的為這些推文分類。需要獲取到詞語的語義來解決這個(gè)問題(比如：Word2Vec詞向量-用來為單詞尋找連續(xù)嵌入的技術(shù))，也就是說我們需要理解“good”和“positive”比“apricot”和“continent”更接近。8.Word2Vec通過讀取大量文本并記憶出現(xiàn)在相似上下文中的單詞進(jìn)行學(xué)習(xí)，在經(jīng)過足夠的訓(xùn)練后，它會(huì)為詞表中的每個(gè)單詞生成生成一個(gè)100-300維的向量，具有相似含義的單詞會(huì)靠的更近

NLP關(guān)鍵的實(shí)際應(yīng)用

1.識(shí)別不同使用者/用戶的客戶群(預(yù)測用戶流失、生命周期價(jià)值、產(chǎn)品偏好)

2.精準(zhǔn)檢測和提取反饋分類(正負(fù)面的評(píng)論觀點(diǎn)、對(duì)衣服尺寸或舒適度等一些特別屬性的提及)

3.根據(jù)意圖進(jìn)行文本分類(請(qǐng)求普通幫助、緊急問題處理)

NLP關(guān)鍵的實(shí)際應(yīng)用

4.對(duì)微博信息進(jìn)行分析，通過社交輿情看關(guān)注點(diǎn)

5.對(duì)郵件分析，結(jié)合貝葉斯算法判斷哪些是垃圾郵