大語(yǔ)言模型通識(shí)

訓(xùn)練集、測(cè)試集、驗(yàn)證集訓(xùn)練集、測(cè)試集、驗(yàn)證集三者在數(shù)據(jù)目的與功能、數(shù)據(jù)交互頻率上、數(shù)據(jù)劃分與比例以及使用時(shí)機(jī)等方面均有不同之處。訓(xùn)練集、測(cè)試集和驗(yàn)證集在數(shù)據(jù)來(lái)源、預(yù)處理、目標(biāo)、獨(dú)立性以及數(shù)據(jù)質(zhì)量和代表性方面都有著相似之處，這些相似性是確保模型完成有效訓(xùn)練和評(píng)估的基礎(chǔ)。微課6.2訓(xùn)練集、測(cè)試集、驗(yàn)證集訓(xùn)練集用于訓(xùn)練模型，驗(yàn)證集用于在訓(xùn)練過(guò)程中選擇模型和調(diào)整超參數(shù)，測(cè)試集則用來(lái)最終評(píng)估模型的性能?！居?xùn)練集】訓(xùn)練模型。幫助模型確定權(quán)重和偏置等參數(shù)，通過(guò)深入學(xué)習(xí)和理解訓(xùn)練集數(shù)據(jù)，逐漸學(xué)會(huì)識(shí)別其中的模式和規(guī)律，并逐步優(yōu)化其預(yù)測(cè)能力?！掘?yàn)證集】選擇和調(diào)參。用于模型選擇和超參數(shù)調(diào)整。主要幫助在眾多可能性中，找到那些能夠使模型性能達(dá)到巔峰的超參數(shù)，如網(wǎng)絡(luò)層數(shù)、網(wǎng)絡(luò)節(jié)點(diǎn)數(shù)、迭代次數(shù)、學(xué)習(xí)率等，為挑選最優(yōu)模型超參數(shù)提供優(yōu)質(zhì)的咨詢和建議?！緶y(cè)試集】評(píng)估性能?？简?yàn)?zāi)Ｐ停瑢?duì)模型的泛化能力做出評(píng)價(jià)。6.2.1目的與功能不同訓(xùn)練集、測(cè)試集、驗(yàn)證集這三者和模型的數(shù)據(jù)交互頻率不同。訓(xùn)練集會(huì)不斷交互，驗(yàn)證集是定期交互，而測(cè)試集只交互一次?！居?xùn)練集】不斷交互。通過(guò)多次學(xué)習(xí)、調(diào)整和迭代來(lái)提高性能。訓(xùn)練中，模型通過(guò)一次次的迭代優(yōu)化，逐步提升自己的工藝水平?！掘?yàn)證集】定期交互。驗(yàn)證集在訓(xùn)練過(guò)程中的不同時(shí)間點(diǎn)交互，幫助開(kāi)發(fā)人員調(diào)整模型參數(shù)和決定訓(xùn)練的結(jié)束點(diǎn)?！緶y(cè)試集】交互一次。測(cè)試集在整個(gè)訓(xùn)練過(guò)程完成后僅交互一次，用于模型的最終評(píng)估，這個(gè)活動(dòng)只有在整個(gè)訓(xùn)練過(guò)程圓滿完成后才會(huì)出現(xiàn)。6.2.2數(shù)據(jù)交互頻率不同通常情況下，數(shù)據(jù)集會(huì)通過(guò)隨機(jī)抽樣、分層抽樣、時(shí)間序列抽樣等方式，按照不同比例劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，三者之間不能有交集?！居?xùn)練集】占比約60%～80%。訓(xùn)練集作為模型學(xué)習(xí)的主要來(lái)源，需要占據(jù)較大的比例，以確保模型有足夠的數(shù)據(jù)來(lái)捕捉到數(shù)據(jù)中的模式和規(guī)律?！掘?yàn)證集】占比約10%～20%。一般來(lái)說(shuō)，能提供有關(guān)模型泛化能力的有用信息就行，不用過(guò)多。【測(cè)試集】占比約10%～20%。因?yàn)闇y(cè)試集在模型訓(xùn)練完成后只評(píng)估一次，所以只要足夠用于評(píng)估模型最終性能就行。6.2.3數(shù)據(jù)劃分與比例不同訓(xùn)練集、驗(yàn)證集和測(cè)試集在模型的整個(gè)訓(xùn)練過(guò)程的不同階段發(fā)揮作用，所以開(kāi)發(fā)人員使用它們的時(shí)機(jī)是不同的?！居?xùn)練集】在模型的初始訓(xùn)練階段使用。模型剛剛搭建起來(lái)的時(shí)候，需要耐心地用訓(xùn)練集進(jìn)行大量的訓(xùn)練，直到它掌握了所有的知識(shí)為止?！掘?yàn)證集】在模型訓(xùn)練過(guò)程中定期使用。需要在過(guò)程中可以監(jiān)督學(xué)習(xí)效果?！緶y(cè)試集】在模型訓(xùn)練完成后使用。最終評(píng)估模型性能。需要保證測(cè)試集的數(shù)據(jù)是模型之前未見(jiàn)過(guò)的數(shù)據(jù)。6.2.4使用時(shí)機(jī)不同訓(xùn)練集、驗(yàn)證集和測(cè)試集通常來(lái)自同一數(shù)據(jù)源或具有相同的數(shù)據(jù)分布。這意味著它們共享相同的數(shù)據(jù)特征和屬性，確保模型在不同階段處理的數(shù)據(jù)具有一致性。6.2.5數(shù)據(jù)來(lái)源一致在模型訓(xùn)練之前，訓(xùn)練集、驗(yàn)證集和測(cè)試集都需要進(jìn)行相似的數(shù)據(jù)預(yù)處理步驟，如歸一化、標(biāo)準(zhǔn)化、缺失值處理等。歸一化是將數(shù)據(jù)縮放到一個(gè)特定的范圍，通常是在0和1之間，目的是讓數(shù)據(jù)在相同的尺度上，以便模型能夠更好地學(xué)習(xí)和識(shí)別其中的模式。通過(guò)歸一化，使每個(gè)特征對(duì)模型的貢獻(xiàn)更加均衡。6.2.6相似的數(shù)據(jù)預(yù)處理標(biāo)準(zhǔn)化則是調(diào)整數(shù)據(jù)的尺碼，將數(shù)據(jù)特征縮放到一個(gè)標(biāo)準(zhǔn)單位。這個(gè)過(guò)程有助于算法（如線性回歸）的訓(xùn)練和預(yù)測(cè)過(guò)程更加穩(wěn)定。缺失值的處理像是填補(bǔ)數(shù)據(jù)中的空白，讓整個(gè)數(shù)據(jù)集更加完整。在數(shù)據(jù)集中，可能會(huì)有一些數(shù)據(jù)點(diǎn)由于各種原因（如測(cè)量錯(cuò)誤、數(shù)據(jù)錄入錯(cuò)誤等）而丟失。處理這些缺失值的方法有多種，包括刪除含有缺失值的樣本、填充缺失值（如使用平均值、中位數(shù)或眾數(shù)填充）、或者使用模型預(yù)測(cè)缺失值等。處理缺失值的關(guān)鍵是確保不會(huì)引入偏差，同時(shí)保留盡可能多的有效信息。6.2.7相似的數(shù)據(jù)預(yù)處理訓(xùn)練、驗(yàn)證和測(cè)試三個(gè)數(shù)據(jù)集在模型開(kāi)發(fā)的不同階段使用，但它們的目標(biāo)是一致的，即都是為了構(gòu)建一個(gè)泛化能力強(qiáng)、能夠準(zhǔn)確預(yù)測(cè)新數(shù)據(jù)的模型。為了保證模型評(píng)估的公正性，三個(gè)數(shù)據(jù)集中的樣本必須保持相互獨(dú)立。這意味著，每個(gè)集合中的數(shù)據(jù)是獨(dú)一無(wú)二的，不會(huì)與其他集合的數(shù)據(jù)交叉重疊，讓模型在評(píng)估過(guò)程中的表現(xiàn)不會(huì)受到其他集合數(shù)據(jù)的影響。這種獨(dú)立性確保了評(píng)估結(jié)果的真實(shí)性和有效性。6.2.8目標(biāo)一致，各具有獨(dú)立性為了確保模型在不同階段的學(xué)習(xí)和評(píng)估過(guò)程中能夠獲得準(zhǔn)確和可靠的結(jié)果，訓(xùn)練集、驗(yàn)證集和測(cè)試集都需要能夠代表原始數(shù)據(jù)的整體特性，同時(shí)還需保證數(shù)據(jù)質(zhì)量。這意味著它們都應(yīng)該包含所有可能的數(shù)據(jù)特征和類別，以便模型能夠在不同的數(shù)據(jù)集上都能學(xué)習(xí)到有效的模式，提高其泛化能力。從訓(xùn)練集、驗(yàn)證集和測(cè)試集的