1、深圳大學(xué)研究生課程論文題目對(duì)時(shí)間序列分析方法的學(xué)習(xí)報(bào)告成績(jī)專業(yè)軟件工程（春）課程名稱、代碼數(shù)據(jù)庫(kù)與數(shù)據(jù)挖掘142201013021年級(jí) 2013 姓名 朱文靜學(xué) 號(hào) 20134313005 時(shí)間 2014 年 11 月任課教師傅向華1時(shí)間序列分析方法及其應(yīng)用綜述時(shí)間序列分析概念時(shí)間序列分析(Time series analysis)是一種動(dòng)態(tài)數(shù)據(jù)處理的統(tǒng)計(jì)方法。該 方法基于隨機(jī)過(guò)程理論和數(shù)理統(tǒng)計(jì)學(xué)方法，研究隨機(jī)數(shù)據(jù)序列所遵從的統(tǒng)計(jì)規(guī) 律，以用于解決實(shí)際問(wèn)題。時(shí)間序列是按時(shí)間順序的一組數(shù)字序列。時(shí)間序列分析就是利用這組數(shù)列， 應(yīng)用數(shù)理統(tǒng)計(jì)方法加以處理，以預(yù)測(cè)未來(lái)事物的發(fā)展。時(shí)間序列分析是定量預(yù)測(cè)

2、 方法之一，它的基本原理：一是承認(rèn)事物發(fā)展的延續(xù)性。應(yīng)用過(guò)去數(shù)據(jù)，就能推 測(cè)事物的發(fā)展趨勢(shì)。二是考慮到事物發(fā)展的隨機(jī)性。任何事物發(fā)展都可能受偶然 因素影響，為此要利用統(tǒng)計(jì)分析中加權(quán)平均法對(duì)歷史數(shù)據(jù)進(jìn)行處理。該方法簡(jiǎn)單 易行，便于掌握，但準(zhǔn)確性差，一般只適用于短期預(yù)測(cè)。時(shí)間序列預(yù)測(cè)一般反映 三種實(shí)際變化規(guī)律:趨勢(shì)變化、周期性變化、隨機(jī)性變化。時(shí)間序列分析是根據(jù)系統(tǒng)觀測(cè)得到的時(shí)間序列數(shù)據(jù)，通過(guò)曲線擬合和參數(shù)估 計(jì)來(lái)建立數(shù)學(xué)模型的理論和方法。它一般采用曲線擬合和參數(shù)估計(jì)方法(如非線 性最小二乘法)進(jìn)行。時(shí)間序列分析常用在國(guó)民經(jīng)濟(jì)宏觀控制、區(qū)域綜合發(fā)展規(guī) 劃、企業(yè)經(jīng)營(yíng)管理、市場(chǎng)潛量預(yù)測(cè)、氣象預(yù)報(bào)、水文

3、預(yù)報(bào)、地震前兆預(yù)報(bào)、農(nóng)作 物病蟲災(zāi)害預(yù)報(bào)、環(huán)境污染控制、生態(tài)平衡、天文學(xué)和海洋學(xué)等方面。時(shí)間序列分析特點(diǎn)時(shí)間序列分析預(yù)測(cè)法是根據(jù)市場(chǎng)過(guò)去的變化趨勢(shì)預(yù)測(cè)未來(lái)的發(fā)展，它的前提 是假定事物的過(guò)去會(huì)同樣延續(xù)到未來(lái)。事物的現(xiàn)實(shí)是歷史發(fā)展的結(jié)果，而事物的 未來(lái)又是現(xiàn)實(shí)的延伸，事物的過(guò)去和未來(lái)是有聯(lián)系的。市場(chǎng)預(yù)測(cè)的時(shí)間序列分析 法，正是根據(jù)客觀事物發(fā)展的這種連續(xù)規(guī)律性，運(yùn)用過(guò)去的歷史數(shù)據(jù)，通過(guò)統(tǒng)計(jì) 分析，進(jìn)一步推測(cè)市場(chǎng)未來(lái)的發(fā)展趨勢(shì)。市場(chǎng)預(yù)測(cè)中，事物的過(guò)去會(huì)同樣延續(xù)到 未來(lái)，其意思是說(shuō)，市場(chǎng)未來(lái)不會(huì)發(fā)生突然跳躍式變化，而是漸進(jìn)變化的。時(shí)間序列分析預(yù)測(cè)法的哲學(xué)依據(jù)，是唯物辯證法中的基本觀點(diǎn)，即認(rèn)為一切 事物都

4、是發(fā)展變化的，事物的發(fā)展變化在時(shí)間上具有連續(xù)性，市場(chǎng)現(xiàn)象也是這樣。 市場(chǎng)現(xiàn)象過(guò)去和現(xiàn)在的發(fā)展變化規(guī)律和發(fā)展水平，會(huì)影響到市場(chǎng)現(xiàn)象未來(lái)的發(fā)展 變化規(guī)律和規(guī)模水平；市場(chǎng)現(xiàn)象未來(lái)的變化規(guī)律和水平，是市場(chǎng)現(xiàn)象過(guò)去和現(xiàn)在 變化規(guī)律和發(fā)展水平的結(jié)果。由于事物的發(fā)展不僅有連續(xù)性的特點(diǎn)，而且又是復(fù)雜多樣的。因此，在應(yīng)用 時(shí)間序列分析法進(jìn)行市場(chǎng)預(yù)測(cè)時(shí)應(yīng)注意市場(chǎng)現(xiàn)象未來(lái)發(fā)展變化規(guī)律和發(fā)展水平， 不一定與其歷史和現(xiàn)在的發(fā)展變化規(guī)律完全一致。隨著市場(chǎng)現(xiàn)象的發(fā)展，它還會(huì) 出現(xiàn)一些新的特點(diǎn)。因此，在時(shí)間序列分析預(yù)測(cè)中，決不能機(jī)械地按市場(chǎng)現(xiàn)象過(guò) 去和現(xiàn)在的規(guī)律向外延伸。必須要研究分析市場(chǎng)現(xiàn)象變化的新特點(diǎn)，新表現(xiàn)，并 且將這

5、些新特點(diǎn)和新表現(xiàn)充分考慮在預(yù)測(cè)值內(nèi)。這樣才能對(duì)市場(chǎng)現(xiàn)象做出既延續(xù) 其歷史變化規(guī)律，又符合其現(xiàn)實(shí)表現(xiàn)的可靠的預(yù)測(cè)結(jié)果。時(shí)間序列分析預(yù)測(cè)法突出了時(shí)間因素在預(yù)測(cè)中的作用，暫不考慮外界具體因 素的影響。時(shí)間序列在時(shí)間序列分析預(yù)測(cè)法處于核心位置，沒(méi)有時(shí)間序列，就沒(méi) 有這一方法的存在。雖然，預(yù)測(cè)對(duì)象的發(fā)展變化是受很多因素影響的。但是，運(yùn) 用時(shí)間序列分析進(jìn)行量的預(yù)測(cè)，實(shí)際上將所有的影響因素歸結(jié)到時(shí)間這一因素 上，只承認(rèn)所有影響因素的綜合作用，并在未來(lái)對(duì)預(yù)測(cè)對(duì)象仍然起作用，并未去 分析探討預(yù)測(cè)對(duì)象和影響因素之間的因果關(guān)系。因此，為了求得能反映市場(chǎng)未來(lái) 發(fā)展變化的精確預(yù)測(cè)值，在運(yùn)用時(shí)間序列分析法進(jìn)行預(yù)測(cè)時(shí)，必須

6、將量的分析方 法和質(zhì)的分析方法結(jié)合起來(lái)，從質(zhì)的方面充分研究各種因素與市場(chǎng)的關(guān)系，在充 分分析研究影響市場(chǎng)變化的各種因素的基礎(chǔ)上確定預(yù)測(cè)值。時(shí)間序列預(yù)測(cè)法因突出時(shí)間序列暫不考慮外界因素影響，因而存在著預(yù)測(cè)誤 差的缺陷，當(dāng)遇到外界發(fā)生較大變化，往往會(huì)有較大偏差，時(shí)間序列預(yù)測(cè)法對(duì)于 中短期預(yù)測(cè)的效果要比長(zhǎng)期預(yù)測(cè)的效果好。因?yàn)榭陀^事物，尤其是經(jīng)濟(jì)現(xiàn)象，在 一個(gè)較長(zhǎng)時(shí)間內(nèi)發(fā)生外界因素變化的可能性加大，它們對(duì)市場(chǎng)經(jīng)濟(jì)現(xiàn)象必定要產(chǎn) 生重大影響。如果出現(xiàn)這種情況，進(jìn)行預(yù)測(cè)時(shí)，只考慮時(shí)間因素不考慮外界因素 對(duì)預(yù)測(cè)對(duì)象的影響，其預(yù)測(cè)結(jié)果就會(huì)與實(shí)際狀況嚴(yán)重不符。一個(gè)時(shí)間序列通常由4種要素組成：趨勢(shì)、季節(jié)變動(dòng)、循環(huán)波

7、動(dòng)和不規(guī)則波 動(dòng)。趨勢(shì)：是時(shí)間序列在長(zhǎng)時(shí)期內(nèi)呈現(xiàn)出來(lái)的持續(xù)向上或持續(xù)向下的變動(dòng)。季節(jié)變動(dòng)：是時(shí)間序列在一年內(nèi)重復(fù)出現(xiàn)的周期性波動(dòng)。它是諸如氣候條件、 生產(chǎn)條件、節(jié)假日或人們的風(fēng)俗習(xí)慣等各種因素影響的結(jié)果。循環(huán)波動(dòng)：是時(shí)間序列呈現(xiàn)出得非固定長(zhǎng)度的周期性變動(dòng)。循環(huán)波動(dòng)的周期 可能會(huì)持續(xù)一段時(shí)間，但與趨勢(shì)不同，它不是朝著單一方向的持續(xù)變動(dòng)，而是漲 落相同的交替波動(dòng)。不規(guī)則波動(dòng)：是時(shí)間序列中除去趨勢(shì)、季節(jié)變動(dòng)和周期波動(dòng)之后的隨機(jī)波動(dòng)。 不規(guī)則波動(dòng)通?？偸菉A雜在時(shí)間序列中，致使時(shí)間序列產(chǎn)生一種波浪形或震蕩式 的變動(dòng)。只含有隨機(jī)波動(dòng)的序列也稱為平穩(wěn)序列。時(shí)間序列分析建模時(shí)間序列模型建立在隨機(jī)序列平穩(wěn)性和白

8、噪聲激勵(lì)的假設(shè)之上，這是因?yàn)閷?shí) 際的隨機(jī)系統(tǒng)的數(shù)據(jù)大多都符合平穩(wěn)性條件（期望為常數(shù)、相關(guān)函數(shù)只與間隔有 關(guān)）。即線性平穩(wěn)模型以隨機(jī)差分方程為特點(diǎn)，意義為以白噪聲作為激勵(lì)通過(guò)線 性濾波器的輸入輸出結(jié)果。隨機(jī)差分方程可以寫成此時(shí)的數(shù)據(jù)與所有時(shí)刻的白噪聲的線性組合，也可以 寫成歷史時(shí)刻的數(shù)據(jù)與此時(shí)刻的白噪聲的線性組合，以差分算子為基礎(chǔ)可以寫成 代數(shù)方程（也可以理解為Z變換）。但是上述表示方法包含無(wú)窮多個(gè)參量，不具有實(shí)際意義，選擇有限參數(shù)作為常用 模型，包括：AR 模型、MA 模型、ARMA 模型等（Auto-regress-moving-average）。由于時(shí)間序列模型的自相關(guān)函數(shù)、功率譜密度、偏

9、相關(guān)函數(shù)、格林函數(shù)、逆 格林函數(shù)是時(shí)間序列模型的特征函數(shù)。通過(guò)對(duì)隨機(jī)差分方程計(jì)算自相關(guān)函數(shù)可以將隨機(jī)序列轉(zhuǎn)化為確定的（關(guān)于自 相關(guān)函數(shù)）差分方程，就可以采用確定的差分方程進(jìn)行求解。而模型的功率譜密 度同數(shù)字信號(hào)處理的Z變換，將差分算子B替換為e（-jw）,再取模的平方即可。偏相關(guān)函數(shù)與自相關(guān)函數(shù)是互逆的，格林函數(shù)是沖激響應(yīng)，表示歷史噪聲對(duì) 響應(yīng)的影響，或者理解為記憶深度與強(qiáng)度。對(duì)于不滿足線性平穩(wěn)的統(tǒng)計(jì)模型，可以通過(guò)平穩(wěn)化處理，再利用之前的線性平穩(wěn)模型進(jìn)行處理。通過(guò)求d階差分，將數(shù)據(jù)平穩(wěn)化，得到ARIMA、IMA、ARI模 型等。在選定某種模型如AR、MA、ARMA、ARIMA模型后，需要對(duì)模型

10、的未知參數(shù)進(jìn) 行估計(jì)，估計(jì)的方法與數(shù)理統(tǒng)計(jì)中的參數(shù)點(diǎn)估計(jì)方法類似，有相關(guān)矩估計(jì)、最小 二乘估計(jì)、最小方差估計(jì)、極大似然估計(jì)、最大熵估計(jì)等。時(shí)間序列建模包含以下幾個(gè)部分，識(shí)別模型類型、估計(jì)模型參數(shù)、模型定階 等。（1）模型識(shí)別針對(duì)平穩(wěn)的數(shù)據(jù)，可采用自相關(guān)系數(shù)和偏相關(guān)系數(shù)的形態(tài)來(lái)識(shí)別模型類別。 截?cái)?、拖尾現(xiàn)象?？赏ㄟ^(guò)統(tǒng)計(jì)判別或經(jīng)驗(yàn)來(lái)判別是否截?cái)嗪屯衔病ａ槍?duì)ARMA模 型的定階，可采用p,q任選的方式，也可以使得q=p-1限制。針對(duì)季節(jié)性數(shù)據(jù)，可采用ARIMA模型，可通過(guò)試探或?qū)嶋H背景得到階數(shù)d。針對(duì)趨勢(shì)性數(shù)據(jù)，可以通過(guò)擬合來(lái)得到，如一次、高次、指數(shù)、周期趨勢(shì)、 組合等針對(duì)含有異常的數(shù)據(jù)，通過(guò)外推可

11、識(shí)別異常值。可通過(guò)去掉異常值或修正它 再利用原來(lái)的模型，或者采用穩(wěn)健性高的模型。（2）BJ建模方法（先平穩(wěn)化再相關(guān)分析）根據(jù)樣本的自相關(guān)和偏相關(guān)函數(shù)的特性，初步判定模型的滑動(dòng)平均、自回歸 階數(shù)。第一步：根據(jù)樣本的自相關(guān)和偏相關(guān)函數(shù)的截?cái)嗷蛲衔沧R(shí)別模型第二步：去掉趨勢(shì)項(xiàng)第三步：由低階到高階遍歷進(jìn)行擬合，參數(shù)定階和估計(jì)（3）PW建模方法（先建模再處理）從系統(tǒng)特新出發(fā)，由于線性時(shí)不變系統(tǒng)可以用ARMA（N,N-1）模擬，且每次參 數(shù)增加2（有多種原因：物理背景，特征根，計(jì)算量），減少了模擬次數(shù)，在得 到模型之前，不要進(jìn)行平穩(wěn)化，而是先建模再檢驗(yàn)是否平穩(wěn)。流程：第一步：從模型ARMA（2,1）開(kāi)始，每

12、次增加2第二步：用F準(zhǔn)則，看殘差是否顯著降低（4）長(zhǎng)自回歸、白噪聲建模只采用AR模型，這樣計(jì)算簡(jiǎn)單，優(yōu)勢(shì)明顯。第一步：建立長(zhǎng)自回歸模型AR，第二步：求殘差檢驗(yàn)獨(dú)立性第三步：定階和參數(shù)估計(jì)，計(jì)算ARMA的參數(shù)2時(shí)間序列分析方法的應(yīng)用實(shí)例實(shí)例數(shù)據(jù)說(shuō)明現(xiàn)有的通信業(yè)運(yùn)營(yíng)指標(biāo)，是根據(jù)一定的計(jì)算公式，通過(guò)對(duì)計(jì)算變量進(jìn)行運(yùn)算 處理得到。比如，彩信業(yè)務(wù)的話單計(jì)費(fèi)處理完整率(MO_04_KSF_03_01_06_DAY): 這個(gè)指標(biāo)，由一天的實(shí)際輸出話單量/應(yīng)該輸出話單量 * 100%實(shí)際輸出話單量二 (每30分鐘的詳單規(guī)整出口話單量)應(yīng)輸出話單量二 (每30分鐘預(yù)處理入口話單量)- (每小時(shí)的預(yù)處理無(wú)效話單

13、量)- (每小時(shí)的重單量) - (每小時(shí)的錯(cuò)單量) - (每小時(shí)的無(wú)主單量)轉(zhuǎn)換成公式，是：MO_04_KSF_03_01_06_DAY=(sum(CC_014_06)/(sum(Medt_002_06)-sum(Medt_003 _06)-sum(Medt_006_06)-sum(CC_002_06)-sum(CC_003_06) )*100數(shù)據(jù)補(bǔ)漏，可以對(duì)sum(Medt_002_06)的結(jié)果，進(jìn)行處理。即根據(jù)實(shí)際到達(dá)的數(shù) 據(jù)，依據(jù)周期數(shù)據(jù)頻率，進(jìn)行數(shù)據(jù)補(bǔ)齊處理。實(shí)例算法說(shuō)明簡(jiǎn)單算法：3點(diǎn)加權(quán)法。對(duì)缺失的點(diǎn)，用其昨天的值x50%+前天的值X30% +上前天的值X20%來(lái)進(jìn)行估算。而昨天，前

14、天和上前天，可以順序推算，唯一要求的，是真實(shí)檢測(cè) 值，不能是估算的數(shù)據(jù)。復(fù)雜算法：時(shí)間序列分析法即對(duì)缺失的點(diǎn)，采用2天內(nèi)的0點(diǎn),到缺失點(diǎn)的前一時(shí)點(diǎn)數(shù)據(jù)為基準(zhǔn)，應(yīng)用winters 方法，進(jìn)行缺失點(diǎn)的數(shù)據(jù)估算。由于參考了近2日的時(shí)間趨勢(shì)和最近數(shù)據(jù)走勢(shì)，所以時(shí)間序列分析方法的可信度 整體上比3點(diǎn)加權(quán)法高。實(shí)例結(jié)果說(shuō)明時(shí)長(zhǎng)對(duì)比分析圖是對(duì)10月2日sum(Medt_002_06),進(jìn)行3點(diǎn)加權(quán)和時(shí)間序列分析對(duì)比。 黃色的是時(shí)間序列分析。3點(diǎn)加權(quán)，在下午3點(diǎn)到晚上8點(diǎn)間，差異稍大。3點(diǎn)加權(quán)，采用實(shí)際數(shù)據(jù)，是用昨天前的數(shù)據(jù)，順推的3點(diǎn)。時(shí)間序列方法，在采樣時(shí)，對(duì)于歷史上的缺失數(shù)據(jù)，需要同點(diǎn)剔除。比如，對(duì)30

15、MI周期數(shù)據(jù)，現(xiàn)在是缺10:30的數(shù)據(jù)，則需要10:00的數(shù)據(jù)。 如果今天、昨天和前天，無(wú)論哪天缺10:00的數(shù)據(jù)，則三天的10:00都必須從樣 本中剔除。如果昨天的18:30數(shù)據(jù)缺失，則前天的18:30數(shù)據(jù)也不能加入。此外，當(dāng)時(shí)間序列分析的樣本數(shù)據(jù)個(gè)數(shù)少于周期值時(shí)，需要順序往前推，至 少取得兩個(gè)周期的樣本數(shù)據(jù)為準(zhǔn)。對(duì)于01HR的數(shù)據(jù)，樣本周期為24,則至少需 要48個(gè)真實(shí)數(shù)據(jù)點(diǎn)。實(shí)例總結(jié)原則上，盡量采用時(shí)間序列分析的Winters方法，進(jìn)行補(bǔ)點(diǎn)處理。但是，當(dāng) 數(shù)據(jù)連續(xù)缺失的時(shí)候，可能主要以3點(diǎn)加權(quán)法進(jìn)行預(yù)測(cè)。尤其是當(dāng)發(fā)生2天以上 的連續(xù)缺失時(shí)，則近1-2天的補(bǔ)充數(shù)據(jù)都相等。所以，首先盡量的補(bǔ)

16、充數(shù)據(jù)。即當(dāng)過(guò)了 capes變量的計(jì)算時(shí)間時(shí)，也將數(shù)據(jù) 采集上來(lái)為后續(xù)預(yù)測(cè)做準(zhǔn)備。然后，再根據(jù)實(shí)際情況，進(jìn)行調(diào)整。3數(shù)據(jù)挖掘課程學(xué)習(xí)體會(huì)數(shù)據(jù)挖掘就是從大量繁雜的數(shù)據(jù)中獲取隱含中其中的信息，比如說(shuō)對(duì)顧客分 類，聚類，欺詐甄別，潛在顧客識(shí)別等，現(xiàn)在應(yīng)用領(lǐng)域很廣的，設(shè)計(jì)了，零售， 金融，銀行，醫(yī)療，政府決策，企業(yè)財(cái)務(wù)，商業(yè)決策。數(shù)據(jù)挖掘技術(shù)已經(jīng)形成很廣泛的應(yīng)用空間，而目前JDMP的版本也在完善當(dāng)中，大多數(shù)數(shù)據(jù)挖掘開(kāi)發(fā)工具涌現(xiàn)出來(lái)。各種相關(guān)的框架如Hadoop也如雨后春 筍紛紛出現(xiàn)。這些現(xiàn)象的出現(xiàn)，正是因?yàn)閿?shù)據(jù)挖掘的發(fā)展會(huì)有越來(lái)越廣泛的天空。 然而數(shù)據(jù)挖掘還是有很多需要面臨并且急需解決的問(wèn)題而我們也希

17、望其越來(lái) 越深刻的研究和改進(jìn)。 對(duì)于數(shù)據(jù)挖掘的學(xué)習(xí)，還是要注重算法的研究和開(kāi)發(fā)。 目前我還很欠缺這一塊知識(shí)。包括統(tǒng)計(jì)學(xué)、概率論，機(jī)器學(xué)習(xí)等。數(shù)據(jù)挖掘是個(gè) 繁復(fù)的過(guò)程，需要我們長(zhǎng)此以往的研究！4其他數(shù)據(jù)挖掘相關(guān)主題數(shù)據(jù)挖掘綜合了各個(gè)學(xué)科技術(shù)，有其他很多的功能：1、數(shù)據(jù)總結(jié)：繼承于數(shù)據(jù)分析中的統(tǒng)計(jì)分析。數(shù)據(jù)總結(jié)目的是對(duì)數(shù)據(jù)進(jìn) 行濃縮，給出它的緊湊描述。傳統(tǒng)統(tǒng)計(jì)方法如求和值、平均值、方差值等都是有 效方法。另外還可以用直方圖、餅狀圖等圖形方式表示這些值。廣義上講，多維 分析也可以歸入這一類。2、分類：目的是構(gòu)造一個(gè)分類函數(shù)或分類模型（也常常稱作分類器）， 該模型能把數(shù)據(jù)庫(kù)中的數(shù)據(jù)項(xiàng)映射到給定類別中的某一個(gè)。要構(gòu)造分類器，需要 有一個(gè)訓(xùn)練樣本數(shù)據(jù)集作為輸入。訓(xùn)練集由一組數(shù)據(jù)庫(kù)記錄或元組構(gòu)成，每個(gè)元 組是一個(gè)由有關(guān)字段（又稱屬性或特征）值組成的特征向量，此外，訓(xùn)練樣本還 有一個(gè)類別標(biāo)記。一個(gè)具體樣本的形式可表示為：（v1，v2，vn； c），其中 vi表示字段值，c表示類別。例如：銀行部門根據(jù)以前的數(shù)據(jù)將客戶分成了不同 的類別，現(xiàn)在就可以根據(jù)這些來(lái)區(qū)分新申請(qǐng)貸款的客戶，以采取相應(yīng)的貸款方案。3、聚類：是把整個(gè)數(shù)據(jù)庫(kù)分成不同的群組。它的目的是使群與群之間差 別很明顯，而同一個(gè)群之間的數(shù)據(jù)盡量相似。這種方法通常用于客戶細(xì)分。在開(kāi) 始細(xì)分之前不知道要把用戶分