基于神經網絡的金融時間序列算法設計綜述問題描述神經網絡發(fā)展到現在已經算是比較成熟的了，開始像葡萄一樣開始分支、纏繞螺旋旋轉式的上升，不同領域的神經網絡算法也去到別的領域發(fā)展，為了探索神經網絡對金融時間線序列的作用，這里選用最經典的循環(huán)神經網絡和現在最流行的神經網絡進行比較。LSTM框架背景介紹所有的循環(huán)神經網絡都有鏈式重復模塊，在傳統(tǒng)的RNN（循環(huán)神經網絡）中，具有非常簡單的鏈式重復模塊結構，例如整個RNN中只有一個tanh層，就讓數據通過tanh層后直接優(yōu)化輸出了，如圖3.1所示。圖STYLEREF1\s3.SEQ圖\*ARABIC\s11RNN神經單元的內部結構對RNN改進后的LSTMLSTM（長短期記憶神經網絡）是一種在傳統(tǒng)RNN的基礎上優(yōu)化得出的改進模型。LSTM也具有像RNN這種類似的鏈式結構，但循環(huán)模塊結構與RNN不同。不同于RNN是一個單獨的神經網絡層，LSTM是四個神經網絡層，并且以非常不尋常的方式進行交互，如圖3.2所示，通過it、ft、gt神經單元的狀態(tài)有點像生活中的開關導線，它貫穿整個數據傳導過程，只有一些次要的線性交互作用。數據信息可以不用改變自身狀態(tài)就直接通過。LSTM主要是通過對神經網絡中的神經單元進行創(chuàng)新，來解決傳統(tǒng)RNN無法解決的長期依賴的問題，LSTM可以通過所謂“開關”的精細結構向神經單元狀態(tài)添加或移除，讓神經單元每次使用時，忘掉一點輸入的信息或記住一些輸入的信息。讓數據信息通過“開關”去做訓練，像人類的記憶細胞一樣，通過不斷刺激－平靜－刺激－平靜來傳遞信息，以便于可以強化神經網絡。圖STYLEREF1\s3.SEQ圖\*ARABIC\s12LSTM神經單元的內部結構LSTM的主要階段一個LSTM有三種這樣的“開關”用來保持和控制神經單元的狀態(tài)。忘記階段。這個部分主要是選擇性地選擇忘記一些從前一個節(jié)點傳遞過來的輸入信息，會忘記不重要的，記住重要的。ft（f表示forget）來作為忘記開關，來控制上一個狀態(tài)的ct?１ft=σWifct=選記階段。這個部分會選擇性地選擇一些輸入信息來記住。這主要是為了選擇和記住輸入xt。重要的被全部記錄下來，不太重要的會少數被記錄。當前的輸入內容由前面計算得到的gt表示。而選擇的門控信號則是由iit=σWiigt=tan?輸出階段。這個階段會確定哪個輸出會被視為當前狀態(tài)。主要是通過ot來進行控制的。并且還對上一階段得到數據，讓其通過一個tanh激活函數進行變化，從而進行數據的放縮，ot=σ?t=LSTM有效的解決了對長期數據的問題，所以可以用于金融時間序列，但也因為引入了很多內容，導致參數變多，也使得訓練難度加大了很多。Transformer框架背景介紹Google在2017時候通過論文《Attentionisallyouneed》提出來Transformer架構，這個框架通過創(chuàng)新注意力機制的方案[12]，給全球帶來了許多新的驚喜。Transformer架構主要可以分為兩個概念：廣義Transformer和狹義Transformer，狹義Transformer是指擁有《Attentionisallyouneed》里提出來的那個結構，包括編碼器（Encoder）和解碼器（Decoder）；廣義Transformer可以指使用了自注意力機制（self-attention）的各種應用。最開始Transformer只是用于NLP（自然語言處理）領域，但隨著后面的發(fā)展，他在別的領域也發(fā)揮著強大的作用。Transformer主要結構Transformer架構主要有兩部分組成：Encoder（編碼器）和Decoder（解碼器）組成的，可以最抽象看出圖3.3所示的效果。但在一般情況下，都會同時存在多個編碼器和解碼器，因為Transformer是一個基于Encoder-Decoder而設計的神經網絡模型，如圖3.4所示。圖STYLEREF1\s3.SEQ圖\*ARABIC\s13Encoder和Decoder的關系圖STYLEREF1\s3.SEQ圖\*ARABIC\s14Encoder和Decoder的內部Transformer架構的整體的結構，如圖3.5所示。拆開來看，可以把主體分為四個部分，其中除了input（輸入）和output（輸出）這兩部分外，最重要的就是以圖3.5的中線為中心分開出來，左右兩邊的Encoder和Decoder部分。下文就具體的介紹Encoder和Decoder的組成。圖STYLEREF1\s3.SEQ圖\*ARABIC\s15Transformer整體結構Encoder是由多個結構都為兩層的對立結構組成的?？梢院唵卫斫鉃橐粋€自注意力機制加上一個前饋神經網絡的組成，如圖3.6所示，輸入的數據先進入Multi-headattention（多頭注意力結構）后，在再經過FeedForward，使得每個子層之間有殘差連接，再將得到的結果向前傳播。圖STYLEREF1\s3.SEQ圖\*ARABIC\s16Encoder的組成Decoder的組成和過程其實和Encoder也是差不多，Encoder和Decoder的主要區(qū)別就是Decoder多了一個MaskedMulti-headattention。它使用這三種結構對從Encoder獲得的信息進行MaskedMulti-headattention，不同于之前的做法是Decoder在多頭注意力中添加了一個Masked，使得數據先保存和學習了序列的順序信息。再最后要經過Linear和Softmax輸出概率。Self-AttentionSelf-Attention是Transformer最核心的內容。Self-attention主要是來處理全局信息的。Self-Attention的結構，如圖3.7所示，在運算的時候需要同時用到矩陣Q（查詢），K（鍵值），V（值）三個值。在實際的股票預測中，Self-Attention是接收前一個Encoder部分的輸入或輸出。而Q、K、V是通過對Self-attention輸入的進行線性變換而得到的。圖STYLEREF1\s3.SEQ圖\*ARABIC\s17Self-Attention結構這種機制本質上是一個尋址過程。通過給出與任務相關的查詢Q，通過計算K的注意力分布并將其與V相加來計算V。這個過程實際上是降低神經網絡復雜度的一種表現過程。期間不需要將所有N個輸入維度都輸入到神經網絡中進行計算，而是選擇一些與任務相關的信息輸入到神經網絡中。這樣導致可以更好的學習到金融時間數據內部之間的聯(lián)系和相關的信息。Multi-HeadAttentionMulti-HeadAttention相當于多個不同的Self-Attention的集合形成的。對于人們關注一個物體來說，人們會有更加關注的關注物的重點，這些重點往往包含更多更有用的信息，而其他的一些信息則相對來說沒有那么重要。假如我們關注買的是什么東西、它好不好吃，那么我們的重點就會關注于“是什么”和“什么作用”。通過多個不同的Self-Attention輸入多個關注點，得到每個上下關聯(lián)的向量。這些向量也包含了更多重要的信息。換句話說，Multi-HeadAttention機制做的事情就是通過增加重要信息的權重，同時減少不重要的信息的權重。圖STYLEREF1\s3.SEQ圖\*ARABIC\s18Multi-HeadAttentionPositionEmbeddings在Transformer的Encoder和Decoder的輸入層中，使用了PositionalEncoding，使得最終的輸入滿足：imput＝Imput＿Embedding＋Positional＿Encoding。因為Transformer處理數據中的信息能力不強，且數據信息不必是有序信息。所以為了使模型能夠處理時間序列信息，需要在數據中添加位置信息以便使數據有序化。Transformer與LSTM的對比位置編碼方式LSTM以順序輸入的方式考慮位置信息，Transformer采用函數式絕對位置編碼的方式。LSTM一般只能通過順序的方式來處理信息，必須逐行處理來處理，這也是為什么LSTM經常用于序列問題。而Transformer既可以用于非順序和順序來處理信息，也導致Transformer可以用在不同的領域當中。并行能力Transformer的并行能力遠遠優(yōu)于LSTM，主要是因為LSTM基本沒有并行能力，所以Transformer是一個更適合訓練多層疊加的模型，LSTM同樣也可以多層疊加，但是多層的LSTM復雜度計算機難以承受，需要十分強大的浮點運算能力。時間復雜度LSTM為O（n*d2），Transformer復雜度為O（n2*d）。對于Transformer，輸入x=[n,d]，q=xWq。這里，由于Wq=[d,n]，計算的復雜度為O（n*n*d），而當q=[n,n]且score=q*v時，復雜度為O（n3），它小于q的計算量。對于LSTM，