深基坑自動化連續(xù)監(jiān)測數(shù)據(jù)預(yù)處理分析案例目錄TOC\o"1-3"\h\u6321深基坑自動化連續(xù)監(jiān)測數(shù)據(jù)預(yù)處理分析案例 1260291.1深基坑自動化連續(xù)監(jiān)測方案 160991.1.1工程概況 1317501.1.2自動化監(jiān)測目的與意義 2198811.1.3自動化監(jiān)測內(nèi)容及方法 3213651.1.4監(jiān)測頻率與周期 5127101.2基于孤立森林的監(jiān)測數(shù)據(jù)異常檢測處理 5269521.2.1孤立森林算法應(yīng)用框架研究 5104811.2.2基于孤立森林的數(shù)據(jù)異常檢測 11242491.2.3異常處理 1296751.3基于VMD的監(jiān)測數(shù)據(jù)去噪 138391.1.1滑動窗口 13202051.1.2VMD算法去噪步驟 1328391.1.3模態(tài)數(shù)K的選取 141.1深基坑自動化連續(xù)監(jiān)測方案1.1.1工程概況武漢某地鐵站為11號線與13號線換乘站，地下兩層站，兩站采用T型換乘。11號線地鐵站為地下三層雙柱13m島式站臺車站，車站外包總長239.2m，標(biāo)準(zhǔn)段總寬22.5m，雙柱三跨箱型框架結(jié)構(gòu)，結(jié)構(gòu)高度22.63m-25.08m,頂板埋深約3m-4.1m，車站兩端均為盾構(gòu)接收井。13號線為地下兩層雙柱14米島式車站，車站外包總634.105m，標(biāo)準(zhǔn)段總寬21.1m，車站有效站臺中心里程處頂板埋深約2.74m。地面交通現(xiàn)狀：均屬于城市干道，人流、車流量較大。地下管線現(xiàn)狀：該站所在地段管線較多。施工中采取管線改移和懸吊保護(hù)，施工完成后，除部分排水管進(jìn)行永久改移外，其余管線均恢復(fù)到原來位置。工程地質(zhì)：地貌形態(tài)可劃為剝蝕堆積垅崗區(qū)（Ⅲ級階地）,勘區(qū)地面高程26.0～30.7m之間。水文地質(zhì)：場區(qū)地下水類型主要有上層滯水、碎屑巖裂隙水。1.1.2自動化監(jiān)測目的與意義地鐵基坑開挖施工風(fēng)險高、施工難度大，且隨著城市建設(shè)的加強(qiáng)，地鐵施工逐漸呈現(xiàn)“大、深、緊、近”的特點。大量工程實踐與理論分析表明，地鐵施工風(fēng)險包括管理因素、技術(shù)因素以及環(huán)境因素等各種內(nèi)因外因共同作用[26]-[27]，其中地質(zhì)條件及水文環(huán)境等環(huán)境因素及施工狀態(tài)管理、施工質(zhì)量等管理因素為重要因素。在地鐵開挖施工過程中，由于各種內(nèi)因外因的相互影響，很難對施工狀況進(jìn)行合理的評估，可能的風(fēng)險難以預(yù)測并預(yù)防，這加大了工程的不確定性，也對人力造成一定程度的消耗。因此，需要進(jìn)行一定的現(xiàn)場監(jiān)測。傳統(tǒng)監(jiān)測主要依靠相關(guān)工作人員現(xiàn)場檢測，工作量大、效率低的同時，還容易由于不同的時間、天氣、環(huán)境等因素受到人為因素的影響，出現(xiàn)較大的誤差及錯誤，給后續(xù)的數(shù)據(jù)處理帶來極大不便。同時，人為檢測需要自己設(shè)置現(xiàn)場檢測參數(shù)，這會對精度造成影響，無法滿足地鐵深基坑施工的實時化、精準(zhǔn)化和高效化等需求。實現(xiàn)自動化監(jiān)測可以很好的解決這些問題。自動化監(jiān)測具有以下特點：（1）實效性。對于數(shù)據(jù)的收集，將由配置好的監(jiān)測設(shè)備及系統(tǒng)自動完成，不受天氣、施工環(huán)境等條件影響，在惡劣天氣仍能保持檢測的數(shù)據(jù)穩(wěn)定；（2）連續(xù)性。能夠?qū)崿F(xiàn)24小時不間斷監(jiān)測，確保數(shù)據(jù)的連續(xù)性；（3）準(zhǔn)確性。基本克服人為因素所導(dǎo)致的誤差；（4）可量化。以科學(xué)的數(shù)據(jù)來檢測，以量化為基礎(chǔ)，提供海量的數(shù)據(jù)；（5）便捷性。經(jīng)過檢測后的數(shù)據(jù)實時更新到監(jiān)測系統(tǒng)中，方便數(shù)據(jù)的處理與分析，可以在提供的平臺上隨時查看、后臺操作，實現(xiàn)自動化、遠(yuǎn)程化；（6）安全性。在監(jiān)測過程中基本實現(xiàn)無人值守，安全穩(wěn)定。對于傳統(tǒng)監(jiān)測中的問題，自動化技術(shù)可以很好的解決其中的不足。首先，自動化監(jiān)測基本實現(xiàn)無人值守，不需要相關(guān)工作人員多次進(jìn)出場地，大大節(jié)省了人力物力，同時也增加了安全性。第二，能夠24小時不間斷進(jìn)行實時監(jiān)測，數(shù)據(jù)具有連續(xù)性。第三，當(dāng)監(jiān)測數(shù)據(jù)出現(xiàn)異?；蜃儎?，能夠第一時間分析并以短信、郵件等方式有選擇性的推送給施工方、監(jiān)理方等相關(guān)負(fù)責(zé)人。第四，每月都能提供詳實可靠的數(shù)據(jù)分析到負(fù)責(zé)人手中，更全面、科學(xué)地對地鐵深基坑施工進(jìn)行管理。同時，負(fù)責(zé)人還可隨時查看系統(tǒng)后臺的數(shù)據(jù)，滿足相應(yīng)的操作需求。1.1.3自動化監(jiān)測內(nèi)容及方法（1）支護(hù)樁測斜1）監(jiān)測目的隨著地鐵深基坑工程開挖，支護(hù)樁將承受外圍土層的側(cè)向壓力，作為直接的受力單元，支護(hù)樁將在側(cè)向壓力下不可避免的產(chǎn)生形變。由于基坑工程的安全與支護(hù)樁的受力及形變密切相關(guān)，且傳統(tǒng)的計算方法難以對其進(jìn)行精確的定量描述，因此要通過監(jiān)測、整理、分析不同深度的支護(hù)樁形變，判斷是否存在薄弱區(qū)段，更有效的指導(dǎo)施工。2）監(jiān)測位置監(jiān)測初期，在基坑?xùn)|北處，選擇一根易發(fā)生形變的支護(hù)樁布設(shè)一個測斜監(jiān)測孔，鉆孔深度30米，在基坑上部和底部間隔2米、中部間隔1米共安裝20個串聯(lián)式導(dǎo)輪固定測斜儀。3）數(shù)據(jù)分析處理將測斜管分成n個測段，每測段長度為Li，在某一深度上測得兩對導(dǎo)輪之間的傾角，通過計算可以得到這一區(qū)段位移?i=Lisin（2）支撐軸力監(jiān)測1）監(jiān)測目的深基坑外圍土壓力與支護(hù)結(jié)構(gòu)和鋼支撐體系基本平衡維持整個深基坑的穩(wěn)定性，當(dāng)實際監(jiān)測得到的鋼支撐軸力與設(shè)計基坑時計算的軸力不同時，就可能導(dǎo)致深基坑結(jié)構(gòu)的失穩(wěn)。為了能夠監(jiān)測深基坑施工時鋼支撐軸力的大小狀態(tài)，在施工現(xiàn)場設(shè)置了監(jiān)測點并安置了監(jiān)測裝置。2）監(jiān)測位置鋼支撐采用軸力計進(jìn)行軸力監(jiān)測，軸力計布置在支撐端部。根據(jù)前期監(jiān)測要求，共布設(shè)4個軸力監(jiān)測點，分別位于第四層和第五層鋼支撐，每層2個測點。軸力計技術(shù)指標(biāo)如表3-1所示。表3-1軸力計技術(shù)指標(biāo)產(chǎn)品型號MAS-AXF-10MAS-AXF-20MAS-AXF-30MAS-AXF-40量程（kN）1000200030004000分辨力（F.S）0.10%0.10%0.10%0.10%工作溫度（℃）-20～60-20～60-20～60-20～60測溫精度（℃）±0.5±0.5±0.5±0.53）數(shù)據(jù)分析與處理監(jiān)測鋼支撐軸力所用的軸力計計算公式如下：其中，為監(jiān)測支撐軸力；為軸力計標(biāo)定常數(shù)；為軸力計監(jiān)測自振頻率；為軸力計初始自振頻率。（3）建筑物沉降監(jiān)測1）監(jiān)測目的地鐵深基坑在開挖過程中，由于水位的下降等各種因素的影響，會導(dǎo)致周邊建筑物地基發(fā)生不同程度的變化，從而造成建筑物的沉降，當(dāng)沉降量過大時，會對建筑物自身的安全造成影響，因此，在基坑影響范圍內(nèi)，對建筑物沉降進(jìn)行實時監(jiān)測很有必要。2）監(jiān)測位置3）數(shù)據(jù)分析與處理選取1個靜力水準(zhǔn)儀為基準(zhǔn)點，相對于基準(zhǔn)點的沉降計算方式如下：①靜力水準(zhǔn)儀基準(zhǔn)點液位變化量△h1可按下列公式計算：△h1=基準(zhǔn)點初始液位高－基準(zhǔn)點當(dāng)前液位高②靜力水準(zhǔn)儀各觀測點液位變化量△hi(0.01mm)可按下列公式計算：△hi=觀測點初始液位高-觀測點當(dāng)前液位高③各觀測點沉降或抬高的變化量（沉降量）△Hi(0.01mm)可按下列公式計算：△Hi=△hi－△h1注： 1.觀測點計算值△Hi為負(fù)值時表示觀測點下降；2.觀測點計算值△Hi為正值時表示觀測點抬高。此沉降量算法為相對沉降量算法，如果△Hi為負(fù)值，代表被測量點發(fā)生下降，如果△Hi為正值，代表被測量點發(fā)生抬高。通過基點將各測點受環(huán)境影響的因素進(jìn)行剔除，從而反映真實的風(fēng)險源建筑沉降變化。1.1.4監(jiān)測頻率與周期武漢某地鐵站的深基坑施工監(jiān)測，于2020年1月23號開始，至2020年10月9號結(jié)束。在監(jiān)測時間內(nèi)，對以上檢測項可實現(xiàn)24小時在線監(jiān)測，并設(shè)定設(shè)備每30分鐘采集一次數(shù)據(jù)。1.2基于孤立森林的監(jiān)測數(shù)據(jù)異常檢測處理使用孤立森林檢測數(shù)據(jù)異常時，需要尋找一個合適的評價指標(biāo)，能夠找出正確的異常，盡可能地避免誤檢測出異常以及漏檢測異常的情況。孤立森林是機(jī)器學(xué)習(xí)的一種，本質(zhì)上需要一定量可靠的訓(xùn)練集，同時由于深基坑監(jiān)測數(shù)據(jù)中沉降等數(shù)據(jù)會隨時間的變化而發(fā)生變化，使得異常檢測效果并非隨著訓(xùn)練集的增大而增大。另外，監(jiān)測設(shè)備對于同一種指標(biāo)往往會設(shè)置多臺設(shè)備，如武漢某地鐵深基坑監(jiān)測鋼支撐軸力的設(shè)備有四臺，則得到的數(shù)據(jù)進(jìn)行一個個處理，還是將同一個時間點所測得的數(shù)據(jù)同時處理會有相應(yīng)的不同。因此，本小節(jié)的工作主要為確定一個使用于深基坑實時監(jiān)測的訓(xùn)練集大小以及數(shù)據(jù)維度。同時，本小節(jié)將建立一個深基坑自動監(jiān)測數(shù)據(jù)異常檢測的流程體系。1.2.1孤立森林算法應(yīng)用框架研究1、EIFEIF（ExtendedIsolationForest）方法由[28]Hariri等人于2019年提出，將孤立森林中隨機(jī)選擇屬性分區(qū)所引入的偏差進(jìn)行削弱消除，降低了異常分?jǐn)?shù)熱圖中的偽影，對異常檢測的效果得到提升。圖3-1EIF與標(biāo)準(zhǔn)孤立森林算法對比圖3-1展示的是分別用EIF與標(biāo)準(zhǔn)孤立森林算法對某地鐵的鋼支撐軸力監(jiān)測數(shù)據(jù)的二維異常點檢測，上中下三行分別是當(dāng)異常指數(shù)大于0.7、0.65、0.75時認(rèn)定該點為異常點，左右兩列分別是標(biāo)準(zhǔn)孤立森林算法與EIF算法。對比兩種算法，顯然EIF算法能夠更好地識別異常點，本文中所建立的孤立森林應(yīng)用框架選擇使用EIF方法進(jìn)行監(jiān)測數(shù)據(jù)的識別。除此以外，上圖中異常指數(shù)為0.75時仍無法識別到全部的異常點，原因在于本圖中訓(xùn)練集包括較多一部分的異常值，對于訓(xùn)練集的數(shù)據(jù)選取不能直接取一個時間點的滑動窗口，而是進(jìn)行一定的異常排除，以提高訓(xùn)練集的質(zhì)量，相關(guān)部分放在下文敘述。2、數(shù)據(jù)維度監(jiān)測現(xiàn)場往往有多個儀器設(shè)在不同空間位置監(jiān)測同一指標(biāo)，不同位置的監(jiān)測數(shù)據(jù)在同一時間受外部環(huán)境影響各有不同，各個數(shù)據(jù)之間的聯(lián)系尚不明確，難以直接判斷分別視為一維數(shù)據(jù)進(jìn)行異常檢測與作為同一指標(biāo)的不同維度進(jìn)行異常檢測的優(yōu)劣。下面將分別對沉降與鋼支撐軸力做不同數(shù)據(jù)維度的異常檢測，對比分析結(jié)果中的異常指標(biāo)。（1）沉降數(shù)據(jù)沉降監(jiān)測有四個儀器，其中一個作為基點，其余三臺機(jī)器CJ1、CJ2、CJ3進(jìn)行沉降測量，數(shù)據(jù)規(guī)律如下圖3-2。圖3-2某地鐵沉降監(jiān)測數(shù)據(jù)上圖可見，沉降數(shù)據(jù)并無明顯異常。在此數(shù)據(jù)基礎(chǔ)上，分別做不同維度的數(shù)據(jù)異常檢測。一維數(shù)據(jù)用CJ1所測時間序列數(shù)據(jù)點（后用CJ1、CJ2代表這類數(shù)據(jù)點）進(jìn)行異常檢測，由于孤立森林算法的隨機(jī)選擇屬性要求，至少要兩個維度，本文用全為0的基點監(jiān)測數(shù)據(jù)作為輔助維度，即用（基點，CJ1）數(shù)據(jù)點進(jìn)行異常檢測；二維數(shù)據(jù)使用（CJ1，CJ2）數(shù)據(jù)點進(jìn)行異常檢測；三維數(shù)據(jù)使用（CJ1，CJ2，CJ3）數(shù)據(jù)點進(jìn)行異常檢測。在異常檢測中，每個點都會計算出異常指標(biāo)，在不同的訓(xùn)練集大小下，本文取每個訓(xùn)練集的異常指標(biāo)最大值，方便判斷對異常的敏感程度。圖3-3為異常檢測結(jié)果。圖3-3沉降數(shù)據(jù)維度對比由上圖所示，由于一維數(shù)據(jù)（基點，CJ1）是二維面上的一條線，點與點之間更容易被孤立，其最大異常指標(biāo)均遠(yuǎn)遠(yuǎn)高于高維數(shù)據(jù)。（2）鋼支撐軸力數(shù)據(jù)鋼支撐軸力監(jiān)測儀器有四臺，分別為ZCL-02-21、ZCL-02-22、ZCL-04-C6、ZCL-04-C7，下圖為包含ZCL-04-C6所監(jiān)測到一段異常值的鋼支撐軸力的監(jiān)測數(shù)據(jù)。圖3-4鋼支撐軸力監(jiān)測數(shù)據(jù)ZCL-04-C6有明顯異常，參照（1）中的操作，將ZCL-04-C6所測的數(shù)據(jù)作為主要維度的數(shù)據(jù)，進(jìn)行不同維度的異常檢測，結(jié)果如下。圖3-5鋼支撐軸力維度對比由圖3-4、3-5可見，對于孤立森林的檢測數(shù)據(jù)里，維度越高對于異常的檢測越不敏感，使用高維數(shù)據(jù)，可以從通過異常指標(biāo)的大小判斷單維異常與多維異常之間的區(qū)別，越多維度的數(shù)據(jù)點發(fā)生異常，點也更容易離群，異常指標(biāo)越高，更容易判斷其異常的原因。3、訓(xùn)練集（1）訓(xùn)練集質(zhì)量由圖3-1中所顯示未檢測全部異常點的問題，主要原因在于訓(xùn)練集的異常點過多，超出了“異常”的概念。對每次檢測到的異常進(jìn)行刪去處理，不加入訓(xùn)練集，得到結(jié)果如下圖。圖3-6有無異常點訓(xùn)練集對比在上圖的實驗中，設(shè)計兩套訓(xùn)練集，兩個訓(xùn)練集大小都設(shè)為800，一個訓(xùn)練集基于時間序列，將最近監(jiān)測到的800個點（若不足則使用現(xiàn)有點）直接作為訓(xùn)練集（下稱standard訓(xùn)練集）；另一個訓(xùn)練集則將處理過的點根據(jù)異常指數(shù)做一個閾值處理，超過0.7的點將不加入訓(xùn)練集（下稱without_anomaly訓(xùn)練集）。顯然，排除異常點的訓(xùn)練集取得的效果更好，能夠更好地識別異常點。且分析數(shù)據(jù)時，可知standard訓(xùn)練集相比于without_anomaly訓(xùn)練未發(fā)現(xiàn)的異常點主要是由于未將異常點排除，導(dǎo)致之后的點不再那么“孤立”，降低了檢測效果。因此，在孤立森林的檢測異常過程中，應(yīng)該保持訓(xùn)練集的“質(zhì)量”，即將檢測到的異常排除在訓(xùn)練集之外。（2）訓(xùn)練集大小孤立森林是基于機(jī)器學(xué)習(xí)的一個算法，訓(xùn)練集的大小一部分決定了學(xué)習(xí)的擬合程度，且由于不同工程階段數(shù)據(jù)特征會發(fā)生變化，因此學(xué)習(xí)效果不與訓(xùn)練集的大小成正比，需要找出適合用于深基坑數(shù)據(jù)特征的訓(xùn)練集大小。本文將訓(xùn)練集大小從300到1600之間以100的梯度進(jìn)行訓(xùn)練，得到檢測異常效果如下圖。圖3-7不同訓(xùn)練集大小對比由上圖可得到深基坑監(jiān)測數(shù)據(jù)異常檢測效果與訓(xùn)練集大小之間的關(guān)系。剛開始隨著訓(xùn)練集的增大（每增加100個點，即多訓(xùn)練50個小時的監(jiān)測數(shù)據(jù)），算法會更好的找到異常，直到訓(xùn)練集大小為600時，幾乎找到了所有的異常。當(dāng)訓(xùn)練集再增加時，檢測效果反而會下降，并隨著訓(xùn)練集的不斷增大而穩(wěn)定下來，無明顯差異。因此，深基坑監(jiān)測數(shù)據(jù)基于孤立森林的異常檢測應(yīng)選用600作為訓(xùn)練集的大小，可獲得好的檢測效果。1.2.2基于孤立森林的數(shù)據(jù)異常檢測圖3-8一次異常檢測的流程1.2.3異常處理異常點也被稱為離群點，已經(jīng)失去正常的數(shù)據(jù)特征，對于之后的數(shù)據(jù)處理分析無參考價值，一經(jīng)檢測就應(yīng)進(jìn)行處理。對于監(jiān)測到的異常通常有兩種處理方式：一是通過對之前測到的數(shù)據(jù)以某種方法進(jìn)行預(yù)測修補(bǔ)，但是由于深基坑監(jiān)測的頻率夠大，一次的缺失并不能對數(shù)據(jù)的完整性帶來很大影響，同時預(yù)測的信息帶有一定干擾性，增大處理難度卻沒有增加信息價值；二是直接剔除掉異常數(shù)據(jù)，不將異常數(shù)據(jù)用來之后的異常檢測訓(xùn)練集和數(shù)據(jù)去噪的滑動窗口等數(shù)據(jù)在線預(yù)處理，只作為數(shù)據(jù)可視化的一部分，以異常點表現(xiàn)。1.3基于VMD的監(jiān)測數(shù)據(jù)去噪1.1.1滑動窗口對自動化監(jiān)測數(shù)據(jù)線上預(yù)處理時，由于監(jiān)測數(shù)據(jù)量會越來越大，增加平臺服務(wù)器線上處理的負(fù)擔(dān)，而且噪聲隨著施工階段的變化而不同，所以需要對處理數(shù)據(jù)設(shè)置一定的滑動窗口，定期更新滑動窗口中的數(shù)據(jù)，為之后的監(jiān)測數(shù)據(jù)在線預(yù)處理提供基礎(chǔ)?；瑒哟翱谑菍Υ翱诘淖笥視r間界限t0和t1可以進(jìn)行調(diào)節(jié)的，與界標(biāo)式窗口t0固定所不同，滑動窗口從根本上適應(yīng)了無限增加的數(shù)據(jù)以及隨時間變化的數(shù)據(jù)信息?；瑒哟翱诜譃榛跁r間間隔的滑動窗口和基于數(shù)據(jù)數(shù)量的滑動窗口?；跁r間間隔的滑動窗口是在過去的固定的時間間隔t=t1-t0的監(jiān)測數(shù)據(jù)，而基于數(shù)據(jù)數(shù)量的滑動窗口則是在之前監(jiān)測到的最近的n個數(shù)據(jù)。由于自動化監(jiān)測數(shù)據(jù)是按照固定時間獲得的，因此本文選用基于時間間隔的滑動窗口。1.1.2VMD算法去噪步驟為了提高監(jiān)測數(shù)據(jù)的精度，使用VMD算法及動態(tài)閾值處理對監(jiān)測數(shù)據(jù)進(jìn)行去噪。該方法首先要建立一個滑動窗口，然后用VMD算法將滑動窗口中的數(shù)據(jù)進(jìn)行分解，再使用動態(tài)閾值處理高頻率IFM，最后合成去噪后的數(shù)據(jù)。具體步驟如下：（1）建立滑動窗口。（2）設(shè)定初始最佳K值。（3）將滑動窗口中的數(shù)據(jù)用VMD方法分解得到K個IMF分量，選取有效IMF分量，再合成去噪后的數(shù)據(jù)。（4）對去噪前后的數(shù)據(jù)計算其均方根誤差RMSE與信噪比SNR，根據(jù)這兩個指標(biāo)來動態(tài)的調(diào)整K值，然后重復(fù)（3）、（4）。圖3-9VMD算法去噪流程1.1.3模態(tài)數(shù)K的選取模態(tài)數(shù)K的值對于分解數(shù)據(jù)的效果有重要影響[29]，當(dāng)K值過小，會出現(xiàn)模態(tài)分解不充分，原始信號序列中的多個分IMF量可能發(fā)生重疊，出現(xiàn)模態(tài)混疊的情況；當(dāng)K值過大，模態(tài)中的某個IMF分量則會被分解為多個，產(chǎn)生過分解現(xiàn)象。因此，選取合適的模態(tài)數(shù)K能夠最有效的分解出噪聲。（1）選取指標(biāo)為確定武漢某地鐵站中深基坑監(jiān)測數(shù)據(jù)進(jìn)行VMD分解得到的有效IMF分量以及分解模態(tài)個數(shù)K值的大小，本文選取一段沉降數(shù)據(jù)進(jìn)行不同K值下的分解，不同數(shù)量的IMF分量會導(dǎo)致不同的數(shù)量的有效IMF分量，為此有學(xué)者提出了利用基于信息論中基本概念的相關(guān)系數(shù)法[30]來區(qū)分有效IMF分量。相關(guān)系數(shù)是統(tǒng)計學(xué)中表示變量之間線性程度關(guān)系的統(tǒng)計指標(biāo)，一般用ρ進(jìn)行表示。對于分解后的IMF分量與分解前的原信號數(shù)據(jù)，其相關(guān)系數(shù)計算方法如下：ρ=其中，fIMF為分解后的IMF分量，f0此外，對于最佳K值，本