BootStrap研究生《醫(yī)學(xué)統(tǒng)計學(xué)2》課程主要內(nèi)容Bootstrap簡介參數(shù)和非參數(shù)Bootstrap不同資料的Bootstrap處理Bootstrap應(yīng)用實例統(tǒng)計學(xué)的基本過程我們需要知道的是某些變量的平均和誤差執(zhí)行某些測量若干次誤差隨著測量次數(shù)的增加而減少中心極限定理

有時候……R2的分布？獨立性假設(shè)被違背時，回歸系數(shù)的分布？某些先進方法中的指標分布？隨機森林分析中的重要性得分？預(yù)測模型的AUC?Bootstrapaloopedstrapsewedatthesideorthereartopofaboottohelpinpullingitonunaidedefforts—oftenusedinthephrasebyone'sownbootstraps

designedtofunctionindependentlyofoutsidedirection:capableofusingoneinternalfunctionorprocesstocontrolanother<abootstrapoperationtoloadacomputer>carriedoutwithminimumresourcesoradvantages<bootstrapefforts>topromoteordevelopbyinitiativeandeffortwithlittleornoassistance“Pullingoneselfupbyone’sbootstraps”

“Ifoundmyselfstunned,andinaholeninefathomsunderthegrass,whenIrecovered,hardlyknowinghowtogetoutagain.Lookingdown,IobservedthatIhadonapairofbootswithexceptionallysturdystraps.Graspingthemfirmly,Ipulledwithallmymight.SoonIhadhoistmyselftothetopandsteppedoutonterrafirmawithoutfurtherado."--CampaignsandAdventuresofBaronMunchausen,1786.吹牛大王歷險記Bootstrap一種估計抽樣誤差和計算可信區(qū)間的方法。1979EfronBradleyEfronB(1979).Bootstrapmethods:Anotherlookatthejackknife.Ann.Statist.71–2620世紀70年代以來統(tǒng)計學(xué)上“唯一的偉大進展”。KotzandJohnson,1992EfronBradleyBradleyEfron博士現(xiàn)任斯坦福大學(xué)統(tǒng)計系MaxH.Stern講席教授。Efron教授是公認的當今世界最有影響力的統(tǒng)計學(xué)領(lǐng)域的權(quán)威。他的主要貢獻包括Bootstrap再抽樣方法。經(jīng)驗貝葉斯方法，微分幾何在統(tǒng)計推斷中的應(yīng)用，生存分析方法，生物芯片數(shù)據(jù)分析方法等。Efron教授是麥可阿瑟獎獲得者，美國國家科學(xué)院院士，美國科學(xué)與藝術(shù)學(xué)院院士。他還獲得過統(tǒng)計學(xué)領(lǐng)域幾乎所有的著名獎項，包括著名的Wilks獎?wù)?，Parzen獎,Rao獎。2005年，Efron教授獲得了美國國家科學(xué)獎?wù)拢绹匀豢茖W(xué)最高獎）以表彰他在統(tǒng)計學(xué)領(lǐng)域所作出的杰出貢獻。這一獎?wù)略?007年7月27日在白宮舉行的一個特別儀式上由時任美國總統(tǒng)喬治W.布什親自頒發(fā)。Bootstrap的前身：Jack-knife(刀切法)一種特殊的Bootstrap每個Jackknife樣本包括原樣本-1個個體Bootstrap的基本流程從一個給定的數(shù)據(jù)中有放回地重復(fù)抽樣若干次數(shù)，得到若干個樣本；對于某個樣本，計算相應(yīng)的統(tǒng)計量；得到這個統(tǒng)計量的分布是其真實分布的估計；Bootstrap:resamplingwithreplacementD、E、A、C、E、B、A、D、A、……Bootstrap對資料的基本要求樣本必須是總體的代表；照著蘋果永遠畫不出一個桔子出來！一個最簡單的小例子假設(shè)總體是均數(shù)為5，標準差為3的正態(tài)分布；現(xiàn)有樣本包含100個個體；如何求中位數(shù)的方差及其95%CI？理論上手頭樣本>data[1]3410551061349[12]6653106-17424[23]23308529648[34]877754434112[45]92447565594[56]100756634226[67]658114-283384[78]16556474686[89]4887639312104[100]2從中有放回地抽取100個個體，重復(fù)20次>resamples[1][1]312653472-1-17045547347212881044011[30]731410844710546-124841212802689663[59]48645357871066316131041285421046[88]21059914864945r.median<-sapply(resamples,median)5.05.05.05.05.05.05.05.05.04.04.55.05.04.05.05.05.05.05.05.0sqrt(var(r.median))0.5250313mean(r.median)4.875求95%CI利用近似正態(tài)分布的原理利用百分位數(shù)區(qū)間(4,5)什么時候可以用Bootstrap法？當統(tǒng)計量的理論分布過于復(fù)雜或者難于獲得時；樣本含量偏小，不足以進行統(tǒng)計推斷；當需要進行效能計算時，且手頭有個小預(yù)實驗時；需要一個快速的答案。Bootstrap的分類參數(shù)Bootstrap假設(shè)樣本來自的總體分布已知；利用手頭樣本估計總體參數(shù)；按照估計出的總體分布產(chǎn)生樣本；根據(jù)樣本計算統(tǒng)計量的分布非參數(shù)Bootstrap將手頭樣本當成總體，從中抽樣；參數(shù)和非參數(shù)Bootstrap出生體重和70-100體重間的關(guān)系非參數(shù)Bootstrap從所有的個體中有放回地抽取n個，eg.4,5,2,4,9,10,3,3,6,2,1,6,9,8計算感興趣的統(tǒng)計量重復(fù)B次，得到統(tǒng)計量的分布參數(shù)Bootstrap先擬合回歸方程，估計殘差方差，σ2=14.1從N(0,σ2)中隨機抽取n個殘差根據(jù)第一步中回歸方程估計，計算Y的Bootstrap樣本根據(jù)Yb和X計算斜率重復(fù)得到斜率的Bootstrap分布。半?yún)?shù)Bootstrap先擬合回歸方程，估計殘差對殘差進行Bootstrap抽樣根據(jù)第一步中回歸方程估計，計算Y的Bootstrap樣本根據(jù)Yb和X計算斜率重復(fù)得到斜率的Bootstrap分布。僅當殘差為獨立同分布時適用。如何用Bootstrap進行估計令Yi,i=1,…,n為樣本T(Y)為Y的函數(shù){Y`b,1,…,Y`b,n}為第b個Bootstrap樣本，b=1,..,B則Var(T)的Bootstrap估計值為T的95%CI可以根據(jù)Boostrap分布的百分位數(shù)得到。Bootstrap的可信區(qū)間估計非學(xué)生化樞軸法(non-studentizedpivotalmethod)Bootstrap-t法百分位數(shù)法偏倚校正法Bootstrapconfidenceintervals:when,which,what?Apracticalguideformedicalstatisticians.JCarpenterandJ.Bithell.StatisticsinMedicine,2000;19:1141-64.Bootstrap的可信區(qū)間估計Bootstrapt法優(yōu)點：簡單，一般較可靠缺點：計算較為復(fù)雜，耗時百分位數(shù)法優(yōu)點：簡單缺點：當分布不近似對稱時，覆蓋率可能較低偏移校正法校正因子Z校正因子ArA1及rA2作為百分位數(shù)區(qū)間的下限和上限。不同資料的Bootstrap處理單樣本資料兩樣本資料回歸分析Bootstrap假設(shè)檢驗單樣本情形兩樣本情形兩組分別Bootstrap合并組成BS樣本；治療組對照組945219710416146381099511413023402746回歸與BootstrapY：應(yīng)變量X：自變量β0、β1

：回歸系數(shù)ε：殘差兩種Bootstrap方法針對數(shù)據(jù)對的Bootstrap針對殘差的Bootstrap針對殘差的Bootstrap先估計和：eg.最小二乘法求殘差；對殘差進行Bootstrap對于某一個殘差Bootstrap樣本，根據(jù)下式求Y的Bootstrap樣本。注意X與實際樣本完全相同！這是半?yún)?shù)Bootstrap兩種Bootstrap選哪一個針對殘差的Bootstrap：殘差和自變量是獨立的！自變量最好是指定的固定取值變量！針對對子的Bootstrap:X和Y都是隨機變量也取決于我們有多么信任模型是否正確！回歸的Bootstrap Dose Surv.Prop LogSurvProp1 1.175 0.44000 -0.82098062 1.175 0.55000 -0.59783703 2.350 0.16000 -1.83258154 2.350 0.13000 -2.04022085 4.700 0.04000 -3.21887586 4.700 0.01960 -3.93222577 4.700 0.06210 -2.77900938 7.050 0.00500 -5.29831749 7.050 0.00320 -5.744604510 9.400 0.00110 -6.812445111 9.400 0.00015 -8.804875312 9.400 0.00019 -8.568486513 14.100 0.00700 -4.961845114 14.100 0.00006 -9.7211660模型EstimateSEP模型1β1-0.67640.0560<0.0001模型2β1-1.04860.1589<0.0001β20.03430.01400.0303去除離群值EstimateSEP模型1β1-0.77670.0299<0.0001模型2β1-0.86130.0945<0.0001β20.00860.00910.3650最小中位二乘回歸(LeastMedianSquareRegreession，LMS)LMS的估計結(jié)果：Doseβ1=-0.7515BootstrapSEofββ1:0.2308LMS的估計結(jié)果：Dose2β2=-0.0256BootstrapSEofβ2:0.0335復(fù)雜抽樣復(fù)雜抽樣時，方差的估計往往較為困難；Bootsrap法的一個吸引人之處便是其可用于復(fù)雜抽樣時統(tǒng)計量方差的估計；分層抽樣；整群抽樣；多少次Bootstrap抽樣較為合適？多少個Bootstrap樣本合適？沒有標準答案！1000~2000?先試100個，再試1000個，看看結(jié)果有沒有巨大改變Bootstrap的優(yōu)缺點優(yōu)點簡單！Simple!直接！straightforward！缺點過于樂觀！有時候忽略了很多假設(shè)！應(yīng)用實例：相加交互作用的假設(shè)檢驗傳統(tǒng)基于logistic回歸的模型相加交互作用步驟：在B=0時，估計A的單獨效應(yīng)在A=0時，估計B的單獨效應(yīng)估計A和B一起作用時的效應(yīng)計算AB-A-BBootstrap求方差！相乘交互作用結(jié)果Coefficients: Estimate Std.Error Pr(>|z|)(Intercept) -2.4423 0.3686 3.45e-11***A 1.2340 0.4386 0.0049**B 1.0561 0.4454 0.0177*A:B 0.5162 0.5442 0.3428Bootstrap法估計結(jié)果MeanofOR：12.33VarianceofOR:59.3695%CIofOR:(3.65,32.16)等級資料的等效性檢驗了考察克林霉素磷酸酯陰道凝膠對細菌性陰道病的治療效果；采用陽性對照；細菌學(xué)療效評價如下：試驗藥與對照藥是否等效？療效痊愈顯效