MIT牛人解說數(shù)學(xué)體系MIT牛人解說數(shù)學(xué)體系(2010-11-1520:13:20)from/s/blog_6a88a8860100m9hs.htmlresearch進(jìn)展不多，對于數(shù)學(xué)世界的閱歷算是有了一些長進(jìn)。為什么要深入數(shù)學(xué)的世界數(shù)學(xué)的目的，是要想爬上更深廣一些。說起來，我旅程。我的導(dǎo)師最初希望我去做的題目，是對appearance和motion建立一個(gè)unified的model。這個(gè)題目在當(dāng)今ComputerVision中百花齊放的世界中并沒有任何特別的地方。事實(shí)上，使用各種GraphicalModel把各種東西聯(lián)合在一起framework，在近年的論文中并不少見。我不否認(rèn)現(xiàn)在廣泛流行的GraphicalModel是對復(fù)雜現(xiàn)象建模的有力工具，但是，我認(rèn)為它不是panacea果統(tǒng)計(jì)學(xué)習(xí)包治百病，那么很多“下游”的學(xué)科也就沒有存在的必要了。事實(shí)上，開始的時(shí)候，我也是和Vision中很多人一樣，想著去做一個(gè)GraphicalModel——我的導(dǎo)師指出，這樣的做法只是重復(fù)一些標(biāo)準(zhǔn)的流程，并沒有很大的價(jià)值。經(jīng)過很長時(shí)間的反復(fù)，另外一個(gè)路徑慢慢被確立下來——我們相信，一個(gè)圖像是通過大量“原子”的某種空間分布構(gòu)成的，原子群的運(yùn)動形成了動態(tài)的可視過程。微觀意義下的單個(gè)原子運(yùn)動，和宏觀意義下的整體分布的變換存在著深刻的聯(lián)系——這需要我們?nèi)グl(fā)掘。述一個(gè)一般的運(yùn)動過程，和宏觀分布變換的聯(lián)系，還有很多。在這個(gè)過程中，我發(fā)現(xiàn)了兩個(gè)事情：我原有的數(shù)學(xué)基礎(chǔ)已經(jīng)遠(yuǎn)遠(yuǎn)不能適應(yīng)我對這些問題的深入研究。是沒有被很多的應(yīng)用科學(xué)的研究者重視。于是，我決心開始深入數(shù)學(xué)這個(gè)浩瀚大海，希望在我再次走出來的時(shí)候，我已經(jīng)有了更強(qiáng)大的武器去面對這些問題的挑戰(zhàn)。我的游歷并沒有結(jié)束，我的視野相比于這個(gè)博大精深的世界的依舊顯得非常狹窄。在這里，我只是說說，在我的眼中，數(shù)學(xué)如何一步步從初級向高級發(fā)展，更高級別的數(shù)學(xué)對于具體應(yīng)用究竟有何好處。集合論：現(xiàn)代數(shù)學(xué)的共同基礎(chǔ)現(xiàn)代數(shù)學(xué)有數(shù)不清的分支，但是，它們都有一個(gè)共同的基礎(chǔ)——集合論——因?yàn)樗?，?shù)學(xué)這個(gè)龐大的家族有個(gè)共同的語言。集合論中有一些最基本的概念：集合(set)，關(guān)系(relation)，函數(shù)(function)，等價(jià)(equivalence)，是在其它數(shù)學(xué)分支的語言中幾乎必然存在我相信，理工科大學(xué)生對于這些都不會陌生。“選擇公理”(AxiomofChoice)。這個(gè)公理的意思是“任意的一群非空集合，一定可以從每個(gè)集合中各拿出一個(gè)平常的公理卻能演繹出一能分成五個(gè)部分，對它們進(jìn)行一系列剛性變換（平移旋轉(zhuǎn)）球”。正因?yàn)檫@些完全有有著激烈爭論?，F(xiàn)在，主理都依賴于它。在我們后面要回說到的學(xué)科里面，下面的定理依賴于選擇公理：拓?fù)鋵W(xué)：BaireCategoryTheorem實(shí)分析（測度理論不可測集的存在性泛函分析四個(gè)主要定理：Hahn-BanachExtensionTheorem,Banach-SteinhausTheorem(Uniformboundednessprinciple),OpenMappingTheorem,ClosedGraphTheorem在集合論的基礎(chǔ)上，現(xiàn)代數(shù)學(xué)有兩大家族：分析(Analysis)和代數(shù)(Algebra)。至于其它的但是它們的現(xiàn)代版本則基分析與代數(shù)并不是平行的關(guān)系。分析：在極限基礎(chǔ)上建立的宏偉大廈微積分：分析的古典時(shí)代——從牛頓到柯西先說說分析(Analysis)吧，它是從微積分(Caculus)發(fā)展起來的—我們在大學(xué)一年級學(xué)習(xí)的導(dǎo)數(shù)(derivatives)，積分(integral)，微分方程(differentialequation)，還有級數(shù)(infiniteseries)——這些基本的概念，在初等的微積分里面都有介紹。如果說有一個(gè)思想貫穿其中，那就是極限——這是整個(gè)分析（不僅僅是微積分）的靈魂。一個(gè)很多人都聽說過的故事，就是牛頓 (Newton)和萊布尼(Leibniz)關(guān)于微積分發(fā)明權(quán)的爭論。事實(shí)上，在他們的時(shí)代，很多微積分的工具開始運(yùn)用在科學(xué)和工程之中，但是，微積分的基礎(chǔ)并沒有真正建立。那個(gè)長時(shí)間一直解釋不清楚的“無窮小量”的幽靈，困擾柯西用數(shù)列極限的觀點(diǎn)重的基礎(chǔ)。直到今天，整個(gè)分析的大廈還是建立在極限的基石之上?？挛?Cauchy有解決微積分的全部問題。在19而其中最重要的一個(gè)沒有學(xué)到的那種通過“無限分割區(qū)間，取矩陣面積和的極限”的積分，是大約在1850年由黎曼(Riemann)提出的，叫做黎曼積分。但是，什么函數(shù)存在黎曼積分呢（黎曼可積）？們很早就證明了，定義在滿意，工程師們需要對分段連續(xù)函數(shù)的函數(shù)積分。實(shí)分析：在實(shí)數(shù)理論和測度理論上建立起現(xiàn)代分析在19世紀(jì)中后期，不連續(xù)函數(shù)的可積性問題一直是分析的重要課題。對于定義在閉區(qū)間上的黎曼積分的研究發(fā)現(xiàn)，可積性的關(guān)鍵在于“不連續(xù)的點(diǎn)足夠少”。只有有限處不連續(xù)的的可積函數(shù)。顯然，在衡“點(diǎn)集大小”這個(gè)問題的的東西——有著許多他們建立起來，它的標(biāo)志是對實(shí)數(shù)完備性進(jìn)行刻畫的幾條等價(jià)的定理（確界定理，區(qū)間套定理，柯西收斂定理，Bolzano-WeierstrassTheorem和Heine-BorelTheorem等等）——這些定理明確表達(dá)出實(shí)數(shù)和有理數(shù)的根本區(qū)別：完備性（很不嚴(yán)格的說，就是對極限運(yùn)算封閉）。隨著對實(shí)數(shù)認(rèn)識的深地把關(guān)于集合的代數(shù)，和Outercontent（就是“外測度”的一個(gè)雛形）(MeasureTheory)，并且進(jìn)一步建立了以測度為基礎(chǔ)的積分——勒貝格(LebesgueIntegral)。在這個(gè)新的積分概念的支持下，可積性問題變得一目了然。上面說到的實(shí)數(shù)理論，測度理論和勒貝格積分，構(gòu)成了我們現(xiàn)在稱為實(shí)分析(RealAnalysis)的數(shù)學(xué)分支，有些書也叫實(shí)變函數(shù)論。對于應(yīng)用科學(xué)來說，實(shí)分析似乎沒有古典微積分那么“實(shí)用”——很難直接基于它得到什么算法。而且，它要解決的某些“難題”——比如處處不連續(xù)的函數(shù)，或者處處連續(xù)而處處不可微的函數(shù)——在工程師的眼中，并不現(xiàn)義在于為許多現(xiàn)代的應(yīng)用數(shù)學(xué)分支提供堅(jiān)實(shí)的基礎(chǔ)。下面，我僅僅列舉幾條它的用處：是完備的。簡單的說，一個(gè)黎曼可積的函數(shù)列收斂到的那個(gè)函數(shù)不一定是黎曼可積的，但是勒貝格可積的函數(shù)論中，經(jīng)常需要討論“函種討論幾乎不可想像。我們有時(shí)看一些paper中提到Lp函數(shù)空間，就是基于勒貝格積分。勒貝格積分是傅立葉變換（這東西在工程中到處都是）很多關(guān)于信號處理而不談它的數(shù)學(xué)基礎(chǔ)，但作——這并不是總能繞過去。在下面，我們還會看到，測度理論是現(xiàn)代概率論的基礎(chǔ)。拓?fù)鋵W(xué)：分析從實(shí)數(shù)軸推廣到一般空間——現(xiàn)代分析的抽象基礎(chǔ)隨著實(shí)數(shù)理論的建立，大家開始把極限和連續(xù)推廣到更一般的地方的分析。事實(shí)上，很多來，推廣到更一般的空間里面。對于實(shí)數(shù)軸的推廣，促成了點(diǎn)集拓?fù)鋵W(xué)(Point-setTopology)的建立。很多原來只存在于實(shí)數(shù)中的概念，被提取出來，進(jìn)行一般性的討論。在拓?fù)鋵W(xué)里面，有4個(gè)C構(gòu)成了它的核心：Closedset（閉集合）。在現(xiàn)代的拓?fù)鋵W(xué)的公理化體系中，開集和閉集是最基本的們的根本地位，并不是一概念是連續(xù)性的基礎(chǔ)，而閉集對極限運(yùn)算封閉——而極限正是分析的根基。Continuousfunction（連續(xù)函數(shù)）。連續(xù)函數(shù)在微積分里面epsilon-delta函數(shù)”。第二個(gè)定義和第它的第三個(gè)（等價(jià)）定義y列x1,x2,x3,…的極限，那么如果f是連續(xù)函數(shù)，那么f(y)就是f(x1),f(x2),f(x3),…的極限。連續(xù)函數(shù)的重要性，可以從別的分支學(xué)科中進(jìn)行類比。比如群論中，基礎(chǔ)的運(yùn)算是“乘法”，對于群，最重要的映射叫“同態(tài)映射”——保持“乘法”的映射。在分析中，基礎(chǔ)運(yùn)算是“極限”，因此連續(xù)函數(shù)在分析中的地位，和同態(tài)映射在代數(shù)中的地位是相當(dāng)?shù)摹onnectedset（連通集合）(Pathconnected)，就是念。一般意義下的連通概用于證明一般的中值定理(IntermediateValueTheorem)，還有就是代數(shù)拓?fù)?，拓?fù)淙赫?FundamentalGroup)的階。Compact緊集）Compactness似乎在初等微積分里面沒有專門出現(xiàn)，不過有幾條實(shí)數(shù)上的定理和它其實(shí)是有關(guān)系的。比如，“有界數(shù)列必然存在收斂子列”——用compactness它在拓?fù)鋵W(xué)中的一般定義子覆蓋”。這個(gè)定義在討限的轉(zhuǎn)換。對于分析來說，用得更多的是它的另一種形式——“緊集中的數(shù)列必存在收斂子列”——它體現(xiàn)了分析中最重要的“極限”。Compactness在現(xiàn)代分析中運(yùn)用極廣，無法盡述。微積分中的兩個(gè)重要定理：極值定理(ExtremeValueTheoryTheorem)就可以借助它推廣到一般的形式。從某種意義上說，點(diǎn)集拓?fù)鋵W(xué)可以看成是關(guān)于“極限”的一般理論，它抽象于實(shí)數(shù)理論，它的概念成為幾乎所有現(xiàn)代分析學(xué)科的通用語言，也是整個(gè)現(xiàn)代分析的根基所在。微分幾何：流形上的分析——在拓?fù)淇臻g上引入微分結(jié)構(gòu)束，而僅僅是開始。在微推廣到拓?fù)淇臻g，在拓?fù)浜蔚慕滩模袃煞N不同的主要是關(guān)于二維和三維空撲學(xué)的基礎(chǔ)上，這里姑且稱為“現(xiàn)代微分幾何”——它的核心概念就是“流形”(manifold)——就是在拓?fù)淇臻g的非常豐富的學(xué)科。比如一從不同角度給出的等價(jià)定同一個(gè)概念的不同理解，外，還引入了很多新概念：tangentspace,cotangentspace,pushforward,pullback,fibrebundle,flow,immersion,submersion等等。近些年，流形在machinelearning似乎相當(dāng)時(shí)髦。但是，坦率地說，要弄懂一些基本的流基礎(chǔ)。對我的研究來說，和李代數(shù)——這是數(shù)學(xué)中重要的結(jié)合則是泛函分析，以及在其基礎(chǔ)上的調(diào)和分析。代數(shù)：一個(gè)抽象的世界關(guān)于抽象代數(shù)回過頭來，再說說另一個(gè)大家族——代數(shù)。如果說古典微積分是分析的入門，那么現(xiàn)代代數(shù)的入門點(diǎn)則是兩個(gè)部分：線性代數(shù)(linearalgebra)和基礎(chǔ)的抽象代數(shù)(abstractalgebra)——據(jù)說國內(nèi)一些教材稱之為近世代數(shù)。規(guī)則。一門代數(shù)，其實(shí)都體系，然后在這基礎(chǔ)上進(jìn)在主要的代數(shù)結(jié)構(gòu)中，最簡單的是群(Group)——它只有一種符合結(jié)合率的可逆運(yùn)算，通常叫“乘法”。如果，這種運(yùn)算也符合交換率，那么就叫阿貝爾群(Abelian，滿足交換率和結(jié)合率，一種叫乘法，滿足結(jié)合率，它們之間滿足分配率，這種豐富一點(diǎn)的結(jié)構(gòu)叫做環(huán)(Ring)，如果環(huán)上的乘法滿足交換率，就叫可交換環(huán)(CommutativeRing)。如果，一個(gè)環(huán)的加法和乘法具有了所有的良好性質(zhì)，那么就成為一個(gè)域(Field)。基于域，我們可以建立一種新的結(jié)構(gòu)，能進(jìn)行加法和數(shù)乘，就構(gòu)成了線性代數(shù)(Linearalgebra)。對象。只要定義恰當(dāng)，完的所有定理完全可以運(yùn)用干點(diǎn)有意義的事情。學(xué)過導(dǎo)出非常多的重要結(jié)論—需要為每一個(gè)具體領(lǐng)域重新建立這么多的定理。個(gè)流派：研究有限的離散代數(shù)結(jié)構(gòu)（比如有限群和有限域），編碼，和整數(shù)方程這些地系在一起（比如拓?fù)淙?，李群）。我在學(xué)習(xí)中的focus主要是后者。線性代數(shù)：“線性”的基礎(chǔ)地位對于做Learning,vision,optimization或者statistics的人來說，接觸最多的莫過于線包括建立在它基礎(chǔ)上的各線性代數(shù)中的地位，和連續(xù)函數(shù)在分析中的地位，或者同態(tài)映射在群論中的地位是一樣的——它是保持基礎(chǔ)運(yùn)算（加法和數(shù)乘）在learning中有這樣的一種傾向——鄙視線性算法，標(biāo)榜非線性。也許在很多場合下面，性都是具有根本地位的。非線性化的方法包括流形和間的映射，通過把許多局部線性空間連接起來形成非線性；而kernerlization則是通過置換內(nèi)積結(jié)構(gòu)把原線性空間“非線性”地映射到另外一個(gè)線性空間，再進(jìn)行線性空間中所能進(jìn)行的操作。而在分析領(lǐng)域，線性的運(yùn)算更是無處不在，微分，積分，傅立葉變換，拉普拉斯變換，還有統(tǒng)計(jì)中的均值，通通都是線性的。泛函分析：從有限維向無限維邁進(jìn)進(jìn)行的，因?yàn)橛邢蓿覀冞_(dá)我們的世界——最重要的，函數(shù)構(gòu)成了線性空間，可是它是無限維的。對函數(shù)進(jìn)行的最重要的運(yùn)算都在無限維空間進(jìn)行，比如傅立葉變換和小波分析。這表明了，為了研究函數(shù)（或者說連續(xù)信號），我面的第一步，就是泛函分析。(Functional很多東西在有限維下顯得很trivial候出現(xiàn)。在泛函分析中，空間中的元素還是叫向量，但是線性變換通常會叫作“算子”(operator)。除了加法和的長度”或者“元素的距離”，這樣的空間叫做“賦范線性空間”(normedspace)，再進(jìn)一步的，可以加入內(nèi)積運(yùn)算，這樣的空間叫“內(nèi)積空間”(Innerproductspace)。大家發(fā)現(xiàn)，當(dāng)進(jìn)入無限維的時(shí)間時(shí)，很多老的觀念不再適用了，一切都需要重新審視。所有的有限維空間都是完備的（柯西序列收斂），空間卻是不完備的（比如閉區(qū)間上的連續(xù)函數(shù)）。在這里，完備的空間有特殊的名稱：完備的賦范空間叫巴拿赫空間(Banachspace)，完備的內(nèi)積空間叫希爾伯特空間(Hilbertspace)。限維空間中，它們存在微妙的差別。在有限維空間中，所有線性變換（矩陣）無限維，很多算子是無界的(unbounded)，最重要的一個(gè)例子是給函數(shù)求導(dǎo)。所有的無限維空間中，單位球都不是緊的——也就是說，可以在單位球內(nèi)撒入無限個(gè)點(diǎn)，而不出現(xiàn)一個(gè)極限點(diǎn)。在有限維空間中，線性變換（矩陣）算子的譜的結(jié)構(gòu)比這個(gè)復(fù)雜得多，除了特征值組成的點(diǎn)譜 spectrum)，還有approximatepointspectrum和residualspectrum。雖然復(fù)雜，但是，也更為有趣。由此形成了一個(gè)相當(dāng)豐富的分支——算子譜論(Spectrumtheory)。在無限維空間中，這就不一定了，具有這種良好特性的子空間有個(gè)專門的名稱切比雪夫空間(Chebyshevspace)。這個(gè)概念是現(xiàn)代逼近理論的基礎(chǔ)(approximationtheory)。函Learning中應(yīng)該有著非常重要的作用，但是現(xiàn)在看到的運(yùn)用現(xiàn)代逼近理論的文章并不多。繼續(xù)往前：巴拿赫代數(shù)，調(diào)和分析，和李代數(shù)基本的泛函分析繼續(xù)往前走，有兩個(gè)重要的方向。第一個(gè)是巴拿赫代數(shù)(BanachAlgebra)，它就是在巴拿赫空間（完備的內(nèi)積空間）的基礎(chǔ)上引入乘法（這不同于數(shù)乘）。比如矩赫代數(shù)。除此以外，值域代數(shù)是泛函分析的抽象，們不僅僅對算子適用，它地方。巴拿赫代數(shù)讓你站中能比泛函分析能多帶來什么東西還有待思考。最能把泛函分析和實(shí)際問題在一起的另一個(gè)重要方向是調(diào)和分析(HarmonicAnalysis)。這已經(jīng)能說明它的實(shí)際價(jià)函數(shù)。它研究的是函數(shù)空波，調(diào)和分析還研究一些很有用的函數(shù)空間，比如Hardy工程中和物理學(xué)中都有很重要的應(yīng)用。對于vision來說，調(diào)和分析在信號的表達(dá)，圖像