計(jì)算機(jī)圖形學(xué)第七章圖形學(xué)方法的影像處理供《現(xiàn)代計(jì)算機(jī)圖形學(xué)基礎(chǔ)》配套使用1傳統(tǒng)圖像與圖形的區(qū)別圖像位圖，以像素為單位記錄色彩信息2圖形矢量圖，以圖元為單位記錄色彩、形狀等信息基本組成元素：像素基本組成元素：非像素提綱1.影像摳圖2.影像縮放3.影像融合4.影像拼接5.影像編輯31.1概念1.1.1分割與摳圖將圖像或視頻劃分為多個(gè)區(qū)域的過(guò)程4分割（segmentation）:硬分割‘0’或‘1’摳圖（matting）:軟分割‘0~1’1.1概念1.1.1分割與摳圖對(duì)于微小特征的物體，摳圖提供了更加精細(xì)的劃分方式運(yùn)動(dòng)模糊或者微小的特征，比如頭發(fā)引起的像素的部分遮擋5超級(jí)采樣像素像素1.1概念1.1.1分割與摳圖6分割

合成結(jié)果摳圖合成結(jié)果原圖像1.1概念1.1.2摳圖定義對(duì)每個(gè)像素賦予‘0~1’的值

明確的背景

明確的前景否則是混合的71.1概念1.1.2摳圖定義高度“病態(tài)”問(wèn)題：對(duì)每個(gè)像素而言，有7個(gè)未知量，但是只有3個(gè)方程1.2圖像摳圖方法基本策略引入先驗(yàn)知識(shí)作為約束，將病態(tài)問(wèn)題轉(zhuǎn)化為可求解問(wèn)題減少未知量的數(shù)目，最優(yōu)化摳圖函數(shù)91.2圖像摳圖方法藍(lán)屏摳圖（背景已知）自然圖像摳圖（背景未知）基于Trimap輸入貝葉斯摳圖泊松摳圖基于筆畫輸入最小二乘摳圖閉形式摳圖閃光摳圖101.2圖像摳圖方法1.2.1藍(lán)屏摳圖思想：指定單一的背景顏色，將待摳取的物體置于背景前面方法：早期采用藍(lán)色背景，后來(lái)綠色更為流行50年代，PetrosVlahos發(fā)明了藍(lán)屏摳圖ultimatte?，曾獲奧斯卡終身成就獎(jiǎng)111.2圖像摳圖方法1.2.1藍(lán)屏摳圖背景顏色和前景部分顏色作為已知條件BR=0,BG=0摳圖函數(shù)：對(duì)于每個(gè)像素具有4個(gè)未知量，3個(gè)方程12已知已知1.2圖像摳圖方法1.2.1藍(lán)屏摳圖如果前景物體不含B通道顏色FB=0簡(jiǎn)化方程為3個(gè)未知數(shù)依次計(jì)算，，13已知已知1.2圖像摳圖方法1.2.2自然圖像摳圖輸入：1個(gè)輸入圖像，背景未知先驗(yàn)：用戶交互輸入Trimap輸入筆畫優(yōu)化貝葉斯泊松最小二乘法閉形式141.2圖像摳圖方法1.2.2自然圖像摳圖：基于Trimap圖1.2.2-1貝葉斯摳圖輸入：Trimap圖初始前景(F)和背景(B)顏色：復(fù)制來(lái)自相鄰像素的顏色來(lái)猜測(cè)在混合區(qū)域中的F值、B值15給定F，B，求解用

估計(jì)F，B使用F，B更新1.2圖像摳圖方法1.2.2自然圖像摳圖：基于Trimap圖1.2.2-1貝葉斯摳圖摳圖函數(shù)：貝葉斯函數(shù)16給定待求區(qū)域像素與前景相似性與背景相似性1.2圖像摳圖方法1.2.2自然圖像摳圖：基于Trimap圖1.2.2-1貝葉斯摳圖摳圖函數(shù)：貝葉斯函數(shù)17給定待求區(qū)域像素最大似然概率貝葉斯定律1.2圖像摳圖方法1.2.2自然圖像摳圖：基于Trimap圖1.2.2-1貝葉斯摳圖結(jié)果181.2圖像摳圖方法1.2.2自然圖像摳圖：基于Trimap圖1.2.2-2泊松摳圖思想：假設(shè)前/背景區(qū)域的顏色變化均勻，摳圖值

的梯度模擬圖像的梯度191.2圖像摳圖方法1.2.2自然圖像摳圖：基于Trimap圖1.2.2-2泊松摳圖摳圖函數(shù)：泊松方程假設(shè)Fp和Bp取自最近

前景和背景像素的顏

色值關(guān)于摳圖值的優(yōu)化

函數(shù)20未知區(qū)域前景區(qū)域背景區(qū)域1.2圖像摳圖方法1.2.2自然圖像摳圖：基于Trimap圖1.2.2-2泊松摳圖摳圖函數(shù)：泊松方程假設(shè)Fp和Bp取自最近

前景和背景像素的顏

色值關(guān)于摳圖值的優(yōu)化

函數(shù)更新Trimap圖211.2圖像摳圖方法1.2.2自然圖像摳圖：基于Trimap圖1.2.2-2泊松摳圖結(jié)果22輸入貝葉斯摳圖泊松摳圖1.2圖像摳圖方法1.2.3自然圖像摳圖：基于筆畫圖1.2.3-1最小二乘優(yōu)化摳圖思想：以筆畫摳圖值作為先驗(yàn)，并作為前景和背景合成的預(yù)估值，優(yōu)化其與像素值之間差異；相鄰像素具有相近的摳圖值231.2圖像摳圖方法1.2.3自然圖像摳圖：基于筆畫摳圖1.2.3-1最小二乘優(yōu)化摳圖摳圖函數(shù)：最小二乘函數(shù)24N

是像素?cái)?shù)N(p)定義p的一個(gè)鄰域

對(duì)給定的的估計(jì)顏色值1.2圖像摳圖方法1.2.3自然圖像摳圖：基于筆畫摳圖1.2.3-2閉形式摳圖思想：在局部窗口范圍內(nèi)，

前景F和背景B近似常數(shù)25對(duì)于每個(gè)像素i1.2圖像摳圖方法1.2.3自然圖像摳圖：基于筆畫摳圖1.2.3-2閉形式摳圖摳圖函數(shù)：26正則化項(xiàng)

誤差函數(shù)1.2圖像摳圖方法1.2.3自然圖像摳圖：基于筆畫摳圖1.2.3-2閉形式摳圖對(duì)于彩色圖像，局部窗口范圍內(nèi)顏色位于一條顏色線271.2圖像摳圖方法281.2.3自然圖像摳圖：基于筆畫摳圖1.2.3-2閉形式摳圖摳圖函數(shù)：觀察:F、B在局部窗口的顏色是位于一條顏色線上1.2圖像摳圖方法291.2.3自然圖像摳圖：基于筆畫摳圖1.2.3-2閉形式摳圖結(jié)果291.2圖像摳圖方法1.2.4自然圖像摳圖：基于閃光圖思想：同時(shí)拍攝正常/閃光圖像增加約束條件301.2圖像摳圖方法1.2.4自然圖像摳圖：基于閃光摳圖方法：31閃光圖像非閃光圖像僅閃光圖像

僅閃光的圖像的背景是黑的貝葉斯摳圖1.2圖像摳圖方法321.2.4自然圖像摳圖：基于閃光圖結(jié)果1.3視頻摳圖方法視頻摳圖思想：結(jié)合視頻運(yùn)動(dòng)在幀間傳播摳圖值33輸入視頻關(guān)鍵幀圖插值圖1.3視頻摳圖方法視頻摳圖方法：以關(guān)鍵幀的摳圖值作為初始值，通過(guò)雙向傳播插值中間幀的摳圖值，并進(jìn)一步精細(xì)處理，生成中間幀摳圖結(jié)果34提綱1.影像摳圖2.影像縮放3.影像融合4.影像拼接5.影像編輯352.1概念圖像/視頻在不同終端顯示時(shí)，面臨畫面尺寸變化的問(wèn)題。通過(guò)縮放減少或者擴(kuò)展圖像的大小去適應(yīng)不同的顯示屏幕。362.1概念圖像處理（不）等比例縮放、裁剪圖形處理內(nèi)容感知的畫面增刪或變形37不等比例縮放等比例縮放裁剪縫隙增刪2.2圖像縮放方法2.2.1縫隙增刪思想：通過(guò)在圖像中增加水平和豎直方向連續(xù)的縫隙進(jìn)行擴(kuò)大或縮小圖像縫隙：圖像中連通的低能量像素通路，并且每行或者每列只包含一個(gè)像素382.2圖像縮放方法2.2.1縫隙增刪方法定義縫隙為圖像中穿過(guò)較低視覺(jué)顯著性區(qū)域的連線39縫隙梯度圖視覺(jué)顯著性2.2圖像縮放方法2.2.1縫隙增刪方法定義縫隙為圖像中穿過(guò)較低視覺(jué)顯著性區(qū)域的連線動(dòng)態(tài)規(guī)劃尋找符合條件的縫隙40豎直線最優(yōu)縫隙2.2圖像縮放方法2.2.1縫隙增刪方法定義縫隙為圖像中穿過(guò)較低視覺(jué)顯著性區(qū)域的連線動(dòng)態(tài)規(guī)劃尋找符合條件的縫隙刪除縫隙，調(diào)整圖像尺寸412.2圖像縮放方法2.2.1縫隙增刪結(jié)果(Demo)42局限性效率低難以保持圖像結(jié)構(gòu)2.2圖像縮放方法2.2.2網(wǎng)格變形思想：以目標(biāo)尺寸為約束，對(duì)原始圖像進(jìn)行結(jié)構(gòu)保持的變形432.2圖像縮放方法2.2.2網(wǎng)格變形方法：變形網(wǎng)格的相似變換442.2圖像縮放方法2.2.2網(wǎng)格變形方法：變形網(wǎng)格的相似變換45均勻縮放比例縮放邊界條件2.2圖像縮放方法2.2.2網(wǎng)格變形方法：結(jié)構(gòu)圖像梯度+圖像顯著度梯度：圖像局部結(jié)構(gòu)分部顯著度：視覺(jué)注意區(qū)域在變形時(shí)保持結(jié)構(gòu)較少的變化46梯度圖顯著圖結(jié)構(gòu)圖原始圖2.2圖像縮放方法2.2.2網(wǎng)格變形方法：求解自適應(yīng)網(wǎng)格設(shè)置：更具結(jié)構(gòu)重要性圖放置網(wǎng)格頂點(diǎn)簡(jiǎn)單縮放作為初值：472.2圖像縮放方法2.2.2網(wǎng)格變形

結(jié)果(Demo)48原始圖縫隙增刪網(wǎng)格變形局部線結(jié)構(gòu)扭曲2.3視頻縮放方法視頻縮放的難點(diǎn)逐幀進(jìn)行縫隙增刪導(dǎo)致了嚴(yán)重的扭曲缺乏時(shí)序的一致性思想視頻看做立方體，尋找時(shí)空一致的縫隙增刪49?2.3視頻縮放方法基于圖割優(yōu)化的縫隙增刪最優(yōu)縫隙的特點(diǎn)單調(diào)性：每行一個(gè)像素連通性：每條縫隙將圖像劃分為兩個(gè)連通區(qū)域502.3視頻縮放方法基于圖割優(yōu)化的縫隙增刪視頻立方體的三維圖構(gòu)造：?jiǎn)螏瑔蜗蜻叺臋?quán)值回溯方向邊的權(quán)值51STpi+1,jpi,jpi+1,j+1pi,j+1

y

x

x

ypi,jpi,j+1pi+1,jpi+1,j+1

y

y

x

xpijpi,j+1pi+1,jpi+1,j+1∞∞∞∞E1E1∞∞單幀圖割優(yōu)化等價(jià)于動(dòng)態(tài)規(guī)劃縫隙2.3視頻縮放方法基于圖割優(yōu)化的縫隙增刪視頻立方體的三維圖構(gòu)造52FrametFramet+1Framet+2時(shí)間視頻體2.3視頻縮放方法基于圖割優(yōu)化的縫隙增刪視頻立方體的三維圖優(yōu)化53源點(diǎn)終點(diǎn)ST原圖和目標(biāo)圖分別通過(guò)無(wú)限加權(quán)的弧被創(chuàng)建和連接到圖像的最左最右列的像素里。2.3視頻縮放方法基于圖割優(yōu)化的縫隙增刪

結(jié)果(Demo)54提綱1.影像摳圖2.影像縮放3.影像融合4.影像拼接5.影像編輯553.1概念3.1.1圖像/視頻融合（Image/videoblending/composition）將圖像/視頻中提取的對(duì)象合成到另外一張圖像/視頻，生成視覺(jué)上自然的新圖像/視頻563.1概念3.1.1圖像/視頻融合（Image/videoblending/composition）通過(guò)透明度alpha融合，可以消除不同圖像之間的邊界，生成連續(xù)的畫面57無(wú)融合透明度融合3.1概念3.1.2融合方式簡(jiǎn)單透明度融合58自適應(yīng)內(nèi)容融合3.2圖像融合方法3.2.1泊松融合思想：原圖像的梯度嵌入到目標(biāo)圖像，根據(jù)目標(biāo)圖像的顏色恢復(fù)原圖像中物體59簡(jiǎn)單融合泊松融合原圖像目標(biāo)圖像3.2圖像融合方法3.2.1泊松融合方法原圖像梯度：目標(biāo)圖像顏：重疊區(qū)域：60重疊區(qū)域融合3.2圖像融合方法3.2.1泊松融合方法：融合函數(shù)轉(zhuǎn)化為泊松方程61關(guān)于融合圖像顏色的線性方程組3.2圖像融合方法3.2.1泊松融合結(jié)果62簡(jiǎn)單融合泊松融合3.2圖像融合方法3.2.2基于均值坐標(biāo)插值的融合思想：將圖像融合轉(zhuǎn)化為給定邊界的插值問(wèn)題，通過(guò)插值過(guò)程生成融合結(jié)果63輸入插值函數(shù)融合結(jié)果3.2圖像融合方法3.2.2基于均值坐標(biāo)插值的融合方法多邊形的均值坐標(biāo)643.2圖像融合方法3.2.2基于均值坐標(biāo)插值的融合方法多邊形的均值坐標(biāo)覆蓋區(qū)域的邊界為多邊形進(jìn)行插值65Delaunay三角化加速插值計(jì)算3.2圖像融合方法3.2.2基于均值坐標(biāo)插值的融合結(jié)果（Demo）663.3視頻融合方法視頻融合的難點(diǎn)融合后保持原視頻物體的結(jié)構(gòu)，同時(shí)和目標(biāo)視頻背景形成連續(xù)邊界過(guò)渡融合后保持幀間混合的連續(xù)性其他影響運(yùn)動(dòng)模糊陰影673.3視頻融合方法基于梯度域的視頻融合思想：在梯度域上混合原視頻物體和目標(biāo)視頻背景，以保持物體結(jié)構(gòu)；通過(guò)光流進(jìn)行運(yùn)動(dòng)物體對(duì)其和幀間重疊區(qū)域邊界的連續(xù)變化683.3視頻融合方法基于梯度域的視頻融合方法幀間連續(xù)的重疊區(qū)域邊界693.3視頻融合方法基于梯度域的視頻融合方法重疊區(qū)域幀間連續(xù)的邊界變化重疊區(qū)域幀間連續(xù)的梯度變化基于均值坐標(biāo)的插值快速求解泊松方程70高斯濾波重疊區(qū)域第i個(gè)像素梯度3.3視頻融合方法基于梯度域的視頻融合結(jié)果（Demo）71提綱1.影像摳圖2.影像縮放3.影像融合4.影像拼接5.影像編輯724.1概念4.1.1圖像/視頻拼接（stitching）組合兩張或者更多張具有重合區(qū)域的圖像/視頻，生成一張更大視角范圍的圖像/視頻734.1概念4.1.1圖像/視頻拼接（stitching）組合兩張或者更多張具有重合區(qū)域的圖像/視頻，生成一張更大視角范圍的圖像/視頻普通相機(jī)FOV=50x35人眼FOV=200x120全景FOV=360x180貓狗兔人4.1概念4.1.1圖像/視頻拼接（stitching）硬件方案魚眼相機(jī)固定相機(jī)陣列固定配置散亂配置75成本高，使用不方便4.1概念4.1.1圖像/視頻拼接（stitching）軟件方案基于運(yùn)動(dòng)信息的在線方案基于特征匹配的離線方案76扭曲、重影、計(jì)算效率等問(wèn)題4.1概念4.1.2一般算法檢測(cè)特征點(diǎn)（SIFT）匹配特征點(diǎn)（RANSAC）計(jì)算圖像間變換投影到共同區(qū)域774.2圖像拼接方法4.2.1盡可能單應(yīng)變換拼接方法思想：采用空間分布的局部單應(yīng)變換集合取代單一的整體單應(yīng)變換進(jìn)行拼接（as-projective-as-possible）78整體單應(yīng)變換局部單應(yīng)變換4.2圖像拼接方法4.2.1盡可能單應(yīng)變換拼接方法方法：通過(guò)移動(dòng)直接線性變換（movingdirectlineartransformation）描述不同位置的最優(yōu)單應(yīng)變換傳統(tǒng)單應(yīng)變換計(jì)算DLT794.2圖像拼接方法4.2.1盡可能單應(yīng)變換拼接方法方法：通過(guò)移動(dòng)直接線性變換（movingdirectlineartransformation）描述不同位置的最優(yōu)單應(yīng)變換移動(dòng)DLT：每個(gè)位置定義關(guān)于匹配特征點(diǎn)的單應(yīng)變換804.2圖像拼接方法4.2.1盡可能單應(yīng)變換拼接方法結(jié)果814.2圖像拼接方法4.2.2形狀保持的半單應(yīng)變換拼接方法思想：重合區(qū)域減小特征匹配誤差，非重合區(qū)域保持形狀（shape-preservinghalf-projective）82單應(yīng)變換單應(yīng)+相似變換（SPHP）4.2圖像拼接方法4.2.2形狀保持的半單應(yīng)變換拼接方法方法：重合區(qū)域采用單應(yīng)變換，非重合區(qū)域采用從單應(yīng)變換到相似變換的漸變變換83扭曲4.2圖像拼接方法4.2.2形狀保持的半單應(yīng)變換拼接方法單應(yīng)變換的坐標(biāo)系轉(zhuǎn)換84線性映射HScaleupScaledown4.2圖像拼接方法4.2.2形狀保持的半單應(yīng)變換拼接方法單應(yīng)變換到相似變換對(duì)于單應(yīng)變換，隨著u增大，扭曲變大給定常值u，單應(yīng)變換是線性85HScaleupScaledown相似變換H4.2圖像拼接方法4.2.2形狀保持的半單應(yīng)變換拼接方法單應(yīng)變換到相似變換的直接混合86HS產(chǎn)生突變4.2圖像拼接方法4.2.2形狀保持的半單應(yīng)變換拼接方法單應(yīng)變換到相似變換的連續(xù)漸變S區(qū)域：相似變換T區(qū)域：漸變區(qū)域H區(qū)域：?jiǎn)螒?yīng)變換874.2圖像拼接方法4.2.2形狀保持的半單應(yīng)變換拼接方法結(jié)果88輸入AutoStitchSPHP單應(yīng)變換4.2圖像拼接方法4.2.3自適應(yīng)變換拼接方法思想：通過(guò)局部單應(yīng)變換和相似變換的混合，實(shí)現(xiàn)特征匹配和形狀保持89移動(dòng)DLT自適應(yīng)拼接4.2圖像拼接方法4.2.3自適應(yīng)變換拼接方法方法局部單應(yīng)變換：線性化移動(dòng)DLT通過(guò)Taylor展式，將局部單應(yīng)變換進(jìn)行線性化90邊界加權(quán)4.2圖像拼接方法4.2.3自適應(yīng)變換拼接方法方法整體相似變換：根據(jù)匹配的特征點(diǎn)計(jì)算最優(yōu)平移、旋轉(zhuǎn)和伸縮因子，生成整體相似變換914.2圖像拼接方法4.2.3自適應(yīng)變換拼接方法方法自適應(yīng)插值單應(yīng)變換與相似變換92參考圖像中心目標(biāo)圖像中心4.2圖像拼接方法4.2.3自適應(yīng)變換拼接方法結(jié)果934.3視頻拼接方法視頻拼接的難點(diǎn)不同視角拍攝視頻的視差大視差的視頻幀拼接容易產(chǎn)生重影現(xiàn)象拼接視頻幀間的時(shí)空連續(xù)性各幀單獨(dú)拼接容易產(chǎn)生幀間視覺(jué)跳躍944.3視頻拼接方法4.3.1基于三維重建的視頻拼接思想：基于圖像的三維重建獲取相機(jī)空間運(yùn)動(dòng)路徑，然后生成新的拼接視頻的相機(jī)路徑，重構(gòu)拼接視頻幀序列954.3視頻拼接方法4.3.1基于三維重建的視頻拼接方法CoSLAM重建三維場(chǎng)景及相機(jī)運(yùn)動(dòng)路徑合成拼接視頻相機(jī)運(yùn)動(dòng)路徑964.3視頻拼接方法4.3.1基于三維重建的視頻拼接方法CoSLAM重建三維場(chǎng)景及相機(jī)運(yùn)動(dòng)路徑合成拼接視頻相機(jī)運(yùn)動(dòng)路徑特征保持的視頻幀變形97FeatureTermLineTermEpipolarTermCoherenceTermframet-1frametframet+1二次函數(shù)4.3視頻拼接方法4.3.1基于三維重建的視頻拼接結(jié)果984.3視頻拼接方法4.3.2基于內(nèi)容保持的時(shí)空變形拼接思想：采用時(shí)空連續(xù)的局部?jī)?nèi)容保持的變形，實(shí)現(xiàn)視頻幀的幀間連續(xù)拼接994.3視頻拼接方法4.3.2基于內(nèi)容保持的時(shí)空變形拼接方法整體預(yù)對(duì)齊100同一視頻相鄰幀不同視頻同時(shí)刻幀4.3視頻拼接方法4.3.2基于內(nèi)容保持的時(shí)空變形拼接方法整體預(yù)對(duì)齊局部?jī)?nèi)容保持的變形101特征點(diǎn)對(duì)齊相鄰網(wǎng)格點(diǎn)相鄰局部變形幀間特征點(diǎn)幀間網(wǎng)格點(diǎn)幀間局部變形4.3視頻拼接方法4.3.2基于內(nèi)容保持的時(shí)空變形拼接方法整體預(yù)對(duì)齊局部?jī)?nèi)容保持的變形時(shí)空三維圖割優(yōu)化計(jì)算拼接線1024.3視頻拼接方法4.3.2基于內(nèi)容保持的時(shí)空變形拼接結(jié)果1034.4圖像/視頻拼接矩形化4.4.1拼接邊界的矩形規(guī)則化處理圖像/視頻拼接后，往往產(chǎn)生不規(guī)則的邊界，需要進(jìn)一步規(guī)則化處理，恢復(fù)矩形邊界，更好地播放內(nèi)容104不規(guī)則邊界矩形邊界4.4圖像/視頻拼接矩形化4.4.2圖像的矩形規(guī)則化處理矩形邊界約束的網(wǎng)格變形具有矩形邊界的網(wǎng)格（增加縫隙，局部變形）網(wǎng)格驅(qū)動(dòng)的保形變形（全局變形）1054.4圖像/視頻拼接矩形化4.4.2圖像的矩形規(guī)則化處理矩形邊界約束的網(wǎng)格變形具有矩形邊界的網(wǎng)格（增加縫隙，局部變形）網(wǎng)格驅(qū)動(dòng)的保形變形（全局變形）線約束106

4.4圖像/視頻拼接矩形化4.4.2圖像的矩形規(guī)則化處理結(jié)果1074.4圖像/視頻拼接矩形化4.4.2視頻的矩形規(guī)則化處理借助運(yùn)動(dòng)估計(jì)建立幀間連續(xù)的矩形化網(wǎng)格變形特征點(diǎn)跟蹤線匹配108

形狀保持線保持運(yùn)動(dòng)保持邊界約束4.4圖像/視頻拼接矩形化4.4.2視頻的矩形規(guī)則化處理結(jié)果109提綱1.影像摳圖2.影像縮放3.影像融合4.影像拼接5.影像編輯1105.1概念圖像/視頻編輯定義通過(guò)圖像/視頻的顏色、形狀、結(jié)構(gòu)等信息的改變，生成新形式的圖像/視頻111+=顏色遷移形狀變形編輯傳播5.1概念圖像/視頻編輯要求圖像內(nèi)容的一致性視頻幀間的連續(xù)性認(rèn)知理解的正確性1125.2顏色遷移5.2.1定義從其他圖像或用戶交互中提供的色彩作為模板，修正目標(biāo)圖像的顏色，使其滿足模板色彩1135.2顏色遷移5.2.2方法5.2.2-1基于特征匹配的顏色遷移思想：在色相、色溫等顏色特征空間按照?qǐng)D像內(nèi)容的連續(xù)性進(jìn)行遷移114色相色溫5.2顏色遷移5.2.2方法5.2.2-1基于特征匹配的顏色遷移算法流程115色相空間部分通過(guò)基于二值匹配的算法學(xué)習(xí)空間連貫性處理輸入輸出5.2顏色遷移5.2.2方法5.2.2-1基于特征匹配的顏色遷移方法：色相劃分將兩個(gè)極小值點(diǎn)之間的部分作為一個(gè)直方圖塊，即容器。源圖像和模板圖像做同樣的劃分遷移過(guò)程是將源圖像的每個(gè)容器都映射到模板中找到對(duì)應(yīng)容器1165.2顏色遷移5.2.2方法5.2.2-1基于特征匹配的顏色遷移方法：色相匹配117對(duì)應(yīng)容器塊之間的能量源色調(diào)值遷移至模板色調(diào)值5.2顏色遷移5.2.2方法5.2.2-1基于特征匹配的顏色遷移方法：通過(guò)去除偽邊界效應(yīng)提高空間連續(xù)性1185.2顏色遷移5.2.2方法5.2.2-1基于特征匹配的顏色遷移結(jié)果119輸入模板結(jié)果輸入模板失敗的結(jié)果Yellowsky5.2顏色遷移5.2.2方法5.2.2-2基于筆畫約束的顏色遷移思想：用戶交互的筆畫顏色值作為種子，遷移至對(duì)應(yīng)的區(qū)域（灰度圖著色）1205.2顏色遷移5.2.2方法5.2.2-2基于筆畫約束的顏色遷移方法：灰度相近的相鄰像素，在遷移后具有相近的顏色；以筆畫顏色作為約束，優(yōu)化局部顏色相似性121相鄰像素的相似性視頻鄰域5.2顏色遷移5.2.2方法5.2.2-2基于筆畫約束的顏色遷移結(jié)果1225.3編輯傳播5.3.1定義將圖像/視頻局部編輯的結(jié)果傳播到其余部分，從而只需要用戶輸入較小的信息集，便可實(shí)現(xiàn)圖像/視頻編輯1235.3編輯傳播5.3.2方法5.3.2-1基于區(qū)域相似性的編輯傳播思想：相似外觀的區(qū)域接受相近的編輯，或者構(gòu)造顏色、空間等相似區(qū)域進(jìn)行編輯1245.3編輯傳播5.3.2方法5.3.2-1基于區(qū)域相似性的編輯傳播方法：優(yōu)化圖像空間的相似性函數(shù)125空間位置像素表觀：局部顏色均值/方差等5.3編輯傳播5.3.2方法5.3.2-1基于區(qū)域相似性的編輯傳播方法：優(yōu)化圖像空間的相似性函數(shù)126編輯區(qū)域有相似的表現(xiàn)滿足用戶編輯g的約束wj:指定滿足約束條件像素的權(quán)重沒(méi)有第二項(xiàng)有第二項(xiàng)5.3編輯傳播5.3.2方法5.3.2-1基于區(qū)域相似性的編輯傳播結(jié)果1275.3編輯傳播5.3.2方法5.3.2-2基于K-D樹(shù)的快速傳播思想：通過(guò)空間自適應(yīng)剖分加快傳播函數(shù)的計(jì)算速度，提高編輯傳播效率1285.3編輯傳播5.3.2方法5.3.2-2基于K-D樹(shù)的快速傳播方法：將圖像映射到特征空間（坐標(biāo)+顏色），對(duì)特征空間進(jìn)行K-D樹(shù)劃分，建立層次結(jié)構(gòu)129appearancepositions特征空間特征向量輸入圖像5.3編輯傳播5.3.2方法5.3.2-2基于K-D樹(shù)的快速傳播用戶交互映射到特征空間130用戶交互5.3編輯傳播5.3.2方法5.3.2-2基于K-D樹(shù)的快速傳播用戶交互映射到特征空間特征空間的K-D樹(shù)劃分相似的編輯在特征空間具有相似關(guān)系連續(xù)性體現(xiàn)在相似關(guān)系的特征空間131每個(gè)葉節(jié)點(diǎn)作為一個(gè)簇編輯傳播在K維樹(shù)單元轉(zhuǎn)角5.3編輯傳播5.3.2方法5.3.2-2基于K-D樹(shù)的快速傳播用戶交互映射到特征空間特征空間的K-D樹(shù)劃分線性插值K-D樹(shù)節(jié)點(diǎn)快速生成編輯傳播后特征映射回圖像空間，得到編輯結(jié)果1325.3編輯傳播5.3.2方法5.3.2-2基于K-D樹(shù)的快速傳播結(jié)果（Demo）133K-DTreespace:45M

time:13sAppPropspace:33G

time:70min5.4圖像變形5.4.1定義通過(guò)操控圖像定義域，改變圖像中物體的幾何形狀，實(shí)現(xiàn)圖像整體或局部的變形像素域（圖像方法）參數(shù)域（圖形方法）1345.4圖像變形5.4.1定義像素域（圖像方法）變形根據(jù)變形函數(shù)逐像素改變輸入圖像，生成變形后的圖像135h原圖相似仿射投影5.4圖像變形5.4.1定義像素域（圖像方法）變形相似變形136二維尺度、旋轉(zhuǎn)和平移變換的組合。允許一個(gè)正方形被轉(zhuǎn)換成任何旋轉(zhuǎn)的矩形。線之間的夾角被保留自由度為4（a，b，c，d）逆是相同的表示（相似性）。通過(guò)2x3矩陣的逆來(lái)給出5.4圖像變形5.4.1定義像素域（圖像方法）變形仿射變形137二維尺度、旋轉(zhuǎn)、剪切和平移變換的組合。允許一個(gè)正方形扭曲成任何平行四邊形。自由度為6（a，b，c，d，e，f）逆是相同表示（也就是仿射）。通過(guò)3x3矩陣的逆給出在二維的3個(gè)點(diǎn)，6個(gè)自由度控制一個(gè)三角形的扭曲是良好的。5.4圖像變形5.4.1定義像素域（圖像方法）變形投影變形138線性分子和分母如果G=H=0，那么你一個(gè)特殊情況的仿射允許一個(gè)正方形被扭曲成任何四邊形自由度為8（a-h）。我們可以選擇i

=1或者任意逆是同一形式（也就是投影）。在二維空間的4個(gè)點(diǎn)確定自由度為8，來(lái)控制四邊形扭曲。5.4圖像變形5.4.1定義參數(shù)域（圖形方法）變形通過(guò)控制點(diǎn)或嵌入網(wǎng)格頂點(diǎn)的變形，驅(qū)動(dòng)圖像進(jìn)行相應(yīng)的變形變形后的圖像滿足控制點(diǎn)位置的幾何約束1395.4圖像變形5.4.2方法移動(dòng)最小二乘（movingleastsquare）變形思想：采用多重局部幾何變換的加權(quán)作用，實(shí)現(xiàn)圖像的整體變形，滿足控制點(diǎn)約束140單一整體幾何變換多重局部幾何變換5.4圖像變形5.4.2方法移動(dòng)最小二乘（movingleastsquare）變形方法：給定每一個(gè)像素，計(jì)算變形函數(shù)，在最小二乘優(yōu)化意義下滿足控制點(diǎn)約束1415.4圖像變形5.4.2方法移動(dòng)最小二乘（movingleastsquare）變形方法：給定每一個(gè)像素，計(jì)算變形函數(shù)，在最小二乘優(yōu)化意義下滿足控制點(diǎn)約束142局部定義變形滿足幾何性質(zhì)插值光滑控制點(diǎn)不變性5.4圖像變形5.4.2方法移動(dòng)最小二乘（movingleastsquare）變形仿射變換的顯式解143其中5.4圖像變形5.4.2方法移動(dòng)最小二乘（movingleastsquare）變形相似變換的顯式解144其中5.4圖像變形5.4.2方法移動(dòng)最小二乘（movingleastsquare）變形剛性變換的顯式解1455.4圖像變形5.4.2方法移動(dòng)最小二乘（movingleastsquare）變形仿射變換、相似變換、剛性變換1465.4圖像變形5.4.2方法移動(dòng)最小二乘（movingleastsquare）變形結(jié)果（Demo）1475.5視頻去抖5.5.1定義借助硬件或者算法處理視頻幀序列，使得運(yùn)動(dòng)環(huán)境下拍攝的視頻仍能夠具有平穩(wěn)的幀間運(yùn)動(dòng)148TripodDollySteadicam硬件方法5.5視頻去抖5.5.1定義借助硬件或者算法處理視頻幀序列，使得運(yùn)動(dòng)環(huán)境下拍攝的視頻仍能夠具有平穩(wěn)的幀間運(yùn)動(dòng)149算法：數(shù)字去抖5.5視頻去抖5.5.1定義數(shù)字去抖150運(yùn)動(dòng)平滑運(yùn)動(dòng)補(bǔ)償運(yùn)動(dòng)估計(jì)幀間運(yùn)動(dòng)平滑路徑圖像變形5.5視頻去抖5.5.2方法2維方法將幀間運(yùn)動(dòng)描述為平面光流或者幾何變換序列，借助低通濾波（高斯濾波）進(jìn)行運(yùn)動(dòng)平滑5.5視頻去抖5.5.2方法3維方法借助三維重建恢復(fù)三維空間中的相機(jī)運(yùn)動(dòng)路徑，并通過(guò)路徑平滑處理，獲得運(yùn)動(dòng)穩(wěn)定的幀圖像Demo5.5視頻去抖5.5.2方法延時(shí)視頻去抖Timelapse，縮時(shí)攝影或這縮時(shí)錄影，將時(shí)間壓縮制作視頻形式連續(xù)播放1535.5視頻去抖5.5.2方法延時(shí)視頻去抖Hyperlapse，拍攝位置發(fā)生變化的延時(shí)視頻3維去抖方法154三維空間路徑估計(jì)及平滑平滑路徑上的重繪制拼接與融合Demo參考文獻(xiàn)Bluescreenmatting.Smith,A.R.andBlinn,J.F.Siggraph,1996.Softedgechroma-keygenerationbaseduponhexoctahedralcolorspace.Y.Mishima.U.S.Patent5355174,1993.ABayesianapproachtodigitalmatting.Y.Chuang,B.Curless,D.Salesin,andR.Szeliski.CVPR2001.Alphaestimationinnaturalimages.Ruzon,M.A.andTomasi,C.CVPR,2000.Poissonmatting.J.Sun,J.Jia,C.Tang,H.Shum.SIGGRAPH2004.Aniterativeoptimizationapproachforunifiedimagesegmentationandmatting.J.Wang,M.Cohen.ICCV2005.Spectralmatting.A.Levin,A.Rav-Acha,D.Lischinski.CVPR2006.Easymatting:astrokebasedapproachforcontinuousimagematting.Y.Guan,W.Cheny,X.Liang,Z.Ding,Q.Peng.Eurographics2006.Aclosedformsolutiontonaturalimagesmatting.A.Levin,D.LischinskiandY.Weiss.CVPR2006.Digitalphotographywithflashandno-flashimagepairs.G.Petschnigg,M.Agrawala,H.Hoppe,R.Szeliski,andM.Cohen.Siggraph,2004.155參考文獻(xiàn)Imagesnapping.M.Gleicher.SIGGRAPH1995.Intelligentscissors.EricMortensenandWilliamA.Barrett.SIGGRAPH1995.Lazysnapping.Y.Li,J.Sun,C.-K.Tang,H.Shum.SIGGRAPH2004.Videoobjectcutandpaste.Y.Li,J.Sun,H.-Y.Shum.SIGGRAPH2006.Interactivevideocutout.J.Wang,P.Bhat,A.Colbun,etal.SIGGAPH2005.Naturalvideomattingusingcameraarrays.N.Joshi,W.Matusik,S.Avidan.SIGGRAPH2006.Imageandvideomatting:asurvey.J.Wang,F.Cohen.FoundationsandTrends.Anoverviewofimageandvideosegmentationinthelast40years.Y.-J.Zhang.2001.Imagesegmentation.A.-P.Dhawan.Medicalimageanalysis,2010.Videosegmentationanditsapplication.K.Ngan,H.-L.Li.Springer,2011.156參考文獻(xiàn)Colortransferbetweenimages.E.Reinhard,M.Ashikhmin,B.Gooch,andP.Shirley.IEEEComput.Graph.Appl.,2001.Transferringcolortogreyscaleimages.T.Welsh,M.AshikhminandK.Mueller.ACMTOG,2002.Colorizationusingoptimization.A.Levin,D.Lischinski,Y.Weiss.ACMTOG,2004.Example-basedpaintingguidedbycolorfeatures.HuaHuang,YuZang,Chen-FengLi.TheVisualComputer,2010.Seamcarvingforcontentawareimageresizing.Avidan,S.,AndShamir,A.,ACMTOG,2007.Optimizedscale-and-stretchforimageresizing.Wang,Yu-ShuenandTai,Chiew-LanandSorkine,OlgaandLee.ACMTOG,2008Real-timecontent-awareimageresizing.HuaHuang,TianNanFu,PaulLRosin,andChunQi.ScienceinChinaSeriesF:InformationSciences,2009Improvedseamcarvingforvideoretargeting.RubinsteinM,ShamirA,andAvidanS.ACMTOG,2008.157參考文獻(xiàn)As-Projective-As-PossibleImageStitchingwithMovingDLT.JulioZaragoza,Tat-JunChin,MichaelBrown,DavidSuter.CVPR,2013.Shape-PreservingHalf-ProjectiveWarpsforImageStitching.Che-HanChang,YoichiSato,Yung-YuChuang.CVPR,2014.AdaptiveAs-Natural-As-PossibleImageStitching.Chung-ChingLin,SharathchandraU.Pankanti.CVPR,2015.AppProp:all-pairsappearance-spaceeditpropagation.An,X.andF.Pellacini.ACMTrans.Graph,2008.EfficientAffinity-basedEditPropagationusingK-DTree.KXu,YLi,TJu,SMHu,TQLiu.ACMTOG.2009.Feature-basedimagemetamorphosis.T.Beier,S.Neely.SIGGRAPH1992.RepSnapping:efficientimagecutoutforrepeatedsceneelements.HuaHuang,LeiZhang,Hong-ChaoZhang.ComputerGraphicsForum2011EXCOL:AnEXtract-and-COmpleteLayeringApproachtoCartoonAnimationReusing.LeiZhang,HuaHuang,HongboFu.

TVCG,2012158參考文獻(xiàn)VideoStitchingwithSpatial-TemporalContent-PreservingWarping.WeiJiang,JinweiGu.CVPR,2015.SeamlessVideoStitchingfromHand-heldCameraInputs.KaimoLin,ShuaichengLiu,Loong-FahCheong,BingZeng.Eurographics,2016.Motion-AwareGradientDomainVideoComposition.TaoChen,Jun-YanZhu,ArielShamir,Shi-MinHu.IEEETIP,2013.Full-framevideostabilization.MatsushitaY.,OfekE.,TangX.O.,ShumH.Y.

Proc.CVPR,2005.Content-preservingwarpsfor3Dvideostabilization.LiuF.,GleicherM.,JinH.L.,AgarwalaA.ACMTransactionsonGraphics,28(3),44:1-44:9,2009.159計(jì)算機(jī)圖形學(xué)第八章計(jì)算攝像供《現(xiàn)代計(jì)算機(jī)圖形學(xué)基礎(chǔ)》配套使用160提綱1.攝像的發(fā)展2.數(shù)碼成像3.計(jì)算成像4.計(jì)算光場(chǎng)成像5.計(jì)算光譜成像6.實(shí)際中的計(jì)算攝像1611.1歷史發(fā)展攝像起源于戰(zhàn)國(guó)時(shí)期的小孔成像，隨著光學(xué)系統(tǒng)、成像介質(zhì)等的發(fā)展，攝像技術(shù)也產(chǎn)生了巨大的變革162戰(zhàn)國(guó)時(shí)期十五世紀(jì)1822年1888年1969年2000年小孔成像暗箱寫生銀版照相膠卷相機(jī)數(shù)碼相機(jī)手機(jī)拍攝小孔成像暗箱寫生銀版照相膠卷相機(jī)數(shù)碼相機(jī)手機(jī)拍攝光場(chǎng)相機(jī)光學(xué)小孔小孔凸透鏡鏡頭組鏡頭組微鏡頭組微鏡頭陣列介質(zhì)光屏紙張金屬膠卷CCDCMOSCCD對(duì)焦滑動(dòng)標(biāo)尺拉箱拉箱手動(dòng)馬達(dá)馬達(dá)馬達(dá)2011年光場(chǎng)相機(jī)1.1歷史發(fā)展1.1.1小孔成像戰(zhàn)國(guó)初期，墨子（公元前468年-公元前376年）和弟子們完成了世界上第一個(gè)小孔成像的實(shí)驗(yàn)，并記錄在《墨經(jīng)》中：“景到，在午有端，與景長(zhǎng)。說(shuō)在端”。1631.1歷史發(fā)展1.1.2暗箱寫生十五世紀(jì)末期，根據(jù)小孔成像原理制作了暗箱（CameraObscure），成為照相機(jī)的雛形。利用這種工具，只要用鉛筆將影像反射在畫紙的，描繪出輪廓，再著色即可完成一幅很有真實(shí)感的完全符合真實(shí)比例的畫像。1641.1歷史發(fā)展1.1.3銀版照相1822年，法國(guó)的涅普斯在感光材料上制出了世界上第一張照片。1838年，法國(guó)物理學(xué)家達(dá)蓋爾發(fā)明蓋爾的銀版照相法，是利用鍍有碘化銀的鋼板在暗箱里曝光，然后以水銀蒸汽顯影，再以普通食鹽定影。1651.1歷史發(fā)展1.1.4膠卷照相1888年，美國(guó)柯達(dá)公司發(fā)明了一種柔軟、可卷繞的新型感光材料--“膠卷”。同年，柯達(dá)公司發(fā)明了世界上第一臺(tái)安裝膠卷的可攜式方箱照相機(jī)--KodakNo.1。1661.1歷史發(fā)展1.1.5數(shù)碼照相1969年，CCD芯片作為相機(jī)感光材料在美國(guó)的阿波羅登月飛船上搭載的照相機(jī)中得到應(yīng)用，開(kāi)啟了數(shù)碼照相的先河。1981年，索尼公司推出第一款面向公眾的數(shù)碼相機(jī)Mavica。167SonyMavica1.1歷史發(fā)展1.1.6手機(jī)照相2000年，夏普發(fā)布了內(nèi)置11萬(wàn)像素CCD攝像頭的J-SH04手機(jī)，是世界第一款照相手機(jī)。2003年，夏普發(fā)布并J-SH53手機(jī)，可拍攝最大1144×858像素的照片，成為世界上第一款百萬(wàn)像素照相手機(jī)。168J-SH04J-SH531.2成像原理光學(xué)成像并通過(guò)感光介質(zhì)記錄光學(xué)原理直線傳播折射、衍射…感光介質(zhì)膠卷CCDCMOS…169CCDCMOS1.2成像原理光學(xué)成像并通過(guò)感光介質(zhì)記錄為什么不直接使用感光介質(zhì)記錄光？170介質(zhì)上每一點(diǎn)記錄物體上所有點(diǎn)的信息。介質(zhì)上每一點(diǎn)的顏色相同。1.2成像原理1.2.1小孔成像原理可見(jiàn)光成像直線傳播特點(diǎn)沒(méi)有幾何扭曲直線保持直線無(wú)限景深每一點(diǎn)在焦點(diǎn)上1711.2成像原理1.2.1小孔成像小孔徑產(chǎn)生衍射模糊亮度低大孔徑產(chǎn)生幾何馬賽克模糊光斑1721.2成像原理1.2.1小孔成像173大孔徑幾何模糊小孔徑衍射模糊最優(yōu)孔徑亮度低1.2成像原理1.2.2透鏡成像可見(jiàn)光成像折射增加了成像光

線強(qiáng)度，同時(shí)

避免幾何模糊1741.2成像原理1.2.2透鏡成像斯涅耳定律（Snell’slaw）光從一種介質(zhì)進(jìn)入另一種介質(zhì)，由于

傳播速度的不同，在介質(zhì)表面發(fā)生光

的折射，其折射率與入射角、折射角

滿足如下關(guān)系：1751.2成像原理1.2.2透鏡成像光線折射折射率空氣1、水1.33、玻璃1.5-1.8從空氣進(jìn)入玻璃，光線朝法向彎曲從玻璃進(jìn)入空氣，光線遠(yuǎn)離法向垂直入射不改變光線方向1761.2成像原理1.2.2透鏡成像雙曲透鏡：將平行光線匯聚到一點(diǎn)的理想透鏡

（費(fèi)馬原理：光線傳播的路徑是需時(shí)最少的路徑）加工困難177平行光線：平面波匯聚光線：球面波1.2成像原理1.2.2透鏡成像球面透鏡：加工簡(jiǎn)單，但存在球差現(xiàn)象（Sphericalaberration）178計(jì)算機(jī)控制拋光1.2成像原理1.2.2透鏡成像單個(gè)球面：近軸逼近（paraxialapproximation）或稱為一階光學(xué)（first-orderoptics）179計(jì)算物體空間P點(diǎn)在成像空間的位置P’點(diǎn)?1.2成像原理1.2.2透鏡成像180斯涅耳定律泰勒逼近近軸逼近1.2成像原理1.2.2透鏡成像181軸聚焦：P點(diǎn)發(fā)出的所有光線匯聚P’點(diǎn)1.2成像原理1.2.2透鏡成像182焦距（focallength）：1.2成像原理1.2.2透鏡成像透鏡公式（Lensmaker’sformula）兩個(gè)球面相交構(gòu)成薄透鏡（），物距so和像距si滿足:1831.2成像原理1.2.2透鏡成像高斯公式（Gaussianlensformula）物距so、像距si和焦距fi滿足：不同遠(yuǎn)近的物體成像需要調(diào)整鏡頭到介質(zhì)的距離1841.2成像原理1.2.2透鏡成像高斯光路平行于光軸的光線經(jīng)過(guò)透鏡

后匯聚到焦點(diǎn)經(jīng)過(guò)透鏡中心的光線不發(fā)生

改變來(lái)自于平行透鏡的平面的光

線聚焦在平行于透鏡的另一

個(gè)平面1851.2成像原理1.2.2透鏡成像假設(shè)感光介質(zhì)尺寸固定，視場(chǎng)（fieldofvision）和焦距成反比1861.2成像原理1.2.2透鏡成像假設(shè)感光介質(zhì)尺寸固定，視場(chǎng)（fieldofvision）和焦距成反比1871.2成像原理1.2.2透鏡成像視場(chǎng)（fieldofvision）與感光介質(zhì)尺寸成正比188APS-C14.8x22.2mmCannonDSLR24x36mm1.2成像原理1.2.3實(shí)際相機(jī)透鏡系統(tǒng)由一系列的透鏡組合而成，最大限度地降低像差、色差等。189Vivitarseries190mmf/2.51.3透鏡成像參數(shù)1.3.1曝光（Exposure）曝光=輻照度×曝光時(shí)間輻照度（Irradiance，E）光圈控制曝光時(shí)間（T）快門控制1901.3透鏡成像參數(shù)1.3.2光圈（Aperture）用來(lái)控制光線透過(guò)鏡頭、進(jìn)入機(jī)身內(nèi)感光介質(zhì)通光量的孔狀光柵。光圈數(shù)（aperturenumber）：191孔徑1.3透鏡成像參數(shù)1.3.2光圈（Aperture）感光介質(zhì)表面接收的輻照度影像成像效果與孔徑大小成正比與光圈數(shù)成反比最小光圈數(shù)普通相機(jī)：f/0.5單反相機(jī)：f/1.0192CannonEOSf/1.01.3透鏡成像參數(shù)1.3.3快門（Shutter）葉片式快門（Leafshutter，鏡間快門）安靜速度慢（最快1/500秒）逐個(gè)透鏡設(shè)置焦平面式快門（Focal-planeshutter）聲音大速度快（最快1/4000秒）運(yùn)動(dòng)扭曲1931.3透鏡成像參數(shù)1.3.3快門（Shutter）快門速度：控制感光介質(zhì)曝光時(shí)間單位：1秒的比例1/2000、1/1000、…、1/250、…控制技巧最短曝光時(shí)間1/f例如焦距500mm的透鏡，快門速度控制在1/500秒1941.3透鏡成像參數(shù)1.3.4景深（depthoffield，DoF）彌散圓（circleofconfusion）：物點(diǎn)成像時(shí)由于不能匯聚到一點(diǎn)而產(chǎn)生的圓形投影。1951.3透鏡成像參數(shù)1.3.4景深（depthoffield，DoF）在焦點(diǎn)前后容許彌散圓范圍內(nèi)的景物的深度。彌散圓越小，成像越銳利，反之越虛。196N:光圈數(shù)f：焦距so：物距c：彌散圓直徑so前景深后景深1.3透鏡成像參數(shù)1.3.4景深（depthoffield，DoF）景深與光圈的反比關(guān)系：在容許彌散圓大小下，光圈越大，景深越小；光圈越小，景深越大。197大光圈小光圈1.3透鏡成像參數(shù)1.3.4景深（depthoffield，DoF）景深與焦距的反比關(guān)系：鏡頭焦距越長(zhǎng)，景深越??；焦距越短，景深越大。198短焦鏡頭長(zhǎng)焦鏡頭1.3透鏡成像參數(shù)1.3.4景深（depthoffield，DoF）景深與物距的正比關(guān)系：距離越遠(yuǎn)，景深越大；距離越近，景深越小。199靠近對(duì)象遠(yuǎn)離對(duì)象提綱1.攝像的發(fā)展2.數(shù)碼成像3.計(jì)算成像4.計(jì)算光場(chǎng)成像5.計(jì)算光譜成像6.實(shí)際中的計(jì)算攝像2002.1成像過(guò)程數(shù)碼相機(jī)Digitalstillcamera（DSC或DC），利用電子傳感器把光學(xué)影像轉(zhuǎn)換成電子數(shù)據(jù)的照相機(jī)。201CCD\CMOSImagesignalprocessor2.1成像過(guò)程數(shù)碼相機(jī)CCD（電荷耦合器件）：通過(guò)布置微小光敏物質(zhì)作為像素（Pixel）一種半導(dǎo)體器件，能夠把光學(xué)影像轉(zhuǎn)化為電信號(hào)。點(diǎn)陣式體積小、重量輕響應(yīng)快、圖像畸變小靈敏度高常用于數(shù)碼照相機(jī)、數(shù)碼攝像機(jī)2022.1成像過(guò)程數(shù)碼相機(jī)CMOS（互補(bǔ)型金屬氧化物半導(dǎo)體）：通過(guò)外界光照射像素陣列，發(fā)生光電效應(yīng)，在像素單元內(nèi)產(chǎn)生相應(yīng)的電荷把光學(xué)影像轉(zhuǎn)化為電信號(hào)。成本低、價(jià)格便宜功耗小噪音大常用于網(wǎng)絡(luò)攝像頭、視頻監(jiān)控2032.1成像過(guò)程數(shù)碼相機(jī)ISP（圖像信號(hào)處理器）：對(duì)前端傳感介質(zhì)輸出信號(hào)處理的單元，很大程度上決定了成像質(zhì)量。204傳感器ADCISP存儲(chǔ)去馬賽克3A調(diào)整白平衡去噪/銳化壓縮…2.2ISP圖像處理2.2.1去馬賽克（Demosaicing）物理上，CCD只會(huì)感應(yīng)光的強(qiáng)度，而無(wú)法區(qū)分不同的顏色。采用色分離技術(shù)獲取顏色（R/G/B）濾光片3CCD單CCD濾色鏡205濾光片3CCD單CCD濾色鏡2.2ISP圖像處理2.2.1去馬賽克（Demosaicing）單CCD彩色濾波陣列（CFA：colorfilterarray）拜耳（Bayer）濾波器206拜耳模式綠色2.2ISP圖像處理2.2.1去馬賽克（Demosaicing）207去馬賽克前去馬賽克后2.2ISP圖像處理2.2.1去馬賽克（Demosaicing）線性插值（4鄰域均值）非線性核函數(shù)雙三次插值208線性插值2.2ISP圖像處理2.2.1去馬賽克（Demosaicing）插值存在的問(wèn)題偽彩色（colorfringes）：RGB不在相同的空間位置，從而在黑白邊界處由于缺少某個(gè)顏色而產(chǎn)生偽彩色209拜耳去馬賽克3CCD成像拍攝對(duì)象拜耳圖像去馬賽克2.2ISP圖像處理2.2.1去馬賽克（Demosaicing）插值存在的問(wèn)題摩爾紋（moire）：兩個(gè)頻率接近的等幅正弦波疊加而產(chǎn)生的干涉條紋2102.2ISP圖像處理2.2.1去馬賽克（Demosaicing）插值存在的問(wèn)題解決方案：色度空間低通濾波211去馬賽克：簡(jiǎn)單插值拜耳模式RGB轉(zhuǎn)換為YCbCr顏色空間對(duì)Cb和Cr通道中值濾波YCbCr轉(zhuǎn)換為RGB空間YCbCr2.2ISP圖像處理2.2.1去馬賽克（Demosaicing）插值存在的問(wèn)題解決方案：色度空間低通濾波212簡(jiǎn)單插值低通濾波2.2ISP圖像處理2.2.2白平衡（Whitebalancing）調(diào)整不同環(huán)境光照下的白色白色是指反射到人眼中的光線由于藍(lán)、綠、紅三種色光比例相同且具有一定的亮度所形成的視覺(jué)反應(yīng)。通過(guò)色溫定義不同環(huán)境光照下的白色2132.2ISP圖像處理2.2.2白平衡（Whitebalancing）自動(dòng)白平衡（Autowhitebalancing,AWB）灰色世界法則（Grayworldtheory）：假設(shè)自然界景物對(duì)于光線的平均反射的均值在總體上是個(gè)定值，這個(gè)定值近似地為“灰色”。214調(diào)整系數(shù)AverageRGB2.2ISP圖像處理2.2.2白平衡（Whitebalancing）手動(dòng)白平衡：選擇真實(shí)光照環(huán)境下作為白色的參照物，通過(guò)R/G/B三個(gè)通道的顏色映射進(jìn)行調(diào)整2152.2ISP圖像處理2.2.3色調(diào)映射（Tonemapping）在有限動(dòng)態(tài)范圍媒介上近似顯示高動(dòng)態(tài)范圍圖像通過(guò)大幅度的對(duì)比度衰減將場(chǎng)景亮度變換到可以顯示的范圍，同時(shí)要保持圖像細(xì)節(jié)與顏色等對(duì)于表現(xiàn)原始場(chǎng)景非常重要的信息。A.k.acontrastcorrection2162.2ISP圖像處理2.2.3色調(diào)映射（Tonemapping）方法：Gamma矯正217輸入2.2ISP圖像處理2.2.43AAF（自動(dòng)對(duì)焦）AE（自動(dòng)曝光）AWB（自動(dòng)白平衡）2182.2ISP圖像處理2.2.43AAF（自動(dòng)對(duì)焦）主動(dòng)式（activeautofocus）Time-of-flight聲波測(cè)距：SONAR=soundnavigationandranging被動(dòng)式（passiveautofocus）相位檢測(cè)、反差式、混合式219距離有限無(wú)法穿透玻璃2.2ISP圖像處理2.2.43AAF（自動(dòng)對(duì)焦）相位檢測(cè)（phasedetection）通過(guò)比較分光鏡面二次成像之間的相位

距離判斷是否對(duì)焦，直接驅(qū)動(dòng)鏡片移動(dòng)

到焦點(diǎn)位置。2202.2ISP圖像處理

2.2.43AAF（自動(dòng)對(duì)焦）反差檢測(cè)（contrastdetection）分析在不同的焦點(diǎn)位置圖像傳感器

上的對(duì)比度，尋找最大對(duì)比度的位

置作為焦點(diǎn)。2212.2ISP圖像處理

2.2.43AAF（自動(dòng)對(duì)焦）混合對(duì)焦（hybridAF）結(jié)合兩種自動(dòng)對(duì)焦的

優(yōu)點(diǎn)相位檢測(cè)粗對(duì)焦反差檢測(cè)細(xì)對(duì)焦2222.2ISP圖像處理

2.2.43AAF（自動(dòng)對(duì)焦）馬達(dá)驅(qū)動(dòng)鏡片前后移動(dòng)滿足對(duì)焦條件USM：超聲波馬達(dá)，將電磁轉(zhuǎn)換為超聲波，通過(guò)振動(dòng)進(jìn)行機(jī)械位移2232.2ISP圖像處理

2.2.43AAE（自動(dòng)曝光）曝光與輻照度/快門速度有關(guān)：

曝光=光圈×曝光時(shí)間測(cè)光（metering）：根據(jù)入射光線條件自動(dòng)確定曝光量224單反相機(jī)9×7像素陣列2.2ISP圖像處理

2.2.43AAE（自動(dòng)曝光）中央重點(diǎn)測(cè)光：畫面中央部分的測(cè)光數(shù)據(jù)占絕大部分比例，而中央以外的測(cè)光數(shù)據(jù)作為小部分比例局部測(cè)光：對(duì)畫面的某一局部進(jìn)行測(cè)光點(diǎn)測(cè)光：以中央的一極小范圍區(qū)域作為曝光基準(zhǔn)點(diǎn)，相機(jī)根據(jù)這個(gè)較窄區(qū)域測(cè)得的光線，作為曝光依據(jù)225Demo2.3其他圖像處理典型案例看見(jiàn)“不可見(jiàn)”（MIT,2013）2262.3其他圖像處理典型案例不看“不想見(jiàn)”（MIT,2015）227提綱1.攝像的發(fā)展2.數(shù)碼成像3.計(jì)算成像4.計(jì)算光場(chǎng)成像5.計(jì)算光譜成像6.實(shí)際中的計(jì)算攝像2283.1概念計(jì)算成像（ComputationalimagingorComputationalphotography）通過(guò)光學(xué)編碼和計(jì)算解碼過(guò)程生成圖像主要結(jié)合光學(xué)技術(shù)、數(shù)字圖像處理技術(shù)擴(kuò)展傳統(tǒng)成像功能和提高光學(xué)成像質(zhì)量229“Computationisthenewoptics”FredoDurand,MIT2016SiggraphComputerGraphicsAchievementAward3.1概念計(jì)算成像

vs.傳統(tǒng)成像230傳統(tǒng)攝像計(jì)算攝像場(chǎng)景透鏡傳感器數(shù)字圖像圖像處理計(jì)算計(jì)算計(jì)算計(jì)算場(chǎng)景透鏡傳感器數(shù)字圖像圖像處理拍攝成像3.1概念計(jì)算成像

vs.傳統(tǒng)成像231計(jì)算成像的維度spatialtemporalspectrumfieldofviewdynamicrangedepth傳統(tǒng)成像計(jì)算成像編/解碼3.2計(jì)算成像編/解碼物體編碼+計(jì)算解碼通過(guò)改變鏡頭前方和物體相關(guān)的光路進(jìn)行計(jì)算成像232fieldofviewdepthspec-trum廣角成像全景成像漫反射恢復(fù)深度多光譜視頻3.2計(jì)算成像編/解碼瞳面編碼+計(jì)算解碼通過(guò)改變透鏡瞳面（pupilplane）入射/出射光路進(jìn)行計(jì)算成像233spatialdepthdynamicrange光圈相位編碼超分辨率光圈編碼恢復(fù)深度高動(dòng)態(tài)圖像重建3.2計(jì)算成像編/解碼焦面編碼+計(jì)算解碼通過(guò)改變焦平面（focalplane）傳感器的入射光路進(jìn)行計(jì)算成像234fieldofviewspatialtem-poral微透鏡組光場(chǎng)成像微透鏡組超高清成像高速攝像3.2計(jì)算成像編/解碼照明編碼+計(jì)算解碼通過(guò)相機(jī)閃光的照明狀態(tài)對(duì)入射光路進(jìn)行編碼及計(jì)算成像235spec-trumdepth多路LED照明光譜變光照三維重建3.2計(jì)算成像編/解碼相機(jī)陣列+計(jì)算解碼通過(guò)使用一組相機(jī)提高入射光路的視角分布并進(jìn)行計(jì)算成像236fieldofviewdepth光場(chǎng)成像多視角三維重建3.2計(jì)算成像編/解碼非傳統(tǒng)成像編解碼其他光路編碼和計(jì)算解碼方式237非線性微透鏡組微波材料感知成像3.3性能分析3.3.1度量信噪比（signal-to-noise-ratio，SNR）信號(hào)與噪聲的比例單位dB238計(jì)算成像編碼：光量增加，SNR增大解碼：噪音放大，SNR減小3.3性能分析3.3.1度量方式選擇計(jì)算成像和傳統(tǒng)成像都能處理的應(yīng)用場(chǎng)景進(jìn)行信噪比量化239去離焦模糊（EDOF）去運(yùn)動(dòng)模糊（motiondebluring）多路復(fù)用光場(chǎng)（lightfielddemultiplex）觀測(cè)數(shù)據(jù)原始信號(hào)編碼掩膜噪音計(jì)算成像：傳統(tǒng)成像：3.3性能分析3.3.2分析計(jì)算成像vs.傳統(tǒng)成像240<125lux光照環(huán)境下，計(jì)算成像相比于傳統(tǒng)成像將產(chǎn)生更優(yōu)的信噪比。3.3性能分析3.3.2分析計(jì)算成像vs.傳統(tǒng)成像241去離焦模糊去運(yùn)動(dòng)模糊多路復(fù)用光場(chǎng)提綱1.攝像的發(fā)展2.數(shù)碼成像3.計(jì)算成像4.計(jì)算光場(chǎng)成像5.計(jì)算光譜成像2424.1光場(chǎng)成像4.1.1光場(chǎng)編碼光場(chǎng)：光在每一個(gè)方向通過(guò)每一個(gè)點(diǎn)的光量全光函數(shù)243全光函數(shù)波長(zhǎng)時(shí)間方向位置4.1光場(chǎng)成像4.1.1光場(chǎng)編碼光場(chǎng)函數(shù)：有限視場(chǎng)范圍內(nèi)對(duì)于當(dāng)前時(shí)刻、固定強(qiáng)度光線的描述（4維）244全光函數(shù)光場(chǎng)函數(shù)RGB通道幀有限視場(chǎng)主鏡頭成像平面4.1光場(chǎng)成像4.1.2基于光場(chǎng)成像的重對(duì)焦傳統(tǒng)相機(jī)：記錄某一時(shí)刻焦平面的信息光場(chǎng)相機(jī)：記錄某一時(shí)刻不同平面的信息2454.1光場(chǎng)成像4.1.2基于光場(chǎng)成像的重對(duì)焦傳統(tǒng)相機(jī)：記錄光線強(qiáng)度，丟失光線方向2464.1光場(chǎng)成像4.1.2基于光場(chǎng)成像的重對(duì)焦光場(chǎng)相機(jī)：記錄光線強(qiáng)度和光線方向2474.1光場(chǎng)成像4.1.2基于光場(chǎng)成像的重對(duì)焦光場(chǎng)編碼光線強(qiáng)度和光線方向（四維光場(chǎng)函數(shù)）計(jì)算解碼光場(chǎng)重新參數(shù)化，積分成像2484.1光場(chǎng)成像4.1.2基于光場(chǎng)成像的重對(duì)焦結(jié)果（Demo）249第一代第二代先拍照后對(duì)焦4.2光圈編碼成像4.2.1散焦模糊(Defocusblur)景深以外的物體成像點(diǎn)沒(méi)有落在焦平面，形成具有一定面積的成像區(qū)域250In-focusOut-of-focus彌散圓4.2光圈編碼成像4.2.1散焦模糊(Defocusblur)清晰圖像局部卷積2514.2光圈編碼成像4.2.2基于光圈編碼的去散焦模糊去散焦模糊(Defocusdeblurring)模糊圖像反卷積252d??傅里葉變換4.2光圈編碼成像4.2.2基于光圈編碼的去散焦模糊圓形光圈成像的反卷積問(wèn)題削弱高頻信息核函數(shù)在頻域有多個(gè)零值點(diǎn)關(guān)鍵在于圓半徑r的選擇253愛(ài)里斑Airydisc4.2光圈編碼成像4.2.2基于光圈編碼的去散焦模糊編碼光圈消除不同尺度光圈的影響2544.2光圈編碼成像4.2.2基于光圈編碼的去散焦模糊編碼光圈消除不同尺度光圈的影響頻域零值點(diǎn)區(qū)間大小決定模糊核大小255空域頻域4.2光圈編碼成像4.2.2基于光圈編碼的去散焦模糊編碼光圈vs.圓形光圈圓形光圈：零值點(diǎn)彼此交叉覆蓋編碼光圈：零值點(diǎn)分開(kāi)，容易選

擇尺度2564.2光圈編碼成像4.2.2基于光圈編碼的去散焦模糊去散焦模糊：最大后驗(yàn)概率優(yōu)化的反卷積257Wiener反卷積4.2光圈編碼成像4.2.2基于光圈編碼的去散焦模糊結(jié)果258提綱1.攝像的發(fā)展2.數(shù)碼成像3.計(jì)算成像4.計(jì)算光場(chǎng)成像5.計(jì)算光譜成像6.實(shí)際中的計(jì)算攝像2595.1概念5.1.1光譜（spectrum）光學(xué)頻譜，是復(fù)色光經(jīng)過(guò)色散系統(tǒng)（如棱鏡、光柵）分光后，被色散開(kāi)的單色光按波長(zhǎng)（或頻率）大小而依次排列的圖案。2605.1概念5.1.1光譜分類按照波長(zhǎng)區(qū)域紫外光譜可見(jiàn)光譜紅外光譜微波（雷達(dá)）2615.1概念5.1.1光譜分類按照產(chǎn)生方式發(fā)射光譜物體自行發(fā)光形成的光譜吸收光譜連續(xù)光譜被吸收部分波長(zhǎng)光后的光譜散射光譜光照射物質(zhì)形成的非彈性散射光譜2625.1概念5.1.2光譜成像光譜提供物質(zhì)的屬性信息263太陽(yáng)光源大氣分子/懸浮顆粒物大氣分子石油、巖石、植被…光譜屬性5.1概念5.1.2光譜成像以遙感成像為例遙感傳感器接收的光譜是經(jīng)過(guò)大氣過(guò)濾（散射、吸收）波長(zhǎng)超過(guò)近紅外的光譜一般不考慮大氣影響2645.1概念5.1.2光譜成像以遙感成像為例對(duì)地觀測(cè)的遙感系統(tǒng)主要通過(guò)散射和地表發(fā)射光譜獲取信息太陽(yáng)輻射散射熱紅外雷達(dá)波成像2655.1概念5.1.2光譜成像以遙感成像為例光譜反射率（spectrumreflectance）2665.1概念5.1.2光譜成像問(wèn)題空間分辨率：圖像細(xì)節(jié)，表示為像素單元覆蓋的地面尺度譜分辨率：可區(qū)分的波長(zhǎng)范圍輻射分辨率：量化光譜強(qiáng)度的位數(shù)解決方案?jìng)鞲衅餍阅苡?jì)算