計算機圖形學(xué)第七章圖形學(xué)方法的影像處理供《現(xiàn)代計算機圖形學(xué)基礎(chǔ)》配套使用1傳統(tǒng)圖像與圖形的區(qū)別圖像位圖，以像素為單位記錄色彩信息2圖形矢量圖，以圖元為單位記錄色彩、形狀等信息基本組成元素：像素基本組成元素：非像素提綱1.影像摳圖2.影像縮放3.影像融合4.影像拼接5.影像編輯31.1概念1.1.1分割與摳圖將圖像或視頻劃分為多個區(qū)域的過程4分割（segmentation）:硬分割‘0’或‘1’摳圖（matting）:軟分割‘0~1’1.1概念1.1.1分割與摳圖對于微小特征的物體，摳圖提供了更加精細(xì)的劃分方式運動模糊或者微小的特征，比如頭發(fā)引起的像素的部分遮擋5超級采樣像素像素1.1概念1.1.1分割與摳圖6分割

合成結(jié)果摳圖合成結(jié)果原圖像1.1概念1.1.2摳圖定義對每個像素賦予‘0~1’的值

明確的背景

明確的前景否則是混合的71.1概念1.1.2摳圖定義高度“病態(tài)”問題：對每個像素而言，有7個未知量，但是只有3個方程1.2圖像摳圖方法基本策略引入先驗知識作為約束，將病態(tài)問題轉(zhuǎn)化為可求解問題減少未知量的數(shù)目，最優(yōu)化摳圖函數(shù)91.2圖像摳圖方法藍(lán)屏摳圖（背景已知）自然圖像摳圖（背景未知）基于Trimap輸入貝葉斯摳圖泊松摳圖基于筆畫輸入最小二乘摳圖閉形式摳圖閃光摳圖101.2圖像摳圖方法1.2.1藍(lán)屏摳圖思想：指定單一的背景顏色，將待摳取的物體置于背景前面方法：早期采用藍(lán)色背景，后來綠色更為流行50年代，PetrosVlahos發(fā)明了藍(lán)屏摳圖ultimatte?，曾獲奧斯卡終身成就獎111.2圖像摳圖方法1.2.1藍(lán)屏摳圖背景顏色和前景部分顏色作為已知條件BR=0,BG=0摳圖函數(shù)：對于每個像素具有4個未知量，3個方程12已知已知1.2圖像摳圖方法1.2.1藍(lán)屏摳圖如果前景物體不含B通道顏色FB=0簡化方程為3個未知數(shù)依次計算，，13已知已知1.2圖像摳圖方法1.2.2自然圖像摳圖輸入：1個輸入圖像，背景未知先驗：用戶交互輸入Trimap輸入筆畫優(yōu)化貝葉斯泊松最小二乘法閉形式141.2圖像摳圖方法1.2.2自然圖像摳圖：基于Trimap圖1.2.2-1貝葉斯摳圖輸入：Trimap圖初始前景(F)和背景(B)顏色：復(fù)制來自相鄰像素的顏色來猜測在混合區(qū)域中的F值、B值15給定F，B，求解用

估計F，B使用F，B更新1.2圖像摳圖方法1.2.2自然圖像摳圖：基于Trimap圖1.2.2-1貝葉斯摳圖摳圖函數(shù)：貝葉斯函數(shù)16給定待求區(qū)域像素與前景相似性與背景相似性1.2圖像摳圖方法1.2.2自然圖像摳圖：基于Trimap圖1.2.2-1貝葉斯摳圖摳圖函數(shù)：貝葉斯函數(shù)17給定待求區(qū)域像素最大似然概率貝葉斯定律1.2圖像摳圖方法1.2.2自然圖像摳圖：基于Trimap圖1.2.2-1貝葉斯摳圖結(jié)果181.2圖像摳圖方法1.2.2自然圖像摳圖：基于Trimap圖1.2.2-2泊松摳圖思想：假設(shè)前/背景區(qū)域的顏色變化均勻，摳圖值

的梯度模擬圖像的梯度191.2圖像摳圖方法1.2.2自然圖像摳圖：基于Trimap圖1.2.2-2泊松摳圖摳圖函數(shù)：泊松方程假設(shè)Fp和Bp取自最近

前景和背景像素的顏

色值關(guān)于摳圖值的優(yōu)化

函數(shù)20未知區(qū)域前景區(qū)域背景區(qū)域1.2圖像摳圖方法1.2.2自然圖像摳圖：基于Trimap圖1.2.2-2泊松摳圖摳圖函數(shù)：泊松方程假設(shè)Fp和Bp取自最近

前景和背景像素的顏

色值關(guān)于摳圖值的優(yōu)化

函數(shù)更新Trimap圖211.2圖像摳圖方法1.2.2自然圖像摳圖：基于Trimap圖1.2.2-2泊松摳圖結(jié)果22輸入貝葉斯摳圖泊松摳圖1.2圖像摳圖方法1.2.3自然圖像摳圖：基于筆畫圖1.2.3-1最小二乘優(yōu)化摳圖思想：以筆畫摳圖值作為先驗，并作為前景和背景合成的預(yù)估值，優(yōu)化其與像素值之間差異；相鄰像素具有相近的摳圖值231.2圖像摳圖方法1.2.3自然圖像摳圖：基于筆畫摳圖1.2.3-1最小二乘優(yōu)化摳圖摳圖函數(shù)：最小二乘函數(shù)24N

是像素數(shù)N(p)定義p的一個鄰域

對給定的的估計顏色值1.2圖像摳圖方法1.2.3自然圖像摳圖：基于筆畫摳圖1.2.3-2閉形式摳圖思想：在局部窗口范圍內(nèi)，

前景F和背景B近似常數(shù)25對于每個像素i1.2圖像摳圖方法1.2.3自然圖像摳圖：基于筆畫摳圖1.2.3-2閉形式摳圖摳圖函數(shù)：26正則化項

誤差函數(shù)1.2圖像摳圖方法1.2.3自然圖像摳圖：基于筆畫摳圖1.2.3-2閉形式摳圖對于彩色圖像，局部窗口范圍內(nèi)顏色位于一條顏色線271.2圖像摳圖方法281.2.3自然圖像摳圖：基于筆畫摳圖1.2.3-2閉形式摳圖摳圖函數(shù)：觀察:F、B在局部窗口的顏色是位于一條顏色線上1.2圖像摳圖方法291.2.3自然圖像摳圖：基于筆畫摳圖1.2.3-2閉形式摳圖結(jié)果291.2圖像摳圖方法1.2.4自然圖像摳圖：基于閃光圖思想：同時拍攝正常/閃光圖像增加約束條件301.2圖像摳圖方法1.2.4自然圖像摳圖：基于閃光摳圖方法：31閃光圖像非閃光圖像僅閃光圖像

僅閃光的圖像的背景是黑的貝葉斯摳圖1.2圖像摳圖方法321.2.4自然圖像摳圖：基于閃光圖結(jié)果1.3視頻摳圖方法視頻摳圖思想：結(jié)合視頻運動在幀間傳播摳圖值33輸入視頻關(guān)鍵幀圖插值圖1.3視頻摳圖方法視頻摳圖方法：以關(guān)鍵幀的摳圖值作為初始值，通過雙向傳播插值中間幀的摳圖值，并進(jìn)一步精細(xì)處理，生成中間幀摳圖結(jié)果34提綱1.影像摳圖2.影像縮放3.影像融合4.影像拼接5.影像編輯352.1概念圖像/視頻在不同終端顯示時，面臨畫面尺寸變化的問題。通過縮放減少或者擴展圖像的大小去適應(yīng)不同的顯示屏幕。362.1概念圖像處理（不）等比例縮放、裁剪圖形處理內(nèi)容感知的畫面增刪或變形37不等比例縮放等比例縮放裁剪縫隙增刪2.2圖像縮放方法2.2.1縫隙增刪思想：通過在圖像中增加水平和豎直方向連續(xù)的縫隙進(jìn)行擴大或縮小圖像縫隙：圖像中連通的低能量像素通路，并且每行或者每列只包含一個像素382.2圖像縮放方法2.2.1縫隙增刪方法定義縫隙為圖像中穿過較低視覺顯著性區(qū)域的連線39縫隙梯度圖視覺顯著性2.2圖像縮放方法2.2.1縫隙增刪方法定義縫隙為圖像中穿過較低視覺顯著性區(qū)域的連線動態(tài)規(guī)劃尋找符合條件的縫隙40豎直線最優(yōu)縫隙2.2圖像縮放方法2.2.1縫隙增刪方法定義縫隙為圖像中穿過較低視覺顯著性區(qū)域的連線動態(tài)規(guī)劃尋找符合條件的縫隙刪除縫隙，調(diào)整圖像尺寸412.2圖像縮放方法2.2.1縫隙增刪結(jié)果(Demo)42局限性效率低難以保持圖像結(jié)構(gòu)2.2圖像縮放方法2.2.2網(wǎng)格變形思想：以目標(biāo)尺寸為約束，對原始圖像進(jìn)行結(jié)構(gòu)保持的變形432.2圖像縮放方法2.2.2網(wǎng)格變形方法：變形網(wǎng)格的相似變換442.2圖像縮放方法2.2.2網(wǎng)格變形方法：變形網(wǎng)格的相似變換45均勻縮放比例縮放邊界條件2.2圖像縮放方法2.2.2網(wǎng)格變形方法：結(jié)構(gòu)圖像梯度+圖像顯著度梯度：圖像局部結(jié)構(gòu)分部顯著度：視覺注意區(qū)域在變形時保持結(jié)構(gòu)較少的變化46梯度圖顯著圖結(jié)構(gòu)圖原始圖2.2圖像縮放方法2.2.2網(wǎng)格變形方法：求解自適應(yīng)網(wǎng)格設(shè)置：更具結(jié)構(gòu)重要性圖放置網(wǎng)格頂點簡單縮放作為初值：472.2圖像縮放方法2.2.2網(wǎng)格變形

結(jié)果(Demo)48原始圖縫隙增刪網(wǎng)格變形局部線結(jié)構(gòu)扭曲2.3視頻縮放方法視頻縮放的難點逐幀進(jìn)行縫隙增刪導(dǎo)致了嚴(yán)重的扭曲缺乏時序的一致性思想視頻看做立方體，尋找時空一致的縫隙增刪49?2.3視頻縮放方法基于圖割優(yōu)化的縫隙增刪最優(yōu)縫隙的特點單調(diào)性：每行一個像素連通性：每條縫隙將圖像劃分為兩個連通區(qū)域502.3視頻縮放方法基于圖割優(yōu)化的縫隙增刪視頻立方體的三維圖構(gòu)造：單幀單向邊的權(quán)值回溯方向邊的權(quán)值51STpi+1,jpi,jpi+1,j+1pi,j+1

y

x

x

ypi,jpi,j+1pi+1,jpi+1,j+1

y

y

x

xpijpi,j+1pi+1,jpi+1,j+1∞∞∞∞E1E1∞∞單幀圖割優(yōu)化等價于動態(tài)規(guī)劃縫隙2.3視頻縮放方法基于圖割優(yōu)化的縫隙增刪視頻立方體的三維圖構(gòu)造52FrametFramet+1Framet+2時間視頻體2.3視頻縮放方法基于圖割優(yōu)化的縫隙增刪視頻立方體的三維圖優(yōu)化53源點終點ST原圖和目標(biāo)圖分別通過無限加權(quán)的弧被創(chuàng)建和連接到圖像的最左最右列的像素里。2.3視頻縮放方法基于圖割優(yōu)化的縫隙增刪

結(jié)果(Demo)54提綱1.影像摳圖2.影像縮放3.影像融合4.影像拼接5.影像編輯553.1概念3.1.1圖像/視頻融合（Image/videoblending/composition）將圖像/視頻中提取的對象合成到另外一張圖像/視頻，生成視覺上自然的新圖像/視頻563.1概念3.1.1圖像/視頻融合（Image/videoblending/composition）通過透明度alpha融合，可以消除不同圖像之間的邊界，生成連續(xù)的畫面57無融合透明度融合3.1概念3.1.2融合方式簡單透明度融合58自適應(yīng)內(nèi)容融合3.2圖像融合方法3.2.1泊松融合思想：原圖像的梯度嵌入到目標(biāo)圖像，根據(jù)目標(biāo)圖像的顏色恢復(fù)原圖像中物體59簡單融合泊松融合原圖像目標(biāo)圖像3.2圖像融合方法3.2.1泊松融合方法原圖像梯度：目標(biāo)圖像顏：重疊區(qū)域：60重疊區(qū)域融合3.2圖像融合方法3.2.1泊松融合方法：融合函數(shù)轉(zhuǎn)化為泊松方程61關(guān)于融合圖像顏色的線性方程組3.2圖像融合方法3.2.1泊松融合結(jié)果62簡單融合泊松融合3.2圖像融合方法3.2.2基于均值坐標(biāo)插值的融合思想：將圖像融合轉(zhuǎn)化為給定邊界的插值問題，通過插值過程生成融合結(jié)果63輸入插值函數(shù)融合結(jié)果3.2圖像融合方法3.2.2基于均值坐標(biāo)插值的融合方法多邊形的均值坐標(biāo)643.2圖像融合方法3.2.2基于均值坐標(biāo)插值的融合方法多邊形的均值坐標(biāo)覆蓋區(qū)域的邊界為多邊形進(jìn)行插值65Delaunay三角化加速插值計算3.2圖像融合方法3.2.2基于均值坐標(biāo)插值的融合結(jié)果（Demo）663.3視頻融合方法視頻融合的難點融合后保持原視頻物體的結(jié)構(gòu)，同時和目標(biāo)視頻背景形成連續(xù)邊界過渡融合后保持幀間混合的連續(xù)性其他影響運動模糊陰影673.3視頻融合方法基于梯度域的視頻融合思想：在梯度域上混合原視頻物體和目標(biāo)視頻背景，以保持物體結(jié)構(gòu)；通過光流進(jìn)行運動物體對其和幀間重疊區(qū)域邊界的連續(xù)變化683.3視頻融合方法基于梯度域的視頻融合方法幀間連續(xù)的重疊區(qū)域邊界693.3視頻融合方法基于梯度域的視頻融合方法重疊區(qū)域幀間連續(xù)的邊界變化重疊區(qū)域幀間連續(xù)的梯度變化基于均值坐標(biāo)的插值快速求解泊松方程70高斯濾波重疊區(qū)域第i個像素梯度3.3視頻融合方法基于梯度域的視頻融合結(jié)果（Demo）71提綱1.影像摳圖2.影像縮放3.影像融合4.影像拼接5.影像編輯724.1概念4.1.1圖像/視頻拼接（stitching）組合兩張或者更多張具有重合區(qū)域的圖像/視頻，生成一張更大視角范圍的圖像/視頻734.1概念4.1.1圖像/視頻拼接（stitching）組合兩張或者更多張具有重合區(qū)域的圖像/視頻，生成一張更大視角范圍的圖像/視頻普通相機FOV=50x35人眼FOV=200x120全景FOV=360x180貓狗兔人4.1概念4.1.1圖像/視頻拼接（stitching）硬件方案魚眼相機固定相機陣列固定配置散亂配置75成本高，使用不方便4.1概念4.1.1圖像/視頻拼接（stitching）軟件方案基于運動信息的在線方案基于特征匹配的離線方案76扭曲、重影、計算效率等問題4.1概念4.1.2一般算法檢測特征點（SIFT）匹配特征點（RANSAC）計算圖像間變換投影到共同區(qū)域774.2圖像拼接方法4.2.1盡可能單應(yīng)變換拼接方法思想：采用空間分布的局部單應(yīng)變換集合取代單一的整體單應(yīng)變換進(jìn)行拼接（as-projective-as-possible）78整體單應(yīng)變換局部單應(yīng)變換4.2圖像拼接方法4.2.1盡可能單應(yīng)變換拼接方法方法：通過移動直接線性變換（movingdirectlineartransformation）描述不同位置的最優(yōu)單應(yīng)變換傳統(tǒng)單應(yīng)變換計算DLT794.2圖像拼接方法4.2.1盡可能單應(yīng)變換拼接方法方法：通過移動直接線性變換（movingdirectlineartransformation）描述不同位置的最優(yōu)單應(yīng)變換移動DLT：每個位置定義關(guān)于匹配特征點的單應(yīng)變換804.2圖像拼接方法4.2.1盡可能單應(yīng)變換拼接方法結(jié)果814.2圖像拼接方法4.2.2形狀保持的半單應(yīng)變換拼接方法思想：重合區(qū)域減小特征匹配誤差，非重合區(qū)域保持形狀（shape-preservinghalf-projective）82單應(yīng)變換單應(yīng)+相似變換（SPHP）4.2圖像拼接方法4.2.2形狀保持的半單應(yīng)變換拼接方法方法：重合區(qū)域采用單應(yīng)變換，非重合區(qū)域采用從單應(yīng)變換到相似變換的漸變變換83扭曲4.2圖像拼接方法4.2.2形狀保持的半單應(yīng)變換拼接方法單應(yīng)變換的坐標(biāo)系轉(zhuǎn)換84線性映射HScaleupScaledown4.2圖像拼接方法4.2.2形狀保持的半單應(yīng)變換拼接方法單應(yīng)變換到相似變換對于單應(yīng)變換，隨著u增大，扭曲變大給定常值u，單應(yīng)變換是線性85HScaleupScaledown相似變換H4.2圖像拼接方法4.2.2形狀保持的半單應(yīng)變換拼接方法單應(yīng)變換到相似變換的直接混合86HS產(chǎn)生突變4.2圖像拼接方法4.2.2形狀保持的半單應(yīng)變換拼接方法單應(yīng)變換到相似變換的連續(xù)漸變S區(qū)域：相似變換T區(qū)域：漸變區(qū)域H區(qū)域：單應(yīng)變換874.2圖像拼接方法4.2.2形狀保持的半單應(yīng)變換拼接方法結(jié)果88輸入AutoStitchSPHP單應(yīng)變換4.2圖像拼接方法4.2.3自適應(yīng)變換拼接方法思想：通過局部單應(yīng)變換和相似變換的混合，實現(xiàn)特征匹配和形狀保持89移動DLT自適應(yīng)拼接4.2圖像拼接方法4.2.3自適應(yīng)變換拼接方法方法局部單應(yīng)變換：線性化移動DLT通過Taylor展式，將局部單應(yīng)變換進(jìn)行線性化90邊界加權(quán)4.2圖像拼接方法4.2.3自適應(yīng)變換拼接方法方法整體相似變換：根據(jù)匹配的特征點計算最優(yōu)平移、旋轉(zhuǎn)和伸縮因子，生成整體相似變換914.2圖像拼接方法4.2.3自適應(yīng)變換拼接方法方法自適應(yīng)插值單應(yīng)變換與相似變換92參考圖像中心目標(biāo)圖像中心4.2圖像拼接方法4.2.3自適應(yīng)變換拼接方法結(jié)果934.3視頻拼接方法視頻拼接的難點不同視角拍攝視頻的視差大視差的視頻幀拼接容易產(chǎn)生重影現(xiàn)象拼接視頻幀間的時空連續(xù)性各幀單獨拼接容易產(chǎn)生幀間視覺跳躍944.3視頻拼接方法4.3.1基于三維重建的視頻拼接思想：基于圖像的三維重建獲取相機空間運動路徑，然后生成新的拼接視頻的相機路徑，重構(gòu)拼接視頻幀序列954.3視頻拼接方法4.3.1基于三維重建的視頻拼接方法CoSLAM重建三維場景及相機運動路徑合成拼接視頻相機運動路徑964.3視頻拼接方法4.3.1基于三維重建的視頻拼接方法CoSLAM重建三維場景及相機運動路徑合成拼接視頻相機運動路徑特征保持的視頻幀變形97FeatureTermLineTermEpipolarTermCoherenceTermframet-1frametframet+1二次函數(shù)4.3視頻拼接方法4.3.1基于三維重建的視頻拼接結(jié)果984.3視頻拼接方法4.3.2基于內(nèi)容保持的時空變形拼接思想：采用時空連續(xù)的局部內(nèi)容保持的變形，實現(xiàn)視頻幀的幀間連續(xù)拼接994.3視頻拼接方法4.3.2基于內(nèi)容保持的時空變形拼接方法整體預(yù)對齊100同一視頻相鄰幀不同視頻同時刻幀4.3視頻拼接方法4.3.2基于內(nèi)容保持的時空變形拼接方法整體預(yù)對齊局部內(nèi)容保持的變形101特征點對齊相鄰網(wǎng)格點相鄰局部變形幀間特征點幀間網(wǎng)格點幀間局部變形4.3視頻拼接方法4.3.2基于內(nèi)容保持的時空變形拼接方法整體預(yù)對齊局部內(nèi)容保持的變形時空三維圖割優(yōu)化計算拼接線1024.3視頻拼接方法4.3.2基于內(nèi)容保持的時空變形拼接結(jié)果1034.4圖像/視頻拼接矩形化4.4.1拼接邊界的矩形規(guī)則化處理圖像/視頻拼接后，往往產(chǎn)生不規(guī)則的邊界，需要進(jìn)一步規(guī)則化處理，恢復(fù)矩形邊界，更好地播放內(nèi)容104不規(guī)則邊界矩形邊界4.4圖像/視頻拼接矩形化4.4.2圖像的矩形規(guī)則化處理矩形邊界約束的網(wǎng)格變形具有矩形邊界的網(wǎng)格（增加縫隙，局部變形）網(wǎng)格驅(qū)動的保形變形（全局變形）1054.4圖像/視頻拼接矩形化4.4.2圖像的矩形規(guī)則化處理矩形邊界約束的網(wǎng)格變形具有矩形邊界的網(wǎng)格（增加縫隙，局部變形）網(wǎng)格驅(qū)動的保形變形（全局變形）線約束106

4.4圖像/視頻拼接矩形化4.4.2圖像的矩形規(guī)則化處理結(jié)果1074.4圖像/視頻拼接矩形化4.4.2視頻的矩形規(guī)則化處理借助運動估計建立幀間連續(xù)的矩形化網(wǎng)格變形特征點跟蹤線匹配108

形狀保持線保持運動保持邊界約束4.4圖像/視頻拼接矩形化4.4.2視頻的矩形規(guī)則化處理結(jié)果109提綱1.影像摳圖2.影像縮放3.影像融合4.影像拼接5.影像編輯1105.1概念圖像/視頻編輯定義通過圖像/視頻的顏色、形狀、結(jié)構(gòu)等信息的改變，生成新形式的圖像/視頻111+=顏色遷移形狀變形編輯傳播5.1概念圖像/視頻編輯要求圖像內(nèi)容的一致性視頻幀間的連續(xù)性認(rèn)知理解的正確性1125.2顏色遷移5.2.1定義從其他圖像或用戶交互中提供的色彩作為模板，修正目標(biāo)圖像的顏色，使其滿足模板色彩1135.2顏色遷移5.2.2方法5.2.2-1基于特征匹配的顏色遷移思想：在色相、色溫等顏色特征空間按照圖像內(nèi)容的連續(xù)性進(jìn)行遷移114色相色溫5.2顏色遷移5.2.2方法5.2.2-1基于特征匹配的顏色遷移算法流程115色相空間部分通過基于二值匹配的算法學(xué)習(xí)空間連貫性處理輸入輸出5.2顏色遷移5.2.2方法5.2.2-1基于特征匹配的顏色遷移方法：色相劃分將兩個極小值點之間的部分作為一個直方圖塊，即容器。源圖像和模板圖像做同樣的劃分遷移過程是將源圖像的每個容器都映射到模板中找到對應(yīng)容器1165.2顏色遷移5.2.2方法5.2.2-1基于特征匹配的顏色遷移方法：色相匹配117對應(yīng)容器塊之間的能量源色調(diào)值遷移至模板色調(diào)值5.2顏色遷移5.2.2方法5.2.2-1基于特征匹配的顏色遷移方法：通過去除偽邊界效應(yīng)提高空間連續(xù)性1185.2顏色遷移5.2.2方法5.2.2-1基于特征匹配的顏色遷移結(jié)果119輸入模板結(jié)果輸入模板失敗的結(jié)果Yellowsky5.2顏色遷移5.2.2方法5.2.2-2基于筆畫約束的顏色遷移思想：用戶交互的筆畫顏色值作為種子，遷移至對應(yīng)的區(qū)域（灰度圖著色）1205.2顏色遷移5.2.2方法5.2.2-2基于筆畫約束的顏色遷移方法：灰度相近的相鄰像素，在遷移后具有相近的顏色；以筆畫顏色作為約束，優(yōu)化局部顏色相似性121相鄰像素的相似性視頻鄰域5.2顏色遷移5.2.2方法5.2.2-2基于筆畫約束的顏色遷移結(jié)果1225.3編輯傳播5.3.1定義將圖像/視頻局部編輯的結(jié)果傳播到其余部分，從而只需要用戶輸入較小的信息集，便可實現(xiàn)圖像/視頻編輯1235.3編輯傳播5.3.2方法5.3.2-1基于區(qū)域相似性的編輯傳播思想：相似外觀的區(qū)域接受相近的編輯，或者構(gòu)造顏色、空間等相似區(qū)域進(jìn)行編輯1245.3編輯傳播5.3.2方法5.3.2-1基于區(qū)域相似性的編輯傳播方法：優(yōu)化圖像空間的相似性函數(shù)125空間位置像素表觀：局部顏色均值/方差等5.3編輯傳播5.3.2方法5.3.2-1基于區(qū)域相似性的編輯傳播方法：優(yōu)化圖像空間的相似性函數(shù)126編輯區(qū)域有相似的表現(xiàn)滿足用戶編輯g的約束wj:指定滿足約束條件像素的權(quán)重沒有第二項有第二項5.3編輯傳播5.3.2方法5.3.2-1基于區(qū)域相似性的編輯傳播結(jié)果1275.3編輯傳播5.3.2方法5.3.2-2基于K-D樹的快速傳播思想：通過空間自適應(yīng)剖分加快傳播函數(shù)的計算速度，提高編輯傳播效率1285.3編輯傳播5.3.2方法5.3.2-2基于K-D樹的快速傳播方法：將圖像映射到特征空間（坐標(biāo)+顏色），對特征空間進(jìn)行K-D樹劃分，建立層次結(jié)構(gòu)129appearancepositions特征空間特征向量輸入圖像5.3編輯傳播5.3.2方法5.3.2-2基于K-D樹的快速傳播用戶交互映射到特征空間130用戶交互5.3編輯傳播5.3.2方法5.3.2-2基于K-D樹的快速傳播用戶交互映射到特征空間特征空間的K-D樹劃分相似的編輯在特征空間具有相似關(guān)系連續(xù)性體現(xiàn)在相似關(guān)系的特征空間131每個葉節(jié)點作為一個簇編輯傳播在K維樹單元轉(zhuǎn)角5.3編輯傳播5.3.2方法5.3.2-2基于K-D樹的快速傳播用戶交互映射到特征空間特征空間的K-D樹劃分線性插值K-D樹節(jié)點快速生成編輯傳播后特征映射回圖像空間，得到編輯結(jié)果1325.3編輯傳播5.3.2方法5.3.2-2基于K-D樹的快速傳播結(jié)果（Demo）133K-DTreespace:45M

time:13sAppPropspace:33G

time:70min5.4圖像變形5.4.1定義通過操控圖像定義域，改變圖像中物體的幾何形狀，實現(xiàn)圖像整體或局部的變形像素域（圖像方法）參數(shù)域（圖形方法）1345.4圖像變形5.4.1定義像素域（圖像方法）變形根據(jù)變形函數(shù)逐像素改變輸入圖像，生成變形后的圖像135h原圖相似仿射投影5.4圖像變形5.4.1定義像素域（圖像方法）變形相似變形136二維尺度、旋轉(zhuǎn)和平移變換的組合。允許一個正方形被轉(zhuǎn)換成任何旋轉(zhuǎn)的矩形。線之間的夾角被保留自由度為4（a，b，c，d）逆是相同的表示（相似性）。通過2x3矩陣的逆來給出5.4圖像變形5.4.1定義像素域（圖像方法）變形仿射變形137二維尺度、旋轉(zhuǎn)、剪切和平移變換的組合。允許一個正方形扭曲成任何平行四邊形。自由度為6（a，b，c，d，e，f）逆是相同表示（也就是仿射）。通過3x3矩陣的逆給出在二維的3個點，6個自由度控制一個三角形的扭曲是良好的。5.4圖像變形5.4.1定義像素域（圖像方法）變形投影變形138線性分子和分母如果G=H=0，那么你一個特殊情況的仿射允許一個正方形被扭曲成任何四邊形自由度為8（a-h）。我們可以選擇i

=1或者任意逆是同一形式（也就是投影）。在二維空間的4個點確定自由度為8，來控制四邊形扭曲。5.4圖像變形5.4.1定義參數(shù)域（圖形方法）變形通過控制點或嵌入網(wǎng)格頂點的變形，驅(qū)動圖像進(jìn)行相應(yīng)的變形變形后的圖像滿足控制點位置的幾何約束1395.4圖像變形5.4.2方法移動最小二乘（movingleastsquare）變形思想：采用多重局部幾何變換的加權(quán)作用，實現(xiàn)圖像的整體變形，滿足控制點約束140單一整體幾何變換多重局部幾何變換5.4圖像變形5.4.2方法移動最小二乘（movingleastsquare）變形方法：給定每一個像素，計算變形函數(shù)，在最小二乘優(yōu)化意義下滿足控制點約束1415.4圖像變形5.4.2方法移動最小二乘（movingleastsquare）變形方法：給定每一個像素，計算變形函數(shù)，在最小二乘優(yōu)化意義下滿足控制點約束142局部定義變形滿足幾何性質(zhì)插值光滑控制點不變性5.4圖像變形5.4.2方法移動最小二乘（movingleastsquare）變形仿射變換的顯式解143其中5.4圖像變形5.4.2方法移動最小二乘（movingleastsquare）變形相似變換的顯式解144其中5.4圖像變形5.4.2方法移動最小二乘（movingleastsquare）變形剛性變換的顯式解1455.4圖像變形5.4.2方法移動最小二乘（movingleastsquare）變形仿射變換、相似變換、剛性變換1465.4圖像變形5.4.2方法移動最小二乘（movingleastsquare）變形結(jié)果（Demo）1475.5視頻去抖5.5.1定義借助硬件或者算法處理視頻幀序列，使得運動環(huán)境下拍攝的視頻仍能夠具有平穩(wěn)的幀間運動148TripodDollySteadicam硬件方法5.5視頻去抖5.5.1定義借助硬件或者算法處理視頻幀序列，使得運動環(huán)境下拍攝的視頻仍能夠具有平穩(wěn)的幀間運動149算法：數(shù)字去抖5.5視頻去抖5.5.1定義數(shù)字去抖150運動平滑運動補償運動估計幀間運動平滑路徑圖像變形5.5視頻去抖5.5.2方法2維方法將幀間運動描述為平面光流或者幾何變換序列，借助低通濾波（高斯濾波）進(jìn)行運動平滑5.5視頻去抖5.5.2方法3維方法借助三維重建恢復(fù)三維空間中的相機運動路徑，并通過路徑平滑處理，獲得運動穩(wěn)定的幀圖像Demo5.5視頻去抖5.5.2方法延時視頻去抖Timelapse，縮時攝影或這縮時錄影，將時間壓縮制作視頻形式連續(xù)播放1535.5視頻去抖5.5.2方法延時視頻去抖Hyperlapse，拍攝位置發(fā)生變化的延時視頻3維去抖方法154三維空間路徑估計及平滑平滑路徑上的重繪制拼接與融合Demo參考文獻(xiàn)Bluescreenmatting.Smith,A.R.andBlinn,J.F.Siggraph,1996.Softedgechroma-keygenerationbaseduponhexoctahedralcolorspace.Y.Mishima.U.S.Patent5355174,1993.ABayesianapproachtodigitalmatting.Y.Chuang,B.Curless,D.Salesin,andR.Szeliski.CVPR2001.Alphaestimationinnaturalimages.Ruzon,M.A.andTomasi,C.CVPR,2000.Poissonmatting.J.Sun,J.Jia,C.Tang,H.Shum.SIGGRAPH2004.Aniterativeoptimizationapproachforunifiedimagesegmentationandmatting.J.Wang,M.Cohen.ICCV2005.Spectralmatting.A.Levin,A.Rav-Acha,D.Lischinski.CVPR2006.Easymatting:astrokebasedapproachforcontinuousimagematting.Y.Guan,W.Cheny,X.Liang,Z.Ding,Q.Peng.Eurographics2006.Aclosedformsolutiontonaturalimagesmatting.A.Levin,D.LischinskiandY.Weiss.CVPR2006.Digitalphotographywithflashandno-flashimagepairs.G.Petschnigg,M.Agrawala,H.Hoppe,R.Szeliski,andM.Cohen.Siggraph,2004.155參考文獻(xiàn)Imagesnapping.M.Gleicher.SIGGRAPH1995.Intelligentscissors.EricMortensenandWilliamA.Barrett.SIGGRAPH1995.Lazysnapping.Y.Li,J.Sun,C.-K.Tang,H.Shum.SIGGRAPH2004.Videoobjectcutandpaste.Y.Li,J.Sun,H.-Y.Shum.SIGGRAPH2006.Interactivevideocutout.J.Wang,P.Bhat,A.Colbun,etal.SIGGAPH2005.Naturalvideomattingusingcameraarrays.N.Joshi,W.Matusik,S.Avidan.SIGGRAPH2006.Imageandvideomatting:asurvey.J.Wang,F.Cohen.FoundationsandTrends.Anoverviewofimageandvideosegmentationinthelast40years.Y.-J.Zhang.2001.Imagesegmentation.A.-P.Dhawan.Medicalimageanalysis,2010.Videosegmentationanditsapplication.K.Ngan,H.-L.Li.Springer,2011.156參考文獻(xiàn)Colortransferbetweenimages.E.Reinhard,M.Ashikhmin,B.Gooch,andP.Shirley.IEEEComput.Graph.Appl.,2001.Transferringcolortogreyscaleimages.T.Welsh,M.AshikhminandK.Mueller.ACMTOG,2002.Colorizationusingoptimization.A.Levin,D.Lischinski,Y.Weiss.ACMTOG,2004.Example-basedpaintingguidedbycolorfeatures.HuaHuang,YuZang,Chen-FengLi.TheVisualComputer,2010.Seamcarvingforcontentawareimageresizing.Avidan,S.,AndShamir,A.,ACMTOG,2007.Optimizedscale-and-stretchforimageresizing.Wang,Yu-ShuenandTai,Chiew-LanandSorkine,OlgaandLee.ACMTOG,2008Real-timecontent-awareimageresizing.HuaHuang,TianNanFu,PaulLRosin,andChunQi.ScienceinChin