計(jì)算機(jī)圖形學(xué)第六章非真實(shí)感繪制供《現(xiàn)代計(jì)算機(jī)圖形學(xué)基礎(chǔ)》配套使用1提綱1.概述2.基于筆畫建模的繪制3.基于紋理合成的繪制4.基于圖像濾波的繪制（卡通）5.視頻非真實(shí)感繪制6.基于深度學(xué)習(xí)的繪制21.概述非真實(shí)感繪制（non-photorealisticrendering,NPR）是使一個(gè)現(xiàn)實(shí)物體或場(chǎng)景的影像呈現(xiàn)藝術(shù)繪畫的效果，實(shí)現(xiàn)藝術(shù)化的風(fēng)格表現(xiàn)。3NPR1.概述真實(shí)感繪制與非真實(shí)感繪制的區(qū)別在內(nèi)容創(chuàng)作表現(xiàn)形式方面4真實(shí)感繪制計(jì)算復(fù)雜度高特殊的技巧光照模型…非真實(shí)感繪制可接受的復(fù)雜度許多創(chuàng)作工具畫筆、墨水…1.概述真實(shí)感繪制與非真實(shí)感繪制的區(qū)別在應(yīng)用方面5真實(shí)感繪制記錄真實(shí)場(chǎng)景模擬物理過程非真實(shí)感繪制解釋說明敘述故事1.概述非真實(shí)感繪制的特點(diǎn)突出真實(shí)影像中不容易覺察的感性信息提供比真實(shí)影像更有用的認(rèn)知信息更具有吸引力的呈現(xiàn)效果61.概述7非真實(shí)感繪制的歷史1994年Non-photorealisticrendering用戶主動(dòng)輸入作為輔助底層圖像處理1.概述8非真實(shí)感繪制的歷史高級(jí)視覺人工智能提綱1.概述2.基于筆畫建模的繪制3.基于紋理合成的繪制4.基于圖像濾波的繪制（卡通）5.視頻非真實(shí)感繪制6.基于深度學(xué)習(xí)的繪制92.1基本概念2.1.1基于筆畫的繪畫藝術(shù)筆畫是進(jìn)行繪畫的基本元素油畫筆、水彩筆、鉛筆…10油畫水彩畫素描2.1基本概念2.1.1基于筆畫的繪畫藝術(shù)筆畫的屬性決定了繪畫效果尺寸：筆畫半徑形狀：筆畫外形方向：筆畫走向顏色：筆畫色彩濃度：筆畫密度112.1基本概念2.1.2非真實(shí)感繪制流程12用戶交互筆畫建模場(chǎng)景繪制分析表示繪制尺寸、形狀、方向、…顏色、濃度、…2.2油畫風(fēng)格化繪制2.2.1油畫的表現(xiàn)手法和特點(diǎn)繪畫藝術(shù)顏料粘稠，具有拖擺感筆觸可粗可細(xì)由深到淺，逐層覆蓋采用顏色表現(xiàn)對(duì)象寫實(shí)、印象、人物、風(fēng)景……132.2油畫風(fēng)格化繪制2.2.1油畫的表現(xiàn)手法和特點(diǎn)非真實(shí)感繪制筆畫建模過程模擬142.2油畫風(fēng)格化繪制2.2.2交互式筆畫繪制方法筆畫模型15鼠標(biāo)點(diǎn)擊筆畫顏色：點(diǎn)擊像素顏色方向：鼠標(biāo)移動(dòng)方向尺寸：鍵盤↑↓濃度：鼠標(biāo)點(diǎn)擊外形：線段2.2油畫風(fēng)格化繪制2.2.2交互式筆畫繪制方法繪制過程162.2油畫風(fēng)格化繪制2.2.3半自動(dòng)筆畫繪制方法筆畫建模尺寸：圖像梯度濃度：隨機(jī)生成外形：線段顏色：鼠標(biāo)點(diǎn)擊像素方向：鼠標(biāo)移動(dòng)方向17自動(dòng)交互2.2油畫風(fēng)格化繪制2.2.3半自動(dòng)筆畫繪制方法繪制過程18細(xì)節(jié)損失2.2油畫風(fēng)格化繪制2.2.4自動(dòng)筆畫繪制方法交互式/半自動(dòng)方法的不足需要手工交互引導(dǎo)筆畫建模繪制過程缺乏自適應(yīng)調(diào)整筆畫外形為簡(jiǎn)單的線段自動(dòng)方法自動(dòng)進(jìn)行筆畫建模自適應(yīng)的進(jìn)行繪制更加復(fù)雜的筆畫外形192.2油畫風(fēng)格化繪制2.2.4自動(dòng)筆畫繪制方法筆畫建模的改進(jìn)方向：邊緣檢測(cè)20隨機(jī)均勻采樣點(diǎn)邊緣方向Sobel算子2.2油畫風(fēng)格化繪制2.2.4自動(dòng)筆畫繪制方法筆畫建模的改進(jìn)方向：邊緣檢測(cè)外形：B-樣條曲線212.2油畫風(fēng)格化繪制2.2.4自動(dòng)筆畫繪制方法繪制過程的改進(jìn)分層筆畫繪制高斯金字塔濾波形成由粗到細(xì)的分層粗的分層選擇尺寸較大筆畫細(xì)的分層選擇尺寸較小筆畫222.2油畫風(fēng)格化繪制2.2.4自動(dòng)筆畫繪制方法結(jié)果232.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-1結(jié)合視覺顯著性視覺顯著性描述人眼視覺注意力的特點(diǎn)思想：利用圖像邊緣顯著性分布，指導(dǎo)筆畫建模和繪制過程24輸入圖像筆畫方向場(chǎng)渲染結(jié)果2.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-1結(jié)合視覺顯著性筆畫建模外形：筆畫模板各向異性模板，模擬畫筆和畫布之間的壓力25反走樣筆畫各向異性刷渲染的筆畫筆畫模板2.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-1結(jié)合視覺顯著性筆畫建模尺寸、密度：圖像邊緣顯著性能量分布，定義筆畫尺寸和順序26K-D樹邊緣能量分布2.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-1結(jié)合視覺顯著性結(jié)果272.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-1結(jié)合視覺顯著性結(jié)果28Hertzmann,Siggraph1998結(jié)合視覺顯著性2.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-2結(jié)合語義結(jié)構(gòu)語義：通過認(rèn)知獲取的數(shù)據(jù)含義思想：利用不同尺度的圖像視覺信息構(gòu)建場(chǎng)景的結(jié)構(gòu)化組織，形成符合認(rèn)知的語義信息，指導(dǎo)筆畫建模和場(chǎng)景繪制292.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-2結(jié)合語義結(jié)構(gòu)預(yù)處理：生成語義解析樹30區(qū)域分割邊緣檢測(cè)人臉檢測(cè)物體分割2.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-2結(jié)合語義結(jié)構(gòu)預(yù)處理：生成語義解析樹筆畫建模方向：特征線引導(dǎo)的方向場(chǎng)定義方向31由特征線引導(dǎo)的方向場(chǎng)紅色、藍(lán)色和黑色的線條分別表示區(qū)域邊界，主要曲線和其它特征線。2.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-2結(jié)合語義結(jié)構(gòu)預(yù)處理：生成語義解析樹筆畫建模方向：特征線引導(dǎo)的方向場(chǎng)定義方向外形、濃度：筆畫字典322.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-2結(jié)合語義結(jié)構(gòu)預(yù)處理：生成語義解析樹筆畫建模方向：特征線引導(dǎo)的方向場(chǎng)定義方向外形、濃度：筆畫字典顏色：畫家用色統(tǒng)計(jì)33原圖像的色調(diào)直方圖藝術(shù)繪畫的顏色統(tǒng)計(jì)數(shù)據(jù)中的色調(diào)直方圖2.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-2結(jié)合語義結(jié)構(gòu)結(jié)果342.2油畫風(fēng)格化繪制2.2.6基于筆畫遷移的繪制方法思想：真實(shí)圖像和油畫在表現(xiàn)形式上是風(fēng)格的差別，通過量化油畫筆畫使用風(fēng)格，并遷移到目標(biāo)圖像，實(shí)現(xiàn)風(fēng)格化繪制352.2油畫風(fēng)格化繪制2.2.6基于筆畫遷移的繪制方法思想風(fēng)格表示為筆畫形式通過遷移筆畫進(jìn)行繪制36筆畫

分析筆畫模型基于筆畫的渲染2.2油畫風(fēng)格化繪制2.2.6基于筆畫遷移的繪制方法基于筆畫參數(shù)化的方法算法流程37筆畫參數(shù)表示2.2油畫風(fēng)格化繪制2.2.6基于筆畫遷移的繪制方法基于筆畫參數(shù)化的方法筆畫參數(shù)表示檢測(cè)筆畫：筆畫特征多出現(xiàn)在紋理區(qū)域，且具有局部方向性38Garbor響應(yīng)多頻率特征分析：提取紋理區(qū)域，去除顯著語義輪廓多方向特征分析：提取筆畫方向特征，形成筆畫置信圖2.2油畫風(fēng)格化繪制2.2.6基于筆畫遷移的繪制方法基于筆畫參數(shù)化的方法筆畫參數(shù)表示檢測(cè)筆畫參數(shù)化表示39筆畫尺寸：連通量筆畫方向：方向場(chǎng)筆畫濃度：局部平均響應(yīng)模板Garbor響應(yīng)生成的筆畫置信圖2.2油畫風(fēng)格化繪制2.2.6基于筆畫遷移的繪制方法基于筆畫參數(shù)化的方法繪制過程由模板的筆畫參數(shù)生成目標(biāo)圖像繪制筆畫模型，采用基于筆畫的自動(dòng)方法繪制40筆畫尺寸：連通量筆畫方向：方向場(chǎng)筆畫濃度：局部平均響應(yīng)筆畫尺寸：筆畫方向：筆畫濃度：2.2油畫風(fēng)格化繪制2.2.6基于筆畫遷移的繪制方法基于筆畫參數(shù)化的方法結(jié)果412.2油畫風(fēng)格化繪制2.2.6基于筆畫遷移的繪制方法基于筆畫參數(shù)化的方法結(jié)果422.3水彩畫風(fēng)格化繪制2.3.1水彩畫的表現(xiàn)手法和特點(diǎn)繪畫藝術(shù)水調(diào)和透明顏料顏色覆蓋明顯畫面大多具有通透的視覺感覺水的流動(dòng)性……432.3水彩畫風(fēng)格化繪制2.3.1水彩畫的表現(xiàn)手法和特點(diǎn)非真實(shí)感繪制紙張建模：水彩的吸收與擴(kuò)散筆畫建模：色彩流動(dòng)效果繪制過程：層次覆蓋效果442.3水彩畫風(fēng)格化繪制2.3.2基于筆畫的自動(dòng)繪制紙張建?；诟叨葓?chǎng)的畫布模擬亞麻布、棉布等表面凹凸添加柏林噪音（Perlinnoise）45旋轉(zhuǎn)不變性能量集中統(tǒng)計(jì)不變性2.3水彩畫風(fēng)格化繪制2.3.2基于筆畫的自動(dòng)繪制筆畫建模：方向、顏色、濃度等分層流體模擬46淺水層：紙面之上的流動(dòng)附著層：吸附/漂浮紙面擴(kuò)散層：紙面擴(kuò)散速度壓力方向顏色濃度2.3水彩畫風(fēng)格化繪制2.3.2基于筆畫的自動(dòng)繪制筆畫建模：方向、顏色、濃度等分層流體模擬47淺水層：紙面之上的流動(dòng)附著層：吸附/漂浮紙面擴(kuò)散層：紙面擴(kuò)散2.3水彩畫風(fēng)格化繪制2.3.2基于筆畫的自動(dòng)繪制繪制過程Kubelka-Munk(KM)模型描述物質(zhì)吸收和散射規(guī)律分層覆蓋淺水層、附著層、擴(kuò)散層穩(wěn)定后疊加融合482.3水彩畫風(fēng)格化繪制2.3.2基于筆畫的自動(dòng)繪制結(jié)果49水彩畫輸入2.3水彩畫風(fēng)格化繪制2.3.2基于筆畫的自動(dòng)繪制502.4素描風(fēng)格化繪制2.4.1素描的表現(xiàn)手法和特點(diǎn)繪畫藝術(shù)傳統(tǒng)意義的單色畫以線條來畫出明暗具備自然律動(dòng)感不須顧慮物體細(xì)節(jié)的顏色512.4素描風(fēng)格化繪制2.4.1素描的表現(xiàn)手法和特點(diǎn)非真實(shí)感繪制筆畫建模：外形、尺寸、濃度繪制過程：逐層累積522.4素描風(fēng)格化繪制2.4.2基于筆畫的交互式繪制思想：交互指定繪制所需筆畫模型方法：色調(diào)、方向場(chǎng)、外形532.4素描風(fēng)格化繪制2.4.2基于筆畫的交互式繪制筆畫建模方向：交互指定方向場(chǎng)從粗到細(xì)劃分區(qū)域，同一區(qū)域設(shè)定同樣方向542.4素描風(fēng)格化繪制2.4.2基于筆畫的交互式繪制筆畫建模方向：交互指定方向場(chǎng)外形：三次B樣條曲線定義樣本552.4素描風(fēng)格化繪制2.4.2基于筆畫的交互式繪制筆畫建模方向：交互指定方向場(chǎng)外形：三次B樣條曲線定義樣本濃度：交互涂畫色調(diào)圖560.01.01.01.00.50.32.4素描風(fēng)格化繪制2.4.2基于筆畫的交互式繪制繪制過程根據(jù)方向場(chǎng)、外形、色調(diào)設(shè)置筆畫方向、外形、濃度分層繪制筆畫并疊加572.4素描風(fēng)格化繪制2.4.2基于筆畫的交互式繪制結(jié)果58提綱1.概述2.基于筆畫建模的繪制3.基于紋理合成的繪制4.基于圖像濾波的繪制5.視頻非真實(shí)感繪制6.基于深度學(xué)習(xí)的繪制593.1概念紋理合成紋理計(jì)算機(jī)圖形學(xué)：物體表面的圖形表示，如紋理映射圖像處理：具有自身重復(fù)性的圖像，如紋理合成603.1概念紋理合成基于給定的小區(qū)域紋理樣本，按照表面的幾何、顏色等結(jié)構(gòu)分布，拼合生成更大區(qū)域的紋理圖像613.1概念紋理合成基于給定的小區(qū)域紋理樣本，按照表面的幾何、顏色等結(jié)構(gòu)分布，拼合生成更大區(qū)域的紋理圖像623.2油畫風(fēng)格化繪制3.2.1基于風(fēng)格類比的紋理合成繪制將輸入模板圖像之間的類比關(guān)系遷移至目標(biāo)圖像63輸入輸入輸出類比類比3.2油畫風(fēng)格化繪制3.2.1基于風(fēng)格類比的紋理合成繪制算法流程64ANN最優(yōu)匹配紋理合成3.2油畫風(fēng)格化繪制3.2.1基于風(fēng)格類比的紋理合成繪制ANN最優(yōu)匹配65當(dāng)前像素鄰域的相似性相似像素鄰域的一致性最優(yōu)匹配位置3.2油畫風(fēng)格化繪制3.2.1基于風(fēng)格類比的紋理合成繪制基于掃描線的紋理合成66最優(yōu)匹配3.2油畫風(fēng)格化繪制3.2.1基于風(fēng)格類比的紋理合成繪制結(jié)果67輸入圖像兩對(duì)模板輸出圖像3.2油畫風(fēng)格化繪制3.2.2基于筆畫紋理合成的繪制方法思想將局部筆畫分布作為紋理，按照?qǐng)D像內(nèi)容進(jìn)行合成68筆畫紋理合成3.2油畫風(fēng)格化繪制3.2.2基于筆畫紋理合成的繪制方法3.2.2-1基于樣本筆畫紋理的繪制筆畫建模：借助樣本模式提高筆畫效果高度紋理圖：定義顏色（亮度）透明紋理圖：定義濃度69外形：B-樣條亮度、濃度：紋理高度/透明度紋理圖3.2油畫風(fēng)格化繪制3.2.2基于筆畫紋理合成的繪制方法3.2.2-1基于樣本筆畫紋理的繪制繪制過程：通過紋理圖定義的筆畫逐層繪制，并采用高度圖計(jì)算的光照增加亮度變化70高度圖繪制結(jié)果3.2油畫風(fēng)格化繪制3.2.2基于筆畫紋理合成的繪制方法3.2.2-2基于樣本圖像紋理的繪制筆畫建模：選擇指定風(fēng)格圖像的區(qū)域作為筆畫樣本繪制過程：借助方向場(chǎng)指導(dǎo)紋理合成713.2油畫風(fēng)格化繪制3.2.2基于筆畫紋理合成的繪制方法3.2.2-2基于樣本圖像紋理的繪制筆畫樣本的提取從一幅給定風(fēng)格的優(yōu)化圖像選擇筆畫明顯區(qū)域作為樣本，并通過金字塔高斯濾波生成不同尺度和方向的樣本72用戶指定樣本區(qū)域生成多分辨率的筆畫樣本油畫3.2油畫風(fēng)格化繪制3.2.2基于筆畫紋理合成的繪制方法3.2.2-2基于樣本圖像紋理的繪制筆畫樣本的提取目標(biāo)圖像方向場(chǎng)提取通過邊緣檢測(cè)和梯度計(jì)算，生成符合主要方向的方向場(chǎng)733.2油畫風(fēng)格化繪制3.2.2基于筆畫紋理合成的繪制方法3.2.2-2基于樣本圖像紋理的繪制筆畫樣本的提取目標(biāo)圖像方向場(chǎng)提取紋理合成743.2油畫風(fēng)格化繪制3.2.2基于紋理合成的繪制方法3.2.2-2基于樣本圖像紋理的繪制結(jié)果75模板結(jié)果輸入提綱1.概述2.基于筆畫建模的繪制3.基于紋理合成的繪制4.基于圖像濾波的繪制5.視頻非真實(shí)感繪制6.基于深度學(xué)習(xí)的繪制764.1概念4.1.1卡通風(fēng)格化卡通風(fēng)格的圖像具有明顯的輪廓線，鮮明對(duì)比的顏色空間，色彩明快774.1概念4.1.1卡通風(fēng)格化藝術(shù)特點(diǎn)使用顏色和陰影等體現(xiàn)視覺效果線條簡(jiǎn)單、形象夸張抽象符號(hào)化的表現(xiàn)應(yīng)用于許多動(dòng)畫和電影784.1概念4.1.2圖像濾波濾波將信號(hào)中特定波段頻率濾除的操作，是抑制和防止干擾的一項(xiàng)重要措施。圖像濾波在盡量保留圖像細(xì)節(jié)特征的條件下抑制目標(biāo)圖像噪聲中值濾波、雙邊濾波、…79中值濾波4.2卡通繪制4.2.1基于流場(chǎng)的雙邊濾波繪制方法思想：顯著線條+平滑色塊表示卡通風(fēng)格方法：利用圖像邊緣切向定義的流體向量場(chǎng)提取線條，其他區(qū)域采用雙邊濾波進(jìn)行平滑80線條色塊4.2卡通繪制4.2.1基于流場(chǎng)的雙邊濾波繪制方法算法流程81流體向量場(chǎng)線條色塊4.2卡通繪制4.2.1基于流場(chǎng)的雙邊濾波繪制方法顯著線條提取邊緣切向流（Edgetangentflow，ETF）：局部窗口主方向的累積效應(yīng)82圖像梯度4.2卡通繪制4.2.1基于流場(chǎng)的雙邊濾波繪制方法顯著線條提取邊緣切向流（Edgetangentflow，ETF）：局部窗口主方向的累積效應(yīng)834.2卡通繪制4.2.1基于流場(chǎng)的雙邊濾波繪制方法顯著線條提取邊緣切向流（Edgetangentflow，ETF）：局部窗口主方向的累積效應(yīng)高斯差分（DifferenceofGaussian，DOG）844.2卡通繪制4.2.1基于流場(chǎng)的雙邊濾波繪制方法平滑色塊基于流場(chǎng)的雙邊濾波85雙邊濾波器流場(chǎng)線4.2卡通繪制4.2.1基于流場(chǎng)的雙邊濾波繪制方法結(jié)果864.2卡通繪制4.2.2基于圖像迭代雙邊濾波繪制方法思想：通過亮度通道的平滑處理，實(shí)現(xiàn)卡通繪制時(shí)色塊的變化，增加繪制的立體感87原始圖像卡通化繪制色塊亮度4.2卡通繪制4.2.2基于圖像迭代雙邊濾波繪制方法迭代的雙邊濾波88原始的高斯雙邊4.2卡通繪制4.2.2基于圖像迭代雙邊濾波繪制方法算法流程894.2卡通繪制4.2.2基于圖像迭代雙邊濾波繪制方法對(duì)亮度（L）通道的雙邊濾波量化處理90亮度a通道b通道量化結(jié)果4.2卡通繪制4.2.2基于圖像迭代雙邊濾波繪制方法高斯邊緣差分檢測(cè)顯著邊界疊加量化色塊生成繪制結(jié)果914.2卡通繪制4.2.2基于圖像迭代雙邊濾波繪制方法結(jié)果924.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法思想：傳統(tǒng)雙邊濾波難以處理低對(duì)比度的區(qū)域平滑；借助圖像顯著性進(jìn)行紋理和結(jié)構(gòu)分層，通過結(jié)構(gòu)層區(qū)域平滑進(jìn)行色塊處理93傳統(tǒng)雙邊濾波紋理/結(jié)構(gòu)分解濾波4.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法紋理/結(jié)構(gòu)分層將輸入圖像根據(jù)顯著結(jié)構(gòu)度量分解為紋理層和結(jié)構(gòu)層，從而保留圖像結(jié)構(gòu)信息，過濾紋理等信息94結(jié)構(gòu)層：顯著邊緣紋理層：紋理區(qū)域4.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法紋理/結(jié)構(gòu)分層方法：利用邊緣的各向異性、非周期性和局部方向性度量結(jié)構(gòu)顯著性95非周期性局部方向性各向異性4.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法紋理/結(jié)構(gòu)分層利用邊緣的各向異性、非周期性和局部方向性度量結(jié)構(gòu)顯著性96各向異性度量局部方向性度量非周期性度量顯著結(jié)構(gòu)度量=..4.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法紋理/結(jié)構(gòu)分層利用邊緣的各向異性、非周期性和局部方向性度量結(jié)構(gòu)顯著性974.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法紋理/結(jié)構(gòu)分層利用邊緣的各向異性、非周期性和局部方向性度量結(jié)構(gòu)顯著性采用極值包絡(luò)進(jìn)行結(jié)構(gòu)層和紋理層分離98極大值包絡(luò)極小值包絡(luò)4.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法紋理/結(jié)構(gòu)分層利用邊緣的各向異性、非周期性和局部方向性度量結(jié)構(gòu)顯著性采用極值包絡(luò)進(jìn)行結(jié)構(gòu)層和紋理層分離99輸入圖像平滑圖像4.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法結(jié)果1004.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法結(jié)果101傳統(tǒng)雙邊濾波紋理/結(jié)構(gòu)分層濾波基于流場(chǎng)雙邊濾波原始圖像提綱1.概述2.基于筆畫建模的繪制3.基于紋理合成的繪制4.基于圖像濾波的繪制5.視頻非真實(shí)感繪制6.基于深度學(xué)習(xí)的繪制1025.1概念視頻繪制定義：將輸入視頻幀序列進(jìn)行繪制，生成具有特定風(fēng)格的新視頻難點(diǎn)：幀繪制的時(shí)空連續(xù)性筆畫建模的一致性繪制過程的一致性1035.1概念視頻運(yùn)動(dòng)表示光流空間運(yùn)動(dòng)物體在相鄰幀上的像素瞬時(shí)速度對(duì)應(yīng)于每一個(gè)像素（特征點(diǎn)）位移向量視頻體根據(jù)幀間運(yùn)動(dòng)表示為（x,y,t）構(gòu)成的體數(shù)據(jù)時(shí)空連貫的表示1045.2方法5.2.1基于幀間光流的筆畫繪制方法單幀筆畫繪制筆畫建模傳統(tǒng)顏色、外形、方向、尺寸設(shè)置采用基于筆畫距離的衰減表示濃度，具有印象派風(fēng)格105在以一個(gè)像素大小為半徑的區(qū)域內(nèi)采用線性衰減，用于合成的參數(shù)α從1.0到0.0線性地轉(zhuǎn)變。需要繪制端點(diǎn)（X1，Y1），（x2，y2）之間的筆劃。該筆畫的顏色要與筆畫的中心處的原始圖像的顏色一致。筆畫中所存儲(chǔ)的擾動(dòng)用于修改此顏色。5.2方法5.2.1基于幀間光流的筆畫繪制方法單幀筆畫繪制筆畫建模傳統(tǒng)顏色、外形、方向、尺寸設(shè)置采用基于筆畫距離的衰減表示濃度，具有印象派風(fēng)格1065.2方法5.2.1基于幀間光流的筆畫繪制方法單幀筆畫繪制筆畫建模傳統(tǒng)顏色、外形、方向、尺寸設(shè)置采用基于筆畫距離的衰減表示濃度，具有印象派風(fēng)格筆畫裁剪1075.2方法5.2.1基于幀間光流的筆畫繪制方法幀間筆畫傳播通過光流傳遞對(duì)應(yīng)位置的筆畫參數(shù)108兩幀之間的光流場(chǎng)幀1幀25.2方法5.2.1基于幀間光流的筆畫繪制方法結(jié)果不同筆畫屬性的繪制109Demo5.2方法5.2.2基于光流分層傳播的筆畫繪制方法思想：將視頻劃分成不同的運(yùn)動(dòng)層110物體層物體運(yùn)動(dòng)背景層相機(jī)運(yùn)動(dòng)層1層2層35.2方法5.2.2基于光流分層傳播的筆畫繪制方法算法流程111輸入視頻運(yùn)動(dòng)層提取層的筆畫渲染渲染的視頻5.2方法5.2.2基于光流分層傳播的筆畫繪制方法分層的交互指定:關(guān)鍵幀的UI11212345

層數(shù)每一層的種子區(qū)域用戶交互涂畫……5.2方法5.2.2基于光流分層傳播的筆畫繪制方法分層的交互指定:關(guān)鍵幀的UI113輸入視頻不同的顏色表示的各個(gè)運(yùn)動(dòng)層5.2方法5.2.2基于光流分層傳播的筆畫繪制方法幀間筆畫的分層傳播114……5.2方法5.2.2基于光流分層傳播的筆畫繪制方法背景繪制繪制背景全景圖，并逐幀映射115繪制全景圖5.2方法5.2.2基于光流分層傳播的筆畫繪制方法前景繪制對(duì)象層之間的筆畫變換116幀

k幀

k+1F({size,position,orientation})5.2方法5.2.2基于光流分層傳播的筆畫繪制方法完成渲染的各層的融合117層#3層#2層#1alpha矩陣5.2方法5.2.2基于光流分層傳播的筆畫繪制方法結(jié)果1185.2方法5.2.3基于視頻體的筆畫繪制方法思想：把一個(gè)視頻當(dāng)做一個(gè)時(shí)空立方體，根據(jù)幀間對(duì)應(yīng)內(nèi)容進(jìn)行一致的筆畫建模方法：用戶交互的物體分割，根據(jù)對(duì)象不同運(yùn)動(dòng)進(jìn)行筆畫繪制1195.2方法5.2.3基于視頻體的筆畫繪制方法交互的物體分割對(duì)每一幀應(yīng)用Edsion算法實(shí)現(xiàn)過分割語義連接：交互式地將屬于同一物體對(duì)象的過分割區(qū)域合并120由于語義信息缺失導(dǎo)致的過分割考慮語義聯(lián)系之后的分割結(jié)果5.2方法5.2.3基于視頻體的筆畫繪制方法交互的物體分割對(duì)每一幀應(yīng)用Edison算法實(shí)現(xiàn)過分割語義連接：交互式地將屬于同一物體對(duì)象的過分割區(qū)域合并物理連接：交互式地校正陰影或噪聲等因素引起的過分割121由于陰影導(dǎo)致的過分割進(jìn)行物理連接之后的分割結(jié)果5.2方法5.2.3基于視頻體的筆畫繪制方法在視頻體中對(duì)分割的物體對(duì)象進(jìn)行筆畫繪制122時(shí)空立方體中的分割對(duì)象基于視頻體的繪制5.2方法5.2.3基于視頻體的筆畫繪制方法結(jié)果123提綱1.概述2.基于筆畫建模的繪制3.基于紋理合成的繪制4.基于圖像濾波的繪制5.視頻非真實(shí)感繪制6.基于深度學(xué)習(xí)的繪制1246.1基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移6.1.1卷積神經(jīng)網(wǎng)絡(luò)（CNN）一種包含卷積計(jì)算且具有深度結(jié)構(gòu)的多層神經(jīng)網(wǎng)絡(luò)1256.1基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移6.1.2風(fēng)格遷移126VGG6.1基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移6.1.2風(fēng)格遷移內(nèi)容的CNN重構(gòu)1276.1基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移6.1.2風(fēng)格遷移風(fēng)格的CNN重構(gòu)1286.1基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移6.1.2風(fēng)格遷移1296.1基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移6.1.2風(fēng)格遷移1306.1基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移6.1.2風(fēng)格遷移1316.1基于卷積神經(jīng)網(wǎng)絡(luò)的風(fēng)格遷移6.1.3分塊特征的風(fēng)格遷移132匹配分塊6.2基于生成對(duì)抗網(wǎng)絡(luò)的風(fēng)格遷移6.2.1生成對(duì)抗網(wǎng)絡(luò)（GAN）生成模型+判別模型1336.2基于生成對(duì)抗網(wǎng)絡(luò)的風(fēng)格遷移6.2.2風(fēng)格遷移CycleGAN(cGAN)134TranslatorG:English->ChineseTranslatorF:Chinese->EnglishENEN’CNCycle-consistencylossEN->G(EN)->F(G(EN))~ENFormalized,ifG:X->Y,F:Y->X;expect,X->G(X)->F(G(X))~XCNEN’6.2基于生成對(duì)抗網(wǎng)絡(luò)的風(fēng)格遷移6.2.2風(fēng)格遷移CycleGAN(cGAN)1356.2基于生成對(duì)抗網(wǎng)絡(luò)的風(fēng)格遷移6.2.2風(fēng)格遷移136Demo參考文獻(xiàn)Non-PhotorealisticRendering.B.Gooch,A.Gooch.2001Non-photorealisticcomputergraphics.T.Strothotte,S.Schlechtweg.2002.RecentAdvancesinNon-PhotorealisticRenderingforArtandVisualization.Siggraph2002course.137參考文獻(xiàn)Paintbynumbers:Abstractimagerepresentations.P.Haeberli.SIGGRAPH,1990.AlmostAutomaticComputerPainting.P.Haggerty.IEEECG&A,1991.Computer-generatedwatercolor.C.Curtisetal.Siggraph,1997.Painterlyrenderingwithcurvedbrushstrokesofmultiplesizes.A.Hertzmann.SIGGRAPH,1998.Fastpainttexture.A.Hertzmann.NPAR,2002.Fromimageparsingtopainterlyrendering.K.Zeng,M.Zhao,C.Xiong,andS.-C.Zhu.ACMTrans.Graph.,2009.Painterlyrenderingwithcontent-dependentnaturalpaintstrokes.HuaHuang,TianNanFu,andChen-FengLi.TheVisualComputer.Processingimagesandvideoforanimpressionisteffect.P.Litwinowicz,Siggraph,1997Strokesurfaces:Temporallycoherentnon-photorealistican