計(jì)算機(jī)圖形學(xué)第五章真實(shí)感繪制供《現(xiàn)代計(jì)算機(jī)圖形學(xué)基礎(chǔ)》配套使用1提綱1.基本概念2.光照與材質(zhì)3.著色模型4.紋理映射5.光線追蹤6.輻射度7.BRDF模型8.深度學(xué)習(xí)渲染21.1繪制計(jì)算機(jī)圖形學(xué)中的繪制是指用計(jì)算機(jī)程序從2D或3D模型生成屏幕可顯示的圖像的過程。31.1繪制真實(shí)感繪制：計(jì)算機(jī)繪制結(jié)果能像照片一樣具有真實(shí)場(chǎng)景效果非真實(shí)感繪制：生成具有數(shù)字藝術(shù)化表現(xiàn)形式的圖像4真實(shí)感繪制非真實(shí)感繪制1.2真實(shí)感繪制目標(biāo)根據(jù)場(chǎng)景的幾何造型、材質(zhì)和光源分布等,將其轉(zhuǎn)變成跟真實(shí)場(chǎng)景在視覺效果上非常相似的圖象5照片or繪制？1.2真實(shí)感繪制特點(diǎn)能夠反應(yīng)物體表面顏色和亮度變化能夠表現(xiàn)物體表面的質(zhì)感能夠表現(xiàn)深度、層次、遮擋、陰影等能夠表現(xiàn)反射、（半）透明等6真實(shí)≈物理1.2真實(shí)感繪制因素光照形狀位置材質(zhì)環(huán)境…71.2真實(shí)感繪制兩個(gè)概念光照模型（illuminationmodel）：計(jì)算物體表面任一點(diǎn)上的光強(qiáng)度和色彩組成的數(shù)學(xué)模型著色模型（shadingmodel）：計(jì)算并確定圖像中每個(gè)像素的光強(qiáng)度和色彩的數(shù)學(xué)模型81.2真實(shí)感繪制兩種繪制技術(shù)局部技術(shù)考慮光源和表面性質(zhì)Phong著色，Gouraud著色結(jié)合類似陰影圖、陰影體等復(fù)雜技術(shù)速度快用于實(shí)時(shí)性要求高的應(yīng)用，如3D電腦游戲91.2真實(shí)感繪制兩種繪制技術(shù)全局技術(shù)不僅可以模擬直接照明，還可以模擬間接照明蒙特卡羅光線追蹤熱輻射、光子映射可以更準(zhǔn)確地模擬反射折射（斯涅耳定律）陰影顏色擴(kuò)散需要復(fù)雜的計(jì)算，效率低101.2真實(shí)感繪制發(fā)展歷史111967年Wylie等第一次在繪制模型時(shí)加入光照1970年Bouknight提出第一個(gè)光反射模型：Lambert漫反射+環(huán)境光1971年Gourand提出基于插值的漫反射模型1975年P(guān)hong提出局部光照模型1980年Whitted等提出光線跟蹤整體光照模型1984年Torrance等提出輻射度整體光照模型1.2真實(shí)感繪制發(fā)展歷史121986年Kajiya等提出了基于物理的完整的繪制方程1997年Veach等提出基于蒙特卡羅采樣數(shù)值積分求解1997年Shum等提出基于圖像的真實(shí)感繪制方法2020年Ng等提出神經(jīng)輻射場(chǎng)繪制方法提綱1.基本概念2.光照與材質(zhì)3.著色模型4.紋理映射5.光線追蹤6.輻射度7.BRDF模型8.深度學(xué)習(xí)渲染132.1光源模型2.1.1光源自己能發(fā)光且正在發(fā)光的物體叫做光源（忽略周圍環(huán)境的反射光）單條光線描述：位置（x,y,z）方向（θ,φ）光強(qiáng)度：波長(zhǎng)λ光源描述：所有光線積分環(huán)境光、點(diǎn)光源、聚光燈、遠(yuǎn)光14I(x,y,z,θ,φ,λ)2.1光源模型2.1.1光源

2.1.1-1環(huán)境光模擬均勻光照：場(chǎng)景中每個(gè)點(diǎn)都具有相同的亮度來源于某個(gè)光源：嚴(yán)格意義上說，環(huán)境光也是來自于某個(gè)光源，但由于在光照計(jì)算中進(jìn)行了某些簡(jiǎn)化，通常采用多次反射后的效果模擬環(huán)境光152.1光源模型2.1.1光源2.1.1-2點(diǎn)光源理想的點(diǎn)光源向各個(gè)方向發(fā)射光線點(diǎn)光源的亮度函數(shù)L(??_0)=[??_??(??_0),??_??(??_0),??_??(??_0)]在點(diǎn)P接受的光強(qiáng)反比于光源與點(diǎn)距離的平方162.1光源模型2.1.1光源2.1.1-3聚光燈具有一個(gè)比較窄的照明范圍，通常為圓錐形半無窮區(qū)域可以給點(diǎn)光源加上一定的角度限制得到17cose?Ps2.1光源模型2.1.1光源2.1.1-4遠(yuǎn)光在光照計(jì)算中，定義表面上的點(diǎn)指向光源的方向向量作為遠(yuǎn)光光源的位置入射方向?yàn)樯鲜鱿蛄繂挝换蟮南喾聪蛄?8(θ,φ)2.1光源模型2.1.2整體/局部光照模型中的光源在實(shí)際光照模型中，往往包含不同類型的多個(gè)光源，影響最終的繪制效果192.2材質(zhì)模型物體的材質(zhì)即物體的物理屬性，影響與光線的相互作用反射率透明度吸收率折射率…20不同材質(zhì)產(chǎn)生的繪制效果不同2.3光照與材質(zhì)的作用光和材質(zhì)的相互作用導(dǎo)致物體表面的點(diǎn)具有不同的顏色或陰影效果繪制時(shí)需要考慮：光源

材料特性觀察的位置表面方向…212.3光照與材質(zhì)的作用當(dāng)我們看物體上的一個(gè)點(diǎn)，所看到的顏色是由光源和物體表面的多重相互作用確定的222.3光照與材質(zhì)的作用2.3.1材質(zhì)對(duì)光照的局部影響光線照射到A點(diǎn)

部分光線吸收部分光線發(fā)散一些發(fā)散光照射到B部分光線吸收部分光線發(fā)散從B中的發(fā)散光又照射

到A，如此循環(huán)232.3光照與材質(zhì)的作用2.3.1材質(zhì)對(duì)光照的局部影響鏡面反射漫反射透射242.3光照與材質(zhì)的作用2.3.2整體光照模型25半透明表面的透射陰影多重反射光源環(huán)境光提綱1.基本概念2.光照與材質(zhì)3.著色模型4.紋理映射5.光線追蹤6.輻射度7.BRDF模型8.深度學(xué)習(xí)渲染263.1概念著色（Shading）根據(jù)光源、材質(zhì)等生成模型真實(shí)感效果的過程光源類型光源距離材質(zhì)屬性決定模型的屏幕視覺效果局部繪制技術(shù)273.1概念著色（Shading）平直著色（Flatshading）：一個(gè)面的所有像素用同一種顏色，一般是第一個(gè)頂點(diǎn)的顏色平滑著色（Smoothshading）：對(duì)頂點(diǎn)的顏色進(jìn)行插值運(yùn)算，每個(gè)像素不一樣，產(chǎn)生平滑的視覺效果Gouraudshading,Phongshading28FlatshadingGouraudshadingPhongshading3.2著色技術(shù)3.2.1Gouraudshading通過插值物體表面離散點(diǎn)的顏色生成連續(xù)的繪制效果HenriGouraud，法國(guó)計(jì)算機(jī)科學(xué)家，美國(guó)猶他大學(xué)，1971年博士論文提出293.2著色技術(shù)3.2.1Gouraudshading算法流程計(jì)算多邊形的頂點(diǎn)法向量用光照模型去計(jì)算每個(gè)頂點(diǎn)的光強(qiáng)用雙線性插值計(jì)算多邊形表面上每個(gè)像素的明暗303.2著色技術(shù)3.2.1Gouraudshading特點(diǎn)繪制出每個(gè)多邊形面邊界較明顯不適合光滑物體計(jì)算量少313.2著色技術(shù)3.2.2Phongshading通過插值物體表面法向得到更加準(zhǔn)確的繪制效果是對(duì)真實(shí)局部光照情況的逼近模型BuiTuongPhong，越南人，美國(guó)猶他大學(xué)，1973年博士論文提出32BuiTuongPhong3.2著色技術(shù)3.2.2Phongshading算法流程計(jì)算多邊形頂點(diǎn)的法向量雙線性插值計(jì)算每個(gè)像素點(diǎn)的法向量通過每個(gè)像素的法向量計(jì)算光照333.2著色技術(shù)3.2.2PhongshadingPhong光照模型組成漫反射光鏡面反射光環(huán)境光34漫反射光環(huán)境光鏡面反射光3.2著色技術(shù)3.2.2PhongshadingPhong光照數(shù)學(xué)模型P點(diǎn)到光源的向量lP點(diǎn)到視點(diǎn)方向vP點(diǎn)法向n鏡面反射方向r35Phong光照模型的向量不同類型光線向量3.2著色技術(shù)3.2.2PhongshadingPhong光照物理模型：三種類型光與材質(zhì)相互作用環(huán)境光反射漫反射鏡面反射36環(huán)境反射漫反射鏡面反射=++3.2著色技術(shù)3.2.2Phongshading3.2.2-1環(huán)境光環(huán)境光的強(qiáng)度在每一點(diǎn)都是相同的反射結(jié)果是由環(huán)境反射系數(shù)給出：Ra=ka373.2著色技術(shù)3.2.2Phongshading3.2.2-2漫反射真正的漫反射，它在各個(gè)方向上均勻反射光線所有觀察到的表面都是相同的383.2著色技術(shù)3.2.2Phongshading3.2.2-2漫反射朗伯表面，可用朗伯定律建模：Rd∞cosθ，即反射光的比例正比于入射光的垂直分量39nlθ3.2著色技術(shù)3.2.2Phongshading3.2.2-3鏡面反射大多數(shù)物體表面既不是理想的漫反射型曲面，也不是真正的鏡面(理想反射)光滑表面之所以顯出鏡面高光，是因?yàn)槿肷涔獗环瓷浜螅^大多數(shù)集中在理想反射方向周圍40鏡面高光鏡面表面3.2著色技術(shù)3.2.2Phongshading3.2.2-3鏡面反射大多數(shù)曲面既不是理想的漫反射型曲面，也不是真正的鏡面(理想反射)光滑表面之所以顯出鏡面高光，是因?yàn)槿肷涔獗环瓷浜?，絕大多數(shù)集中在理想反射方向周圍41fIs~ks

Lscosaf鏡面系數(shù)反射系數(shù)入射光強(qiáng)反射強(qiáng)度413.2著色技術(shù)3.2.2Phongshading3.2.2-3鏡面反射大多數(shù)曲面既不是理想的漫反射型曲面，也不是真正的鏡面(理想反射)光滑表面之所以顯出鏡面高光，是因?yàn)槿肷涔獗环瓷浜螅^大多數(shù)集中在理想反射方向周圍Is~ks

Lscosaf鏡面系數(shù)反射系數(shù)入射光強(qiáng)反射強(qiáng)度42鏡面系數(shù)α=3

6925200反射系數(shù)0.250.50.753.2著色技術(shù)3.2.2Phongshading根據(jù)不同類型光線與物體表面每個(gè)點(diǎn)的相互作用，phong模型可以如下計(jì)算:433.2著色技術(shù)3.2.2Phongshading特點(diǎn)適合光滑物體的繪制較為連續(xù)的視覺效果計(jì)算量較大44FlatshadingGouraudshadingPhongshading3.2著色技術(shù)

45JimBlinn3.2著色技術(shù)3.2.3Phong-Blinnshading中值矢量h是l和v的中值單位向量，即46h=(l+v)/|l+v|ψ:一半的角度2ψ=?3.2著色技術(shù)3.2.3Phong-Blinnshading使用中值矢量(n·h)β

替代(v·r)α

當(dāng)l,n,v共面時(shí)，n和h的夾角--中值角ψ就是r和v的夾角φ的一半由此得到的模型稱為改進(jìn)的Phong模型或者Phong-Blinn光照模型473.2著色技術(shù)3.2.3Phong-Blinnshading48(Demo)提綱1.基本概念2.光照與材質(zhì)3.著色模型4.紋理映射5.光線追蹤6.輻射度7.BRDF模型8.深度學(xué)習(xí)渲染494.1概念紋理映射（texturemapping）是將紋理空間中的紋理像素映射到屏幕空間中的像素的過程50=+4.1概念紋理映射的優(yōu)勢(shì)用橙色的球表示橙子

太簡(jiǎn)單用更復(fù)雜形狀代替球?yàn)榱四M所有的凹凸，需要相當(dāng)多的多邊形51如何建立橙子的模型？4.1概念紋理映射的優(yōu)勢(shì)獲取真實(shí)橙子的照片，掃描后把結(jié)果“粘貼”到簡(jiǎn)單的幾何模型上，即紋理映射。結(jié)果仍然不令人滿意，因?yàn)樗们鎺缀涡螤钍枪饣男枰淖兙植啃螤罾冒纪褂成浼夹g(shù)52+4.1概念53紋理映射使得模型繪制更加真實(shí)！4.2紋理映射技術(shù)三種紋理映射：簡(jiǎn)單紋理映射：使用圖像填滿多邊形內(nèi)部環(huán)境映射：使用環(huán)境照片作為紋理映射凹凸映射：通過擾動(dòng)表面法線矢量來改變表面的外形54簡(jiǎn)單紋理映射環(huán)境映射凹凸映射4.2紋理映射技術(shù)4.2.1簡(jiǎn)單的紋理映射目標(biāo)：把圖像映射到曲面上過程：坐標(biāo)系的轉(zhuǎn)換方法：表面參數(shù)化，f:R3→R255二維圖像三維模型4.2.1簡(jiǎn)單的紋理映射4.2紋理映射技術(shù)56參數(shù)坐標(biāo)紋理坐標(biāo)世界坐標(biāo)窗口坐標(biāo)對(duì)象參數(shù)坐標(biāo)：用來建模曲線、曲面紋理坐標(biāo)：用來識(shí)別要被映射的點(diǎn)世界坐標(biāo)：映射發(fā)生的地方窗口坐標(biāo)：最終圖像生成的地方4.2紋理映射技術(shù)4.2.1簡(jiǎn)單的紋理映射線性映射：把平面紋理映射到參數(shù)曲面上的一組面片上574.2紋理映射技術(shù)4.2.1簡(jiǎn)單的紋理映射線性映射問題：如何定義參數(shù)化函數(shù)方法：把二維紋理映射到曲面上的一點(diǎn)，需要三個(gè)函數(shù)x=x(s,t)y=y(s,t)z=z(s,t)實(shí)際采用逆向映射，

即曲面到紋理的參數(shù)化

函數(shù)58st(x,y,z)數(shù)學(xué)上困難4.2紋理映射技術(shù)4.2.1簡(jiǎn)單的紋理映射線性映射逆向映射：給定物體上的點(diǎn)，確定它對(duì)應(yīng)紋理中的哪個(gè)點(diǎn)映射函數(shù)s=s(x,y,z)t=t(x,y,z)59直接計(jì)算困難！?4.2紋理映射技術(shù)4.2.1簡(jiǎn)單的紋理映射兩步映射：把紋理映射到簡(jiǎn)單的中間曲面映射到圓柱映射到球體映射到立方體6014.2紋理映射技術(shù)

6114.2紋理映射技術(shù)

6214.2紋理映射技術(shù)4.2.1簡(jiǎn)單的紋理映射兩步映射：把紋理映射到簡(jiǎn)單的中間曲面立方體適合應(yīng)用于正交投影同樣適用于環(huán)境映射6314.2紋理映射技術(shù)4.2.1簡(jiǎn)單的紋理映射兩步映射：從中間曲面映射到物體模型從中間對(duì)象的法向到實(shí)際對(duì)象從實(shí)際對(duì)象的法向到中間形狀從實(shí)際對(duì)象的中心開始的向量64中間對(duì)象實(shí)際24.2紋理映射技術(shù)4.2.1簡(jiǎn)單的紋理映射完成兩步映射后，建立物體模型表面和紋理之間的坐標(biāo)變換，實(shí)現(xiàn)紋理映射654.2紋理映射技術(shù)4.2.2環(huán)境映射利用環(huán)境的圖像進(jìn)行紋理映射，模擬光滑表面對(duì)周圍環(huán)境的反射可以有效繪制高度鏡面曲面66Demo4.2紋理映射技術(shù)4.2.2環(huán)境映射基本思想：周圍環(huán)境遠(yuǎn)離物體模型和觀察者，同時(shí)物體模型不具備自身反射，而空間中任意一點(diǎn)反射由其方向唯一確定674.2紋理映射技術(shù)4.2.2環(huán)境映射方法創(chuàng)建二維環(huán)境紋理圖像：通常映射到立方體的六個(gè)面計(jì)算物體模型表面的法向及反射方向通過反射方向采樣立方體表面顏色684.2紋理映射技術(shù)4.2.3凹凸映射思想：通過擾動(dòng)表面法向量來改變表面的形狀，外表受光源位置的影響優(yōu)點(diǎn)：可以不需要增加幾何復(fù)雜性就很大程度的改變圖像的外觀694.2紋理映射技術(shù)4.2.3凹凸映射怎么使得表面看起來粗糙選擇1：使用很多小的多邊形給表面建模選擇2：在著色計(jì)算前擾亂正常的法向量在表面上做一些小的位移

表面其實(shí)沒有改變，但是陰影計(jì)算會(huì)看起來不規(guī)則704.2紋理映射技術(shù)4.2.3凹凸映射方法計(jì)算光滑表面的法向n通過隨機(jī)擾動(dòng)d(u,v)改變法向n用新表面替換舊的p’=p+d(u,v)n局部著色技術(shù)繪制71nppp’4.2紋理映射技術(shù)4.2.3凹凸映射實(shí)例72（Demo）提綱1.基本概念2.光照與材質(zhì)3.著色模型4.紋理映射5.光線跟蹤6.輻射度7.BRDF模型8.深度學(xué)習(xí)渲染735.1概念5.1.1光線跟蹤（Raytracing）一種生成真實(shí)感圖像的全局繪制技術(shù)利用光路可逆原理，從攝像機(jī)位置出發(fā)，向成像屏幕上的像素點(diǎn)引若干條射線，初始射線始于攝像機(jī)，終止于光線第一次與表面的交點(diǎn)745.1概念5.1.1光線跟蹤（Raytracing）優(yōu)點(diǎn)：更加準(zhǔn)確的模擬光線傳播反射、折射、透射陰影高質(zhì)量繪制畫面缺點(diǎn)：計(jì)算量大，代價(jià)高適合影視特效靜態(tài)幀繪制不適合交互性游戲75《汽車總動(dòng)員》17小時(shí)/幀5.1概念5.1.1光線跟蹤（Raytracing）1968年，ArthurAppel將光線跟蹤用于圖形繪制1979年，TurnerWhitted提出遞歸光線跟蹤算法1984年，LorenCarpenter提出分布式光線跟蹤算法2005年，薩爾蘭大學(xué)，實(shí)時(shí)光線跟蹤加速硬件RPU（Rayprocessingunit）761968年1979年1984年2005年5.1概念5.1.1光線跟蹤（Raytracing）

兩種方式正向跟蹤：模擬光源發(fā)出的光經(jīng)場(chǎng)景中物體間反射、透射等光線投射，最終進(jìn)入眼睛的過程反向跟蹤：從眼睛的角度出發(fā)，只跟蹤人眼能夠看得到的物體表面的投射光775.1概念5.1.1光線跟蹤（Raytracing）

主流繪制引擎Mentalray，NVIDIAArnoldVRayOpenRT，薩爾蘭大學(xué)785.1概念5.1.2光線數(shù)學(xué)模型射線：通過光源放射的光?？臻g中的射線：光線從投射中心發(fā)出，有的碰到物體進(jìn)行反射，有的到無窮遠(yuǎn)。最終，繪制的圖像都需要反映這些變化。

795.1概念5.1.2光線數(shù)學(xué)模型射線特性直線如果兩個(gè)射線相交，并不會(huì)互相干擾射線光路可逆805.2光線跟蹤5.2.1簡(jiǎn)單的光線投射模型（Raycasting）圖像像素柵格化對(duì)于每一個(gè)像素，從照相機(jī)位置追蹤一條光線，指向該像素點(diǎn)每條射線要么就接觸一個(gè)表面或一個(gè)光源，或者不碰撞任何物體到無窮遠(yuǎn)815.2光線跟蹤5.2.1簡(jiǎn)單的光線投射模型（Raycasting）從相機(jī)投射到像素點(diǎn)的每一條光線如果射線到無限遠(yuǎn)背景顏色如果射線相交于表面或者光源計(jì)算物體表面交點(diǎn)的明暗值825.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）光線投射模型和光線追蹤模型在早期并無不同主要區(qū)別：光線投射并不會(huì)遞歸的追蹤光線光線跟蹤根據(jù)不同的反射、折射遞歸的追蹤光線83光線投射光線跟蹤5.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-1基本算法（TurnerWhitted，1980）對(duì)于每個(gè)像素，沿v方向發(fā)射初始

光線到第一個(gè)可見物體表面對(duì)于每個(gè)交點(diǎn)，跟蹤第二條光線陰影光線L反射光線R折射/透射光線T84初始光線陰影光線反射光線折射光線5.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-1基本算法（TurnerWhitted，1980）像素著色855.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-1基本算法：偽代碼86反射/折射遞歸調(diào)用traceRay5.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）優(yōu)點(diǎn)真實(shí)地模擬光照自然地生成反射、陰影、景深、運(yùn)動(dòng)模糊等效果思想簡(jiǎn)單、容易實(shí)現(xiàn)真實(shí)感強(qiáng)缺點(diǎn)計(jì)算復(fù)雜度較高遞歸的光線跟蹤87光線與物體求交遞歸追蹤次數(shù)5.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-2光線與物體求交典型光線跟蹤大部分時(shí)間花費(fèi)在計(jì)算視線與各物體表面的交點(diǎn)上885.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-2光線與物體求交線與平面求交89線與三角形相交5.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-2光線與物體求交線與球面求交90無交點(diǎn)較小t值5.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-2光線與物體求交加速：減少光線求交次數(shù)層次包圍技術(shù)：包圍盒場(chǎng)景剖分技術(shù)：空間剖分915.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-2光線與物體求交基于包圍盒的層次包圍技術(shù)建立場(chǎng)景物體包圍盒的樹結(jié)構(gòu)與父節(jié)點(diǎn)相交的光線進(jìn)一步與子節(jié)點(diǎn)求交減少光線與包圍盒及物體求交次數(shù)925.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-2光線與物體求交基于空間自適應(yīng)剖分技術(shù)均勻剖分八叉樹剖分K-d樹剖分二分空間劃分樹935.3繪制結(jié)果反射透明(Demo)94提綱1.基本概念2.光照與材質(zhì)3.著色模型4.紋理映射5.光線跟蹤6.輻射度7.BRDF模型8.深度學(xué)習(xí)渲染956.1概念6.1.1輻射度輻射度（Radiosity）從表面向外發(fā)出的輻射通量密度物理原理基于熱輻射理論，模擬兩個(gè)表面之間的熱量傳輸96發(fā)射反射6.1概念6.1.2物理模型能量守恒原則光的發(fā)射/反射等看作能量變化能量平衡狀態(tài)的光強(qiáng)97’P’6.1概念6.1.3輻射度繪制光線跟蹤的問題只模擬光線在可見表面的一次反射/折射只模擬光源照明效果全局繪制算法，模擬光在一個(gè)場(chǎng)景里的多次反射，通常生成更柔和、更自然的陰影和反射可模擬表面的發(fā)射/反射等多種作用可模擬物體之間的相互照明效果98光線跟蹤輻射度Whyradiosity99光線追蹤100輻射度法6.1概念6.1.3輻射度繪制優(yōu)點(diǎn)非常真實(shí)的漫反射表面光照概念簡(jiǎn)單，容易實(shí)現(xiàn)能夠容易地使用3D

硬件加速計(jì)算缺點(diǎn)模型相對(duì)復(fù)雜，計(jì)算效率低不能很好地處理點(diǎn)光源也不能處理有光澤的表面1016.2輻射度繪制6.2.1數(shù)學(xué)模型球坐標(biāo)系輻射角102面積半徑6.2輻射度繪制6.2.1一般步驟基本前提光源和普通物體之間沒有區(qū)別場(chǎng)景中一個(gè)表面被它周圍的所有可見的表面所照亮1036.2輻射度繪制6.2.1一般步驟輸入場(chǎng)景的幾何模型1046.2輻射度繪制6.2.1一般步驟考察局部光照情況：面片1056.2輻射度繪制6.2.1一般步驟考察局部光照情況：?jiǎn)蝹€(gè)面片106?6.2輻射度繪制6.2.1一般步驟考察局部光照情況：所有面片107第一次遍歷6.2輻射度繪制6.2.1一般步驟迭代遍歷所有面片108第一次遍歷第二次遍歷第三次遍歷第四次遍歷第十六次遍歷6.2輻射度繪制6.2.2光照模型球面積分109面元轉(zhuǎn)化為面元積分6.2輻射度繪制6.2.2光照模型輻射功率（radiantpower，瓦）：?jiǎn)挝粫r(shí)間通過表面的能量輻照度（irradiance，瓦/平方米）：?jiǎn)挝幻娣e入射能量輻射度（radiosity，瓦/平方米）：?jiǎn)挝幻娣e出射能量輻射密度（radiantintensity，瓦/角度）：?jiǎn)挝惠椛浣禽椛淠芰?106.2輻射度繪制6.2.2光照模型輻射率（radiance，瓦/角度×平方米）：?jiǎn)挝唤?單位面積的輻射功率111衡量到達(dá)或者離開物體表面的能量分布6.2輻射度繪制6.2.2光照模型

:沿方向離開點(diǎn)的能量:沿方向到達(dá)點(diǎn)的能量:離開點(diǎn)到達(dá)點(diǎn)的能量:離開點(diǎn)到達(dá)點(diǎn)的能量112基本假設(shè)：沿著同一條光路，輻射度不變6.2輻射度繪制6.2.2光照模型輻照度（irradiance）輻射度（radiosity）輻射功率（radiantpower）1136.2輻射度繪制6.2.3繪制方程基本原理：能量守恒

輻射能量=自身能量+反射能量方程1146.2輻射度繪制6.2.3繪制方程雙向反射分布函數(shù)（bidirectionalreflectancedistributionfunction，BRDF）描述了入射光線經(jīng)過某個(gè)表面反射后如何在各個(gè)出射方向上分布1156.2輻射度繪制6.2.3繪制方程基于面元的積分方程116x和y互可見其他6.2輻射度繪制6.2.4實(shí)例：朗勃漫反射輻射度、BRDF與方向無關(guān)1176.2輻射度繪制6.2.4實(shí)例：朗伯漫反射輻射度方程118其中6.3方程求解6.3.1有限元計(jì)算場(chǎng)景分解成許多面片（patch）1196.3方程求解6.3.1有限元計(jì)算場(chǎng)景分解成許多面片（patch）每個(gè)面片都是理想漫反射面，而且每個(gè)面片的輻射度是一個(gè)常數(shù)1206.3方程求解6.3.1有限元計(jì)算離散輻射度方程121formfactor（形式因子）6.3方程求解6.3.1有限元計(jì)算算法輸入場(chǎng)景模型離散化為面片Ai計(jì)算面片之間形式因子Fij計(jì)算不同波長(zhǎng)輻射度B將輻射度轉(zhuǎn)化為色彩、亮度等進(jìn)行繪制122算法時(shí)間>90%算法時(shí)間<10%6.3方程求解6.3.2場(chǎng)景幾何離散通過面片逼近求解輻射度方程場(chǎng)景中每一點(diǎn)的輻射度通過雙線性插值計(jì)算1236.3方程求解6.3.2場(chǎng)景幾何離散均勻離散化：采用相同面積面片，選用不同的插值方法1246.3方程求解6.3.2場(chǎng)景幾何離散均勻離散化：繪制結(jié)果125常值線性插值6.3方程求解6.3.2場(chǎng)景幾何離散非均勻離散化：采用不同面積的面片1266.3方程求解6.3.3形式因子計(jì)算描述從面片i出射到達(dá)面片j的能量1276.3方程求解6.3.3形式因子計(jì)算方法一：利用兩步映射方法二：充分利用圖形系統(tǒng)對(duì)簡(jiǎn)單場(chǎng)景的快速計(jì)算能力方法一方法二6.3方程求解實(shí)例(Demo)129光線跟蹤輻射度6.3方程求解實(shí)例130光線跟蹤輻射度提綱1.基本概念2.光照與材質(zhì)3.著色模型4.紋理映射5.光線跟蹤6.輻射度7.BRDF模型8.深度學(xué)習(xí)渲染1317.1概念雙向反射分布函數(shù)BRDF（bidirectionalreflectancedistributionfunction）描述了入射光線經(jīng)過某個(gè)表面反射后如何在各個(gè)出射方向上分布漫反射鏡面反射各向同性各向異性……1327.1概念雙向反射分布函數(shù)輸入：入射光的的仰角、方位角、出射光的仰角、方位角、波長(zhǎng)輸出：數(shù)值，表示在給定的入射條件下，出射方向上反射的相對(duì)能量1337.1概念雙向反射分布函數(shù)為什么需要BRDF?了解光與物體材質(zhì)的相互作用光照模型簡(jiǎn)潔134SurfaceOutgoinglightIncominglightLr真實(shí)表面BRDF繪制7.2BRDF模型7.2.1經(jīng)驗(yàn)?zāi)Ｐ筒灰欢ǚ衔锢硪?guī)律，但能模擬大部分光學(xué)現(xiàn)象，計(jì)算量小，如Phong著色模型1357.2BRDF模型7.2.2物理模型符合物理規(guī)律，計(jì)算量比較高，如輻射度模型136出射光線入射光線反射函數(shù)7.2BRDF模型7.2.2物理模型符合物理規(guī)律，計(jì)算量比較高，如輻射度模型137遞歸求解形成圖像視點(diǎn)、幾何與光照變化帶來圖像變化7.2BRDF模型7.2.3光學(xué)測(cè)量真實(shí)材質(zhì)的測(cè)量138Goniometer（光學(xué)測(cè)角儀）MERLdatabase提綱1.基本概念2.光照與材質(zhì)3.著色模型4.紋理映射5.光線跟蹤6.輻射度7.BRDF模型8.深度學(xué)習(xí)渲染1398.1基本概念8.1.1傳統(tǒng)渲染渲染是從三維場(chǎng)景到二維圖像的轉(zhuǎn)換過程基于經(jīng)驗(yàn)/物理局部光照模型、全局光照模型140Phong

shading光線跟蹤輻射度三維模型8.1基本概念8.1.1傳統(tǒng)渲染渲染是從三維場(chǎng)景到二維圖像的轉(zhuǎn)換過程基于經(jīng)驗(yàn)/物理局部光照模型、全局光照模型基于圖像從輸入的多幅圖像獲得新視角下的圖像1418.1基本概念8.1.1傳統(tǒng)渲染三維的場(chǎng)景模型復(fù)雜的渲染方程顯式的空間關(guān)系142計(jì)算效率、真實(shí)感8.1基本概念8.1.2可微渲染143三維模型新視角圖像基于經(jīng)驗(yàn)/物理真實(shí)視角圖像新視角圖像基于圖像三維模型/真實(shí)視角圖像新視角圖像基于神經(jīng)網(wǎng)絡(luò)8.1基本概念8.1.2可微渲染可以微分求導(dǎo)的渲染過程傳統(tǒng)渲染管線中，幾何變換可微，而光柵化處理不可微144幾何變換光柵化模型變換、視角變換、投影變換天然可微像素頂點(diǎn)?8.1基本概念8.1.2可微渲染正向：輸入模型和參數(shù)，輸出圖像逆向：由渲染圖像反求參數(shù)（模型、光照、…）145采樣NeRF表觀采集8.2神經(jīng)渲染Neuralrendering146Deepimageorvideogenerationapproachesthatenableexplicitorimplicitcontrolofscenepropertiessuchasillumination,cameraparameters,pose,geometry,appearance,andsemanticstructure.--StateoftheArtonNerualRendering,Eurographics20208.2神經(jīng)渲染8.2.1基于神經(jīng)網(wǎng)絡(luò)的場(chǎng)景表示神經(jīng)網(wǎng)絡(luò)通常需要大量標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，構(gòu)建場(chǎng)景內(nèi)容的有效描述通過標(biāo)注數(shù)據(jù)學(xué)習(xí)從場(chǎng)景到手工描述的映射147圖像描述8.2神經(jīng)渲染8.2.1基于神經(jīng)網(wǎng)絡(luò)的場(chǎng)景表示繪制：任意視角下觀察到的場(chǎng)景圖像通過少量樣本，學(xué)習(xí)推斷出不同視角下場(chǎng)景的幾何、光照、顏色等信息148？8.2神經(jīng)渲染8.2.2生成查詢網(wǎng)絡(luò)（GQN）GenerativequerynetworkK個(gè)視角：K幅圖像：1498.2神經(jīng)渲染8.2.2生成查詢網(wǎng)絡(luò)（GQN）表示網(wǎng)絡(luò)（Representationnetwork）獲得包含物體標(biāo)識(shí)、位置、顏色、數(shù)目等多種信息的場(chǎng)景描述150：學(xué)習(xí)參數(shù)：場(chǎng)景表示：視角及圖像8.2神經(jīng)渲染8.2.2生成查詢網(wǎng)絡(luò)（GQN）生成網(wǎng)絡(luò)（Generationnetwork）生成任意視角vq下的圖像1518.2神經(jīng)渲染8.2.2生成查詢網(wǎng)絡(luò)（GQN）3維場(chǎng)景仿真，無需標(biāo)注少量視角圖像訓(xùn)練，生成任意其它視角下圖像，建立渲染器152Demo8.2基于神經(jīng)網(wǎng)絡(luò)的場(chǎng)景表示8.2.3神經(jīng)輻射場(chǎng)（NeRF）Neuralradiancefields復(fù)雜靜態(tài)場(chǎng)景的隱式全連接層神經(jīng)網(wǎng)絡(luò)建?？臻g位置與視角方向連接起來，并傳遞給全連接層(使用ReLU激活和128個(gè)通道)，該層輸出與視圖相關(guān)的RGB顏色及密度1538.2神經(jīng)渲染8.2.3神經(jīng)輻射場(chǎng)（Neuralradiancefields）輸入：3維空間位置2維視線方向輸出：顏色密度154連續(xù)的5維函數(shù)多層感知機(jī)網(wǎng)絡(luò)(MLP)8.2神經(jīng)渲染8.2.3神經(jīng)輻射場(chǎng)（Neuralradiancefields）基于NeRF的體繪制155[采樣]

在每一射線上，獲取若干采樣點(diǎn)[x,y,z,?,φ](RayMarching)。[前傳]

將每一采樣點(diǎn)的[x,y,z,?,φ]輸入NeRF網(wǎng)絡(luò)，輸出[r,g,b,σ]。[渲染]

利用σ

對(duì)同一射線上所有采樣點(diǎn)的[r,g,b]做加權(quán)和(alphacomposition)，將此加權(quán)和賦予像素。[反傳]

與像素的真實(shí)顏色作比較，計(jì)算誤差和梯度，反傳。8.2神經(jīng)渲染8.2.3神經(jīng)輻射場(chǎng)（Neuralradiancefields）結(jié)果156GroundtruthNeRF局限：端到端訓(xùn)練中對(duì)物體表面缺乏約束，導(dǎo)致對(duì)密度σ估計(jì)不準(zhǔn)。計(jì)算效率。V100x1，單個(gè)場(chǎng)景訓(xùn)練1～2天，單個(gè)圖像推理30秒。大量的射線采樣點(diǎn)導(dǎo)致大量網(wǎng)絡(luò)前傳計(jì)算。絕大部分3D空間只有背景空氣，沒有前景信息。Demo8.2神經(jīng)渲染8.2.4隱式神經(jīng)輻射場(chǎng)（NeuS）NeRF不能準(zhǔn)確估計(jì)密度σ(參與ɑ-composition)采用場(chǎng)景的隱式表示（Neuralimplicitsurfaces）[無偏估計(jì)]權(quán)重在前景表面點(diǎn)處達(dá)到局部極大值，遠(yuǎn)離表面時(shí)快速趨于0。[考慮遮擋]同一射線上不同的兩采樣點(diǎn)與前景表面距離相等時(shí)，離相機(jī)更近的點(diǎn)權(quán)重更大。157NeRFNeuS8.2神經(jīng)渲染8.2.4隱式神經(jīng)輻射場(chǎng)（NeuS）利用SDF(signeddistancefunction)對(duì)前景表面施加約束，從而修正密度σ

。重新定義NeRF網(wǎng)絡(luò)輸出為到表面距離(signeddistance)，代替σ。將該距離值通過邏輯密度分布(logisticdensitydistribution)函數(shù)映射為廣義密度ρ。與σ不同，ρ包含遮擋信息，從而隨距離遞增。在NeRF渲染一步中，將采樣點(diǎn)權(quán)重中的σ替換為ρ

。1588.2神經(jīng)渲染8.2.4隱式神經(jīng)輻射場(chǎng)（NeuS）結(jié)果1598.2神經(jīng)渲染8.2.5稀疏神經(jīng)輻射場(chǎng)（SNeRG）取消NeRF中的逐采樣點(diǎn)計(jì)算。將顏色分解為漫反射成分和鏡面反射成分。漫反射成分與視角無關(guān)，用體素(voxel)數(shù)據(jù)結(jié)構(gòu)儲(chǔ)存。鏡面反射成分與視角相關(guān)，用小型MLP預(yù)測(cè)。1608.2神經(jīng)渲染8.2.5稀疏神經(jīng)輻射場(chǎng)（SNeRG）訓(xùn)練流程[Baking]在每一voxel中采樣若干點(diǎn)，計(jì)算在每一點(diǎn)處漫反射顏色、密度、及特征向量，然后平均。[前傳1]每一射線上采樣點(diǎn)序列，先對(duì)[Baking]信息插值獲得各點(diǎn)的漫反射顏色和密度σ，再和σ作ɑ-composition，渲染出像素的漫反射成分。1618.2神經(jīng)渲染8.2.5稀疏神經(jīng)輻射場(chǎng)（SNeRG）訓(xùn)練流程[前傳2]每一射線上采樣點(diǎn)序列，先對(duì)[Baking]信息插值獲得各點(diǎn)的密度σ和特征向量，再作ɑ-composition，獲得特征向量加權(quán)和。將該加權(quán)向量與視角輸入小型MLP，生成像素的鏡面反射成分。[顏色疊加]將鏡面反射成分和漫反射成分相加。[反傳]更新兩個(gè)網(wǎng)絡(luò)的權(quán)重。1628.2神經(jīng)渲染8.2.5稀疏神經(jīng)輻射場(chǎng)（SNeRG）推理直接從體素(baking信息)出發(fā)，不再用NeRF網(wǎng)絡(luò)前傳。前傳其余步驟與訓(xùn)練相同。1638.2神經(jīng)渲染8.2.5稀疏神經(jīng)輻射場(chǎng)（SNeRG）結(jié)果1648.2神經(jīng)渲染8.2.6加速神經(jīng)圖形單元（Ins-NGP）Instantneuralgraphicsprimitives體素對(duì)應(yīng)可訓(xùn)練特征。多級(jí)體素表征，提高體素表征力。對(duì)高分辨率體素，設(shè)置哈希地址數(shù)上限。網(wǎng)絡(luò)最小化。1658.2神經(jīng)渲染8.2.6加速神經(jīng)圖形單元（Ins-NGP）(1)對(duì)每一級(jí)體素單獨(dú)建立哈希表。體素的每一頂點(diǎn)對(duì)應(yīng)一個(gè)可訓(xùn)練特征。(2)(3)(4)采樣點(diǎn)的特征為周圍頂點(diǎn)處特征的插值。拼接各級(jí)特征向量。(5)通過小型MLP。1668.2神經(jīng)渲染8.2.6加速神經(jīng)圖形單元（Ins-NGP）結(jié)果1678.2神經(jīng)渲染8.2.7基于網(wǎng)格的神經(jīng)輻射場(chǎng)（MobileNeRF）采用帶紋理的多邊形網(wǎng)格（TexturedPolygons）替代體素表示場(chǎng)景。1688.2神經(jīng)渲染8.2.7基于網(wǎng)格的神經(jīng)輻射場(chǎng)（MobileNeRF）三階段訓(xùn)練階段1：一個(gè)固定拓?fù)湫螤畹亩噙呅尉W(wǎng)格和三個(gè)全連接網(wǎng)絡(luò)，計(jì)算像素顏色值。1698.2神經(jīng)渲染8.2.7基于網(wǎng)格的神經(jīng)輻射場(chǎng)（MobileNeRF）三階段訓(xùn)練階段1：一個(gè)固定拓?fù)湫螤畹亩噙呅尉W(wǎng)格和三個(gè)全連接網(wǎng)絡(luò)，計(jì)算像素顏色值。階段2：使用一個(gè)直通估計(jì)器將連續(xù)的不透明度轉(zhuǎn)化為離散的不透明度。階段3：為網(wǎng)格的每個(gè)三角面片創(chuàng)建紋理圖像，然后迭代每個(gè)紋理像素，將離散不透明度和特征聯(lián)合繪制到紋理緩存中進(jìn)行紋理映射。170像素顏色值8.2神經(jīng)渲染8.2.7基于網(wǎng)格的神經(jīng)輻射場(chǎng)（MobileNeRF）結(jié)果：>20幀/秒171ReferencesComputergraphicstechniquesforcapturingandrenderingtheappearanceofagingmaterials.H.Rushmeier.Advancesinreal-timerenderingingames.Siggraph2016course.ComputerGraphics:PrinciplesandPractice.J.Foleyetal.1996Raytracingfromthegroundup.KevinSuffern,2007.Realisticraytracing.PeterShirley,R.KeithMorley,2003.172ReferencesAnimprovedilluminationmodelforshadeddisplay.J.D.Foley,T.Whitted.GraphicsandImageProcessing,1979.Radiosity:Amethodforcomputingglobalillumination.D.Greenberg,M.Cohen,E.Torrance.TheVisualComputer,1986.IntroductiontoRay-Tracing.Glassneretal,1989Illuminationforcomputergeneratedpictures.B.Phong.CommunicationsofACM,1975.Thehemi-cube:Aradiositysolutionforcomplexenvironments.M.Cohen,D.Greenberg.Siggraph,1985.Anefficientradiosityapproachforrealisticimagesynthesis.M.Cohen,D.Greenberg,D.Immel,P.Brock.IEEEComputGraphAppl,1986.ATwo-passSolutiontotheRenderingEquation:ASynthesisofRayTracingandRadiosityMethods.Wallace,J.R.,Cohen,M.F.andGreenberg,D.P.,ComputerGraphics,1987.173ReferencesNeuralscenerepresentationandrendering.S.AliEslami,D.J.Rezende,F.Besse,etal.Science,2018.NeRF:representingscenesasneuralradiancefieldsforviewsynthesis.B.Mildenhall,P.Srinivasan,M.Tancik,J.Barron,R.Ramamoorthi,R.Ng.ECCV,2020.NeuS:learningneuralimplicitsurfacesbyvolumerenderingformulti-viewreconstruction.Wang,P.,Liu,L.J.,LiuY.,TheobaltC.,KomuraT.,WangW.P.NIPS,2021.Bakingneuralradiancefieldsforreal-timeviewsynthesis.HedmanP.,SrinivasanP.,MildenhallB.,BarronJ.,DevevecP.ICCV,2021.Instantneuralgraphicsprimitiveswithamultiresolutionhashencoding.MullerT.,EvansA.,SchiedC.,KellerA.SIGGRAPH,2022.MobileNeRF:Exploitingthepolygonrasterizationpipelineforefficientneuralfieldrenderingonmobilearchitectures.ChenZ.Q.,FunkhouserT.,HedmanP.,TagliasacchiA.CVPR,2023.174計(jì)算機(jī)圖形學(xué)第六章非真實(shí)感繪制供《現(xiàn)代計(jì)算機(jī)圖形學(xué)基礎(chǔ)》配套使用175提綱1.概述2.基于筆畫建模的繪制3.基于紋理合成的繪制4.基于圖像濾波的繪制（卡通）5.視頻非真實(shí)感繪制6.基于深度學(xué)習(xí)的繪制1761.概述非真實(shí)感繪制（non-photorealisticrendering,NPR）是使一個(gè)現(xiàn)實(shí)物體或場(chǎng)景的影像呈現(xiàn)藝術(shù)繪畫的效果，實(shí)現(xiàn)藝術(shù)化的風(fēng)格表現(xiàn)。177NPR1.概述真實(shí)感繪制與非真實(shí)感繪制的區(qū)別在內(nèi)容創(chuàng)作表現(xiàn)形式方面178真實(shí)感繪制計(jì)算復(fù)雜度高特殊的技巧光照模型…非真實(shí)感繪制可接受的復(fù)雜度許多創(chuàng)作工具畫筆、墨水…1.概述真實(shí)感繪制與非真實(shí)感繪制的區(qū)別在應(yīng)用方面179真實(shí)感繪制記錄真實(shí)場(chǎng)景模擬物理過程非真實(shí)感繪制解釋說明敘述故事1.概述非真實(shí)感繪制的特點(diǎn)突出真實(shí)影像中不容易覺察的感性信息提供比真實(shí)影像更有用的認(rèn)知信息更具有吸引力的呈現(xiàn)效果1801.概述181非真實(shí)感繪制的歷史1994年Non-photorealisticrendering用戶主動(dòng)輸入作為輔助底層圖像處理1.概述182非真實(shí)感繪制的歷史高級(jí)視覺人工智能提綱1.概述2.基于筆畫建模的繪制3.基于紋理合成的繪制4.基于圖像濾波的繪制（卡通）5.視頻非真實(shí)感繪制6.基于深度學(xué)習(xí)的繪制1832.1基本概念2.1.1基于筆畫的繪畫藝術(shù)筆畫是進(jìn)行繪畫的基本元素油畫筆、水彩筆、鉛筆…184油畫水彩畫素描2.1基本概念2.1.1基于筆畫的繪畫藝術(shù)筆畫的屬性決定了繪畫效果尺寸：筆畫半徑形狀：筆畫外形方向：筆畫走向顏色：筆畫色彩濃度：筆畫密度1852.1基本概念2.1.2非真實(shí)感繪制流程186用戶交互筆畫建模場(chǎng)景繪制分析表示繪制尺寸、形狀、方向、…顏色、濃度、…2.2油畫風(fēng)格化繪制2.2.1油畫的表現(xiàn)手法和特點(diǎn)繪畫藝術(shù)顏料粘稠，具有拖擺感筆觸可粗可細(xì)由深到淺，逐層覆蓋采用顏色表現(xiàn)對(duì)象寫實(shí)、印象、人物、風(fēng)景……1872.2油畫風(fēng)格化繪制2.2.1油畫的表現(xiàn)手法和特點(diǎn)非真實(shí)感繪制筆畫建模過程模擬1882.2油畫風(fēng)格化繪制2.2.2交互式筆畫繪制方法筆畫模型189鼠標(biāo)點(diǎn)擊筆畫顏色：點(diǎn)擊像素顏色方向：鼠標(biāo)移動(dòng)方向尺寸：鍵盤↑↓濃度：鼠標(biāo)點(diǎn)擊外形：線段2.2油畫風(fēng)格化繪制2.2.2交互式筆畫繪制方法繪制過程1902.2油畫風(fēng)格化繪制2.2.3半自動(dòng)筆畫繪制方法筆畫建模尺寸：圖像梯度濃度：隨機(jī)生成外形：線段顏色：鼠標(biāo)點(diǎn)擊像素方向：鼠標(biāo)移動(dòng)方向191自動(dòng)交互2.2油畫風(fēng)格化繪制2.2.3半自動(dòng)筆畫繪制方法繪制過程192細(xì)節(jié)損失2.2油畫風(fēng)格化繪制2.2.4自動(dòng)筆畫繪制方法交互式/半自動(dòng)方法的不足需要手工交互引導(dǎo)筆畫建模繪制過程缺乏自適應(yīng)調(diào)整筆畫外形為簡(jiǎn)單的線段自動(dòng)方法自動(dòng)進(jìn)行筆畫建模自適應(yīng)的進(jìn)行繪制更加復(fù)雜的筆畫外形1932.2油畫風(fēng)格化繪制2.2.4自動(dòng)筆畫繪制方法筆畫建模的改進(jìn)方向：邊緣檢測(cè)194隨機(jī)均勻采樣點(diǎn)邊緣方向Sobel算子2.2油畫風(fēng)格化繪制2.2.4自動(dòng)筆畫繪制方法筆畫建模的改進(jìn)方向：邊緣檢測(cè)外形：B-樣條曲線1952.2油畫風(fēng)格化繪制2.2.4自動(dòng)筆畫繪制方法繪制過程的改進(jìn)分層筆畫繪制高斯金字塔濾波形成由粗到細(xì)的分層粗的分層選擇尺寸較大筆畫細(xì)的分層選擇尺寸較小筆畫1962.2油畫風(fēng)格化繪制2.2.4自動(dòng)筆畫繪制方法結(jié)果1972.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-1結(jié)合視覺顯著性視覺顯著性描述人眼視覺注意力的特點(diǎn)思想：利用圖像邊緣顯著性分布，指導(dǎo)筆畫建模和繪制過程198輸入圖像筆畫方向場(chǎng)渲染結(jié)果2.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-1結(jié)合視覺顯著性筆畫建模外形：筆畫模板各向異性模板，模擬畫筆和畫布之間的壓力199反走樣筆畫各向異性刷渲染的筆畫筆畫模板2.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-1結(jié)合視覺顯著性筆畫建模尺寸、密度：圖像邊緣顯著性能量分布，定義筆畫尺寸和順序200K-D樹邊緣能量分布2.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-1結(jié)合視覺顯著性結(jié)果2012.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-1結(jié)合視覺顯著性結(jié)果202Hertzmann,Siggraph1998結(jié)合視覺顯著性2.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-2結(jié)合語義結(jié)構(gòu)語義：通過認(rèn)知獲取的數(shù)據(jù)含義思想：利用不同尺度的圖像視覺信息構(gòu)建場(chǎng)景的結(jié)構(gòu)化組織，形成符合認(rèn)知的語義信息，指導(dǎo)筆畫建模和場(chǎng)景繪制2032.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-2結(jié)合語義結(jié)構(gòu)預(yù)處理：生成語義解析樹204區(qū)域分割邊緣檢測(cè)人臉檢測(cè)物體分割2.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-2結(jié)合語義結(jié)構(gòu)預(yù)處理：生成語義解析樹筆畫建模方向：特征線引導(dǎo)的方向場(chǎng)定義方向205由特征線引導(dǎo)的方向場(chǎng)紅色、藍(lán)色和黑色的線條分別表示區(qū)域邊界，主要曲線和其它特征線。2.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-2結(jié)合語義結(jié)構(gòu)預(yù)處理：生成語義解析樹筆畫建模方向：特征線引導(dǎo)的方向場(chǎng)定義方向外形、濃度：筆畫字典2062.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-2結(jié)合語義結(jié)構(gòu)預(yù)處理：生成語義解析樹筆畫建模方向：特征線引導(dǎo)的方向場(chǎng)定義方向外形、濃度：筆畫字典顏色：畫家用色統(tǒng)計(jì)207原圖像的色調(diào)直方圖藝術(shù)繪畫的顏色統(tǒng)計(jì)數(shù)據(jù)中的色調(diào)直方圖2.2油畫風(fēng)格化繪制2.2.5結(jié)合高級(jí)視覺信息的自動(dòng)筆畫繪制方法2.2.5-2結(jié)合語義結(jié)構(gòu)結(jié)果2082.2油畫風(fēng)格化繪制2.2.6基于筆畫遷移的繪制方法思想：真實(shí)圖像和油畫在表現(xiàn)形式上是風(fēng)格的差別，通過量化油畫筆畫使用風(fēng)格，并遷移到目標(biāo)圖像，實(shí)現(xiàn)風(fēng)格化繪制2092.2油畫風(fēng)格化繪制2.2.6基于筆畫遷移的繪制方法思想風(fēng)格表示為筆畫形式通過遷移筆畫進(jìn)行繪制210筆畫

分析筆畫模型基于筆畫的渲染2.2油畫風(fēng)格化繪制2.2.6基于筆畫遷移的繪制方法基于筆畫參數(shù)化的方法算法流程211筆畫參數(shù)表示2.2油畫風(fēng)格化繪制2.2.6基于筆畫遷移的繪制方法基于筆畫參數(shù)化的方法筆畫參數(shù)表示檢測(cè)筆畫：筆畫特征多出現(xiàn)在紋理區(qū)域，且具有局部方向性212Garbor響應(yīng)多頻率特征分析：提取紋理區(qū)域，去除顯著語義輪廓多方向特征分析：提取筆畫方向特征，形成筆畫置信圖2.2油畫風(fēng)格化繪制2.2.6基于筆畫遷移的繪制方法基于筆畫參數(shù)化的方法筆畫參數(shù)表示檢測(cè)筆畫參數(shù)化表示213筆畫尺寸：連通量筆畫方向：方向場(chǎng)筆畫濃度：局部平均響應(yīng)模板Garbor響應(yīng)生成的筆畫置信圖2.2油畫風(fēng)格化繪制2.2.6基于筆畫遷移的繪制方法基于筆畫參數(shù)化的方法繪制過程由模板的筆畫參數(shù)生成目標(biāo)圖像繪制筆畫模型，采用基于筆畫的自動(dòng)方法繪制214筆畫尺寸：連通量筆畫方向：方向場(chǎng)筆畫濃度：局部平均響應(yīng)筆畫尺寸：筆畫方向：筆畫濃度：2.2油畫風(fēng)格化繪制2.2.6基于筆畫遷移的繪制方法基于筆畫參數(shù)化的方法結(jié)果2152.2油畫風(fēng)格化繪制2.2.6基于筆畫遷移的繪制方法基于筆畫參數(shù)化的方法結(jié)果2162.3水彩畫風(fēng)格化繪制2.3.1水彩畫的表現(xiàn)手法和特點(diǎn)繪畫藝術(shù)水調(diào)和透明顏料顏色覆蓋明顯畫面大多具有通透的視覺感覺水的流動(dòng)性……2172.3水彩畫風(fēng)格化繪制2.3.1水彩畫的表現(xiàn)手法和特點(diǎn)非真實(shí)感繪制紙張建模：水彩的吸收與擴(kuò)散筆畫建模：色彩流動(dòng)效果繪制過程：層次覆蓋效果2182.3水彩畫風(fēng)格化繪制2.3.2基于筆畫的自動(dòng)繪制紙張建?；诟叨葓?chǎng)的畫布模擬亞麻布、棉布等表面凹凸添加柏林噪音（Perlinnoise）219旋轉(zhuǎn)不變性能量集中統(tǒng)計(jì)不變性2.3水彩畫風(fēng)格化繪制2.3.2基于筆畫的自動(dòng)繪制筆畫建模：方向、顏色、濃度等分層流體模擬220淺水層：紙面之上的流動(dòng)附著層：吸附/漂浮紙面擴(kuò)散層：紙面擴(kuò)散速度壓力方向顏色濃度2.3水彩畫風(fēng)格化繪制2.3.2基于筆畫的自動(dòng)繪制筆畫建模：方向、顏色、濃度等分層流體模擬221淺水層：紙面之上的流動(dòng)附著層：吸附/漂浮紙面擴(kuò)散層：紙面擴(kuò)散2.3水彩畫風(fēng)格化繪制2.3.2基于筆畫的自動(dòng)繪制繪制過程Kubelka-Munk(KM)模型描述物質(zhì)吸收和散射規(guī)律分層覆蓋淺水層、附著層、擴(kuò)散層穩(wěn)定后疊加融合2222.3水彩畫風(fēng)格化繪制2.3.2基于筆畫的自動(dòng)繪制結(jié)果223水彩畫輸入2.3水彩畫風(fēng)格化繪制2.3.2基于筆畫的自動(dòng)繪制2242.4素描風(fēng)格化繪制2.4.1素描的表現(xiàn)手法和特點(diǎn)繪畫藝術(shù)傳統(tǒng)意義的單色畫以線條來畫出明暗具備自然律動(dòng)感不須顧慮物體細(xì)節(jié)的顏色2252.4素描風(fēng)格化繪制2.4.1素描的表現(xiàn)手法和特點(diǎn)非真實(shí)感繪制筆畫建模：外形、尺寸、濃度繪制過程：逐層累積2262.4素描風(fēng)格化繪制2.4.2基于筆畫的交互式繪制思想：交互指定繪制所需筆畫模型方法：色調(diào)、方向場(chǎng)、外形2272.4素描風(fēng)格化繪制2.4.2基于筆畫的交互式繪制筆畫建模方向：交互指定方向場(chǎng)從粗到細(xì)劃分區(qū)域，同一區(qū)域設(shè)定同樣方向2282.4素描風(fēng)格化繪制2.4.2基于筆畫的交互式繪制筆畫建模方向：交互指定方向場(chǎng)外形：三次B樣條曲線定義樣本2292.4素描風(fēng)格化繪制2.4.2基于筆畫的交互式繪制筆畫建模方向：交互指定方向場(chǎng)外形：三次B樣條曲線定義樣本濃度：交互涂畫色調(diào)圖2300.01.01.01.00.50.32.4素描風(fēng)格化繪制2.4.2基于筆畫的交互式繪制繪制過程根據(jù)方向場(chǎng)、外形、色調(diào)設(shè)置筆畫方向、外形、濃度分層繪制筆畫并疊加2312.4素描風(fēng)格化繪制2.4.2基于筆畫的交互式繪制結(jié)果232提綱1.概述2.基于筆畫建模的繪制3.基于紋理合成的繪制4.基于圖像濾波的繪制5.視頻非真實(shí)感繪制6.基于深度學(xué)習(xí)的繪制2333.1概念紋理合成紋理計(jì)算機(jī)圖形學(xué)：物體表面的圖形表示，如紋理映射圖像處理：具有自身重復(fù)性的圖像，如紋理合成2343.1概念紋理合成基于給定的小區(qū)域紋理樣本，按照表面的幾何、顏色等結(jié)構(gòu)分布，拼合生成更大區(qū)域的紋理圖像2353.1概念紋理合成基于給定的小區(qū)域紋理樣本，按照表面的幾何、顏色等結(jié)構(gòu)分布，拼合生成更大區(qū)域的紋理圖像2363.2油畫風(fēng)格化繪制3.2.1基于風(fēng)格類比的紋理合成繪制將輸入模板圖像之間的類比關(guān)系遷移至目標(biāo)圖像237輸入輸入輸出類比類比3.2油畫風(fēng)格化繪制3.2.1基于風(fēng)格類比的紋理合成繪制算法流程238ANN最優(yōu)匹配紋理合成3.2油畫風(fēng)格化繪制3.2.1基于風(fēng)格類比的紋理合成繪制ANN最優(yōu)匹配239當(dāng)前像素鄰域的相似性相似像素鄰域的一致性最優(yōu)匹配位置3.2油畫風(fēng)格化繪制3.2.1基于風(fēng)格類比的紋理合成繪制基于掃描線的紋理合成240最優(yōu)匹配3.2油畫風(fēng)格化繪制3.2.1基于風(fēng)格類比的紋理合成繪制結(jié)果241輸入圖像兩對(duì)模板輸出圖像3.2油畫風(fēng)格化繪制3.2.2基于筆畫紋理合成的繪制方法思想將局部筆畫分布作為紋理，按照?qǐng)D像內(nèi)容進(jìn)行合成242筆畫紋理合成3.2油畫風(fēng)格化繪制3.2.2基于筆畫紋理合成的繪制方法3.2.2-1基于樣本筆畫紋理的繪制筆畫建模：借助樣本模式提高筆畫效果高度紋理圖：定義顏色（亮度）透明紋理圖：定義濃度243外形：B-樣條亮度、濃度：紋理高度/透明度紋理圖3.2油畫風(fēng)格化繪制3.2.2基于筆畫紋理合成的繪制方法3.2.2-1基于樣本筆畫紋理的繪制繪制過程：通過紋理圖定義的筆畫逐層繪制，并采用高度圖計(jì)算的光照增加亮度變化244高度圖繪制結(jié)果3.2油畫風(fēng)格化繪制3.2.2基于筆畫紋理合成的繪制方法3.2.2-2基于樣本圖像紋理的繪制筆畫建模：選擇指定風(fēng)格圖像的區(qū)域作為筆畫樣本繪制過程：借助方向場(chǎng)指導(dǎo)紋理合成2453.2油畫風(fēng)格化繪制3.2.2基于筆畫紋理合成的繪制方法3.2.2-2基于樣本圖像紋理的繪制筆畫樣本的提取從一幅給定風(fēng)格的優(yōu)化圖像選擇筆畫明顯區(qū)域作為樣本，并通過金字塔高斯濾波生成不同尺度和方向的樣本246用戶指定樣本區(qū)域生成多分辨率的筆畫樣本油畫3.2油畫風(fēng)格化繪制3.2.2基于筆畫紋理合成的繪制方法3.2.2-2基于樣本圖像紋理的繪制筆畫樣本的提取目標(biāo)圖像方向場(chǎng)提取通過邊緣檢測(cè)和梯度計(jì)算，生成符合主要方向的方向場(chǎng)2473.2油畫風(fēng)格化繪制3.2.2基于筆畫紋理合成的繪制方法3.2.2-2基于樣本圖像紋理的繪制筆畫樣本的提取目標(biāo)圖像方向場(chǎng)提取紋理合成2483.2油畫風(fēng)格化繪制3.2.2基于紋理合成的繪制方法3.2.2-2基于樣本圖像紋理的繪制結(jié)果249模板結(jié)果輸入提綱1.概述2.基于筆畫建模的繪制3.基于紋理合成的繪制4.基于圖像濾波的繪制5.視頻非真實(shí)感繪制6.基于深度學(xué)習(xí)的繪制2504.1概念4.1.1卡通風(fēng)格化卡通風(fēng)格的圖像具有明顯的輪廓線，鮮明對(duì)比的顏色空間，色彩明快2514.1概念4.1.1卡通風(fēng)格化藝術(shù)特點(diǎn)使用顏色和陰影等體現(xiàn)視覺效果線條簡(jiǎn)單、形象夸張抽象符號(hào)化的表現(xiàn)應(yīng)用于許多動(dòng)畫和電影2524.1概念4.1.2圖像濾波濾波將信號(hào)中特定波段頻率濾除的操作，是抑制和防止干擾的一項(xiàng)重要措施。圖像濾波在盡量保留圖像細(xì)節(jié)特征的條件下抑制目標(biāo)圖像噪聲中值濾波、雙邊濾波、…253中值濾波4.2卡通繪制4.2.1基于流場(chǎng)的雙邊濾波繪制方法思想：顯著線條+平滑色塊表示卡通風(fēng)格方法：利用圖像邊緣切向定義的流體向量場(chǎng)提取線條，其他區(qū)域采用雙邊濾波進(jìn)行平滑254線條色塊4.2卡通繪制4.2.1基于流場(chǎng)的雙邊濾波繪制方法算法流程255流體向量場(chǎng)線條色塊4.2卡通繪制4.2.1基于流場(chǎng)的雙邊濾波繪制方法顯著線條提取邊緣切向流（Edgetangentflow，ETF）：局部窗口主方向的累積效應(yīng)256圖像梯度4.2卡通繪制4.2.1基于流場(chǎng)的雙邊濾波繪制方法顯著線條提取邊緣切向流（Edgetangentflow，ETF）：局部窗口主方向的累積效應(yīng)2574.2卡通繪制4.2.1基于流場(chǎng)的雙邊濾波繪制方法顯著線條提取邊緣切向流（Edgetangentflow，ETF）：局部窗口主方向的累積效應(yīng)高斯差分（DifferenceofGaussian，DOG）2584.2卡通繪制4.2.1基于流場(chǎng)的雙邊濾波繪制方法平滑色塊基于流場(chǎng)的雙邊濾波259雙邊濾波器流場(chǎng)線4.2卡通繪制4.2.1基于流場(chǎng)的雙邊濾波繪制方法結(jié)果2604.2卡通繪制4.2.2基于圖像迭代雙邊濾波繪制方法思想：通過亮度通道的平滑處理，實(shí)現(xiàn)卡通繪制時(shí)色塊的變化，增加繪制的立體感261原始圖像卡通化繪制色塊亮度4.2卡通繪制4.2.2基于圖像迭代雙邊濾波繪制方法迭代的雙邊濾波262原始的高斯雙邊4.2卡通繪制4.2.2基于圖像迭代雙邊濾波繪制方法算法流程2634.2卡通繪制4.2.2基于圖像迭代雙邊濾波繪制方法對(duì)亮度（L）通道的雙邊濾波量化處理264亮度a通道b通道量化結(jié)果4.2卡通繪制4.2.2基于圖像迭代雙邊濾波繪制方法高斯邊緣差分檢測(cè)顯著邊界疊加量化色塊生成繪制結(jié)果2654.2卡通繪制4.2.2基于圖像迭代雙邊濾波繪制方法結(jié)果2664.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法思想：傳統(tǒng)雙邊濾波難以處理低對(duì)比度的區(qū)域平滑；借助圖像顯著性進(jìn)行紋理和結(jié)構(gòu)分層，通過結(jié)構(gòu)層區(qū)域平滑進(jìn)行色塊處理267傳統(tǒng)雙邊濾波紋理/結(jié)構(gòu)分解濾波4.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法紋理/結(jié)構(gòu)分層將輸入圖像根據(jù)顯著結(jié)構(gòu)度量分解為紋理層和結(jié)構(gòu)層，從而保留圖像結(jié)構(gòu)信息，過濾紋理等信息268結(jié)構(gòu)層：顯著邊緣紋理層：紋理區(qū)域4.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法紋理/結(jié)構(gòu)分層方法：利用邊緣的各向異性、非周期性和局部方向性度量結(jié)構(gòu)顯著性269非周期性局部方向性各向異性4.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法紋理/結(jié)構(gòu)分層利用邊緣的各向異性、非周期性和局部方向性度量結(jié)構(gòu)顯著性270各向異性度量局部方向性度量非周期性度量顯著結(jié)構(gòu)度量=..4.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法紋理/結(jié)構(gòu)分層利用邊緣的各向異性、非周期性和局部方向性度量結(jié)構(gòu)顯著性2714.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法紋理/結(jié)構(gòu)分層利用邊緣的各向異性、非周期性和局部方向性度量結(jié)構(gòu)顯著性采用極值包絡(luò)進(jìn)行結(jié)構(gòu)層和紋理層分離272極大值包絡(luò)極小值包絡(luò)4.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法紋理/結(jié)構(gòu)分層利用邊緣的各向異性、非周期性和局部方向性度量結(jié)構(gòu)顯著性采用極值包絡(luò)進(jìn)行結(jié)構(gòu)層和紋理層分離273輸入圖像平滑圖像4.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法結(jié)果2744.2卡通繪制4.2.3基于紋理/結(jié)構(gòu)分層的濾波繪制方法結(jié)果275傳統(tǒng)雙邊濾波紋理/結(jié)構(gòu)分層濾波基于流場(chǎng)雙邊濾波原始圖像提綱1.概述2.基于筆畫建模的繪制3.基于紋理合成的繪制4.基于圖像濾波的繪制5.視頻非真實(shí)感繪制6.基于深度學(xué)習(xí)的繪制2765.1概念視頻繪制定義：將輸入視頻幀序列進(jìn)行繪制，生成具有特定風(fēng)格的新視頻難點(diǎn)：幀繪制的時(shí)空連續(xù)性筆畫建模的一致性繪制過程的一致性2775.1概念視頻運(yùn)動(dòng)表示光流空間運(yùn)動(dòng)物體在相鄰幀上的像素瞬時(shí)速度對(duì)應(yīng)于每一個(gè)像素（特征點(diǎn)）位移向量視頻體根據(jù)幀間運(yùn)動(dòng)表示為（x,y,t）構(gòu)成的體數(shù)據(jù)時(shí)空連貫的表示2785.2方法5.2.1基于幀間光流的筆畫繪制方法單幀筆畫繪制筆畫建模傳統(tǒng)顏色、外形、方向、尺寸設(shè)置采用基于筆畫距離的衰減表示濃度，具有印象