計算機(jī)圖形學(xué)第五章真實感繪制供《現(xiàn)代計算機(jī)圖形學(xué)基礎(chǔ)》配套使用1提綱1.基本概念2.光照與材質(zhì)3.著色模型4.紋理映射5.光線追蹤6.輻射度7.BRDF模型8.深度學(xué)習(xí)渲染21.1繪制計算機(jī)圖形學(xué)中的繪制是指用計算機(jī)程序從2D或3D模型生成屏幕可顯示的圖像的過程。31.1繪制真實感繪制：計算機(jī)繪制結(jié)果能像照片一樣具有真實場景效果非真實感繪制：生成具有數(shù)字藝術(shù)化表現(xiàn)形式的圖像4真實感繪制非真實感繪制1.2真實感繪制目標(biāo)根據(jù)場景的幾何造型、材質(zhì)和光源分布等,將其轉(zhuǎn)變成跟真實場景在視覺效果上非常相似的圖象5照片or繪制？1.2真實感繪制特點能夠反應(yīng)物體表面顏色和亮度變化能夠表現(xiàn)物體表面的質(zhì)感能夠表現(xiàn)深度、層次、遮擋、陰影等能夠表現(xiàn)反射、（半）透明等6真實≈物理1.2真實感繪制因素光照形狀位置材質(zhì)環(huán)境…71.2真實感繪制兩個概念光照模型（illuminationmodel）：計算物體表面任一點上的光強(qiáng)度和色彩組成的數(shù)學(xué)模型著色模型（shadingmodel）：計算并確定圖像中每個像素的光強(qiáng)度和色彩的數(shù)學(xué)模型81.2真實感繪制兩種繪制技術(shù)局部技術(shù)考慮光源和表面性質(zhì)Phong著色，Gouraud著色結(jié)合類似陰影圖、陰影體等復(fù)雜技術(shù)速度快用于實時性要求高的應(yīng)用，如3D電腦游戲91.2真實感繪制兩種繪制技術(shù)全局技術(shù)不僅可以模擬直接照明，還可以模擬間接照明蒙特卡羅光線追蹤熱輻射、光子映射可以更準(zhǔn)確地模擬反射折射（斯涅耳定律）陰影顏色擴(kuò)散需要復(fù)雜的計算，效率低101.2真實感繪制發(fā)展歷史111967年Wylie等第一次在繪制模型時加入光照1970年Bouknight提出第一個光反射模型：Lambert漫反射+環(huán)境光1971年Gourand提出基于插值的漫反射模型1975年P(guān)hong提出局部光照模型1980年Whitted等提出光線跟蹤整體光照模型1984年Torrance等提出輻射度整體光照模型1.2真實感繪制發(fā)展歷史121986年Kajiya等提出了基于物理的完整的繪制方程1997年Veach等提出基于蒙特卡羅采樣數(shù)值積分求解1997年Shum等提出基于圖像的真實感繪制方法2020年Ng等提出神經(jīng)輻射場繪制方法提綱1.基本概念2.光照與材質(zhì)3.著色模型4.紋理映射5.光線追蹤6.輻射度7.BRDF模型8.深度學(xué)習(xí)渲染132.1光源模型2.1.1光源自己能發(fā)光且正在發(fā)光的物體叫做光源（忽略周圍環(huán)境的反射光）單條光線描述：位置（x,y,z）方向（θ,φ）光強(qiáng)度：波長λ光源描述：所有光線積分環(huán)境光、點光源、聚光燈、遠(yuǎn)光14I(x,y,z,θ,φ,λ)2.1光源模型2.1.1光源

2.1.1-1環(huán)境光模擬均勻光照：場景中每個點都具有相同的亮度來源于某個光源：嚴(yán)格意義上說，環(huán)境光也是來自于某個光源，但由于在光照計算中進(jìn)行了某些簡化，通常采用多次反射后的效果模擬環(huán)境光152.1光源模型2.1.1光源2.1.1-2點光源理想的點光源向各個方向發(fā)射光線點光源的亮度函數(shù)L(??_0)=[??_??(??_0),??_??(??_0),??_??(??_0)]在點P接受的光強(qiáng)反比于光源與點距離的平方162.1光源模型2.1.1光源2.1.1-3聚光燈具有一個比較窄的照明范圍，通常為圓錐形半無窮區(qū)域可以給點光源加上一定的角度限制得到17cose?Ps2.1光源模型2.1.1光源2.1.1-4遠(yuǎn)光在光照計算中，定義表面上的點指向光源的方向向量作為遠(yuǎn)光光源的位置入射方向為上述向量單位化后的相反向量18(θ,φ)2.1光源模型2.1.2整體/局部光照模型中的光源在實際光照模型中，往往包含不同類型的多個光源，影響最終的繪制效果192.2材質(zhì)模型物體的材質(zhì)即物體的物理屬性，影響與光線的相互作用反射率透明度吸收率折射率…20不同材質(zhì)產(chǎn)生的繪制效果不同2.3光照與材質(zhì)的作用光和材質(zhì)的相互作用導(dǎo)致物體表面的點具有不同的顏色或陰影效果繪制時需要考慮：光源

材料特性觀察的位置表面方向…212.3光照與材質(zhì)的作用當(dāng)我們看物體上的一個點，所看到的顏色是由光源和物體表面的多重相互作用確定的222.3光照與材質(zhì)的作用2.3.1材質(zhì)對光照的局部影響光線照射到A點

部分光線吸收部分光線發(fā)散一些發(fā)散光照射到B部分光線吸收部分光線發(fā)散從B中的發(fā)散光又照射

到A，如此循環(huán)232.3光照與材質(zhì)的作用2.3.1材質(zhì)對光照的局部影響鏡面反射漫反射透射242.3光照與材質(zhì)的作用2.3.2整體光照模型25半透明表面的透射陰影多重反射光源環(huán)境光提綱1.基本概念2.光照與材質(zhì)3.著色模型4.紋理映射5.光線追蹤6.輻射度7.BRDF模型8.深度學(xué)習(xí)渲染263.1概念著色（Shading）根據(jù)光源、材質(zhì)等生成模型真實感效果的過程光源類型光源距離材質(zhì)屬性決定模型的屏幕視覺效果局部繪制技術(shù)273.1概念著色（Shading）平直著色（Flatshading）：一個面的所有像素用同一種顏色，一般是第一個頂點的顏色平滑著色（Smoothshading）：對頂點的顏色進(jìn)行插值運(yùn)算，每個像素不一樣，產(chǎn)生平滑的視覺效果Gouraudshading,Phongshading28FlatshadingGouraudshadingPhongshading3.2著色技術(shù)3.2.1Gouraudshading通過插值物體表面離散點的顏色生成連續(xù)的繪制效果HenriGouraud，法國計算機(jī)科學(xué)家，美國猶他大學(xué)，1971年博士論文提出293.2著色技術(shù)3.2.1Gouraudshading算法流程計算多邊形的頂點法向量用光照模型去計算每個頂點的光強(qiáng)用雙線性插值計算多邊形表面上每個像素的明暗303.2著色技術(shù)3.2.1Gouraudshading特點繪制出每個多邊形面邊界較明顯不適合光滑物體計算量少313.2著色技術(shù)3.2.2Phongshading通過插值物體表面法向得到更加準(zhǔn)確的繪制效果是對真實局部光照情況的逼近模型BuiTuongPhong，越南人，美國猶他大學(xué)，1973年博士論文提出32BuiTuongPhong3.2著色技術(shù)3.2.2Phongshading算法流程計算多邊形頂點的法向量雙線性插值計算每個像素點的法向量通過每個像素的法向量計算光照333.2著色技術(shù)3.2.2PhongshadingPhong光照模型組成漫反射光鏡面反射光環(huán)境光34漫反射光環(huán)境光鏡面反射光3.2著色技術(shù)3.2.2PhongshadingPhong光照數(shù)學(xué)模型P點到光源的向量lP點到視點方向vP點法向n鏡面反射方向r35Phong光照模型的向量不同類型光線向量3.2著色技術(shù)3.2.2PhongshadingPhong光照物理模型：三種類型光與材質(zhì)相互作用環(huán)境光反射漫反射鏡面反射36環(huán)境反射漫反射鏡面反射=++3.2著色技術(shù)3.2.2Phongshading3.2.2-1環(huán)境光環(huán)境光的強(qiáng)度在每一點都是相同的反射結(jié)果是由環(huán)境反射系數(shù)給出：Ra=ka373.2著色技術(shù)3.2.2Phongshading3.2.2-2漫反射真正的漫反射，它在各個方向上均勻反射光線所有觀察到的表面都是相同的383.2著色技術(shù)3.2.2Phongshading3.2.2-2漫反射朗伯表面，可用朗伯定律建模：Rd∞cosθ，即反射光的比例正比于入射光的垂直分量39nlθ3.2著色技術(shù)3.2.2Phongshading3.2.2-3鏡面反射大多數(shù)物體表面既不是理想的漫反射型曲面，也不是真正的鏡面(理想反射)光滑表面之所以顯出鏡面高光，是因為入射光被反射后，絕大多數(shù)集中在理想反射方向周圍40鏡面高光鏡面表面3.2著色技術(shù)3.2.2Phongshading3.2.2-3鏡面反射大多數(shù)曲面既不是理想的漫反射型曲面，也不是真正的鏡面(理想反射)光滑表面之所以顯出鏡面高光，是因為入射光被反射后，絕大多數(shù)集中在理想反射方向周圍41fIs~ks

Lscosaf鏡面系數(shù)反射系數(shù)入射光強(qiáng)反射強(qiáng)度413.2著色技術(shù)3.2.2Phongshading3.2.2-3鏡面反射大多數(shù)曲面既不是理想的漫反射型曲面，也不是真正的鏡面(理想反射)光滑表面之所以顯出鏡面高光，是因為入射光被反射后，絕大多數(shù)集中在理想反射方向周圍Is~ks

Lscosaf鏡面系數(shù)反射系數(shù)入射光強(qiáng)反射強(qiáng)度42鏡面系數(shù)α=3

6925200反射系數(shù)0.250.50.753.2著色技術(shù)3.2.2Phongshading根據(jù)不同類型光線與物體表面每個點的相互作用，phong模型可以如下計算:433.2著色技術(shù)3.2.2Phongshading特點適合光滑物體的繪制較為連續(xù)的視覺效果計算量較大44FlatshadingGouraudshadingPhongshading3.2著色技術(shù)

45JimBlinn3.2著色技術(shù)3.2.3Phong-Blinnshading中值矢量h是l和v的中值單位向量，即46h=(l+v)/|l+v|ψ:一半的角度2ψ=?3.2著色技術(shù)3.2.3Phong-Blinnshading使用中值矢量(n·h)β

替代(v·r)α

當(dāng)l,n,v共面時，n和h的夾角--中值角ψ就是r和v的夾角φ的一半由此得到的模型稱為改進(jìn)的Phong模型或者Phong-Blinn光照模型473.2著色技術(shù)3.2.3Phong-Blinnshading48(Demo)提綱1.基本概念2.光照與材質(zhì)3.著色模型4.紋理映射5.光線追蹤6.輻射度7.BRDF模型8.深度學(xué)習(xí)渲染494.1概念紋理映射（texturemapping）是將紋理空間中的紋理像素映射到屏幕空間中的像素的過程50=+4.1概念紋理映射的優(yōu)勢用橙色的球表示橙子

太簡單用更復(fù)雜形狀代替球為了模擬所有的凹凸，需要相當(dāng)多的多邊形51如何建立橙子的模型？4.1概念紋理映射的優(yōu)勢獲取真實橙子的照片，掃描后把結(jié)果“粘貼”到簡單的幾何模型上，即紋理映射。結(jié)果仍然不令人滿意，因為所得曲面幾何形狀是光滑的需要改變局部形狀利用凹凸映射技術(shù)52+4.1概念53紋理映射使得模型繪制更加真實！4.2紋理映射技術(shù)三種紋理映射：簡單紋理映射：使用圖像填滿多邊形內(nèi)部環(huán)境映射：使用環(huán)境照片作為紋理映射凹凸映射：通過擾動表面法線矢量來改變表面的外形54簡單紋理映射環(huán)境映射凹凸映射4.2紋理映射技術(shù)4.2.1簡單的紋理映射目標(biāo)：把圖像映射到曲面上過程：坐標(biāo)系的轉(zhuǎn)換方法：表面參數(shù)化，f:R3→R255二維圖像三維模型4.2.1簡單的紋理映射4.2紋理映射技術(shù)56參數(shù)坐標(biāo)紋理坐標(biāo)世界坐標(biāo)窗口坐標(biāo)對象參數(shù)坐標(biāo)：用來建模曲線、曲面紋理坐標(biāo)：用來識別要被映射的點世界坐標(biāo)：映射發(fā)生的地方窗口坐標(biāo)：最終圖像生成的地方4.2紋理映射技術(shù)4.2.1簡單的紋理映射線性映射：把平面紋理映射到參數(shù)曲面上的一組面片上574.2紋理映射技術(shù)4.2.1簡單的紋理映射線性映射問題：如何定義參數(shù)化函數(shù)方法：把二維紋理映射到曲面上的一點，需要三個函數(shù)x=x(s,t)y=y(s,t)z=z(s,t)實際采用逆向映射，

即曲面到紋理的參數(shù)化

函數(shù)58st(x,y,z)數(shù)學(xué)上困難4.2紋理映射技術(shù)4.2.1簡單的紋理映射線性映射逆向映射：給定物體上的點，確定它對應(yīng)紋理中的哪個點映射函數(shù)s=s(x,y,z)t=t(x,y,z)59直接計算困難！?4.2紋理映射技術(shù)4.2.1簡單的紋理映射兩步映射：把紋理映射到簡單的中間曲面映射到圓柱映射到球體映射到立方體6014.2紋理映射技術(shù)

6114.2紋理映射技術(shù)

6214.2紋理映射技術(shù)4.2.1簡單的紋理映射兩步映射：把紋理映射到簡單的中間曲面立方體適合應(yīng)用于正交投影同樣適用于環(huán)境映射6314.2紋理映射技術(shù)4.2.1簡單的紋理映射兩步映射：從中間曲面映射到物體模型從中間對象的法向到實際對象從實際對象的法向到中間形狀從實際對象的中心開始的向量64中間對象實際24.2紋理映射技術(shù)4.2.1簡單的紋理映射完成兩步映射后，建立物體模型表面和紋理之間的坐標(biāo)變換，實現(xiàn)紋理映射654.2紋理映射技術(shù)4.2.2環(huán)境映射利用環(huán)境的圖像進(jìn)行紋理映射，模擬光滑表面對周圍環(huán)境的反射可以有效繪制高度鏡面曲面66Demo4.2紋理映射技術(shù)4.2.2環(huán)境映射基本思想：周圍環(huán)境遠(yuǎn)離物體模型和觀察者，同時物體模型不具備自身反射，而空間中任意一點反射由其方向唯一確定674.2紋理映射技術(shù)4.2.2環(huán)境映射方法創(chuàng)建二維環(huán)境紋理圖像：通常映射到立方體的六個面計算物體模型表面的法向及反射方向通過反射方向采樣立方體表面顏色684.2紋理映射技術(shù)4.2.3凹凸映射思想：通過擾動表面法向量來改變表面的形狀，外表受光源位置的影響優(yōu)點：可以不需要增加幾何復(fù)雜性就很大程度的改變圖像的外觀694.2紋理映射技術(shù)4.2.3凹凸映射怎么使得表面看起來粗糙選擇1：使用很多小的多邊形給表面建模選擇2：在著色計算前擾亂正常的法向量在表面上做一些小的位移

表面其實沒有改變，但是陰影計算會看起來不規(guī)則704.2紋理映射技術(shù)4.2.3凹凸映射方法計算光滑表面的法向n通過隨機(jī)擾動d(u,v)改變法向n用新表面替換舊的p’=p+d(u,v)n局部著色技術(shù)繪制71nppp’4.2紋理映射技術(shù)4.2.3凹凸映射實例72（Demo）提綱1.基本概念2.光照與材質(zhì)3.著色模型4.紋理映射5.光線跟蹤6.輻射度7.BRDF模型8.深度學(xué)習(xí)渲染735.1概念5.1.1光線跟蹤（Raytracing）一種生成真實感圖像的全局繪制技術(shù)利用光路可逆原理，從攝像機(jī)位置出發(fā)，向成像屏幕上的像素點引若干條射線，初始射線始于攝像機(jī)，終止于光線第一次與表面的交點745.1概念5.1.1光線跟蹤（Raytracing）優(yōu)點：更加準(zhǔn)確的模擬光線傳播反射、折射、透射陰影高質(zhì)量繪制畫面缺點：計算量大，代價高適合影視特效靜態(tài)幀繪制不適合交互性游戲75《汽車總動員》17小時/幀5.1概念5.1.1光線跟蹤（Raytracing）1968年，ArthurAppel將光線跟蹤用于圖形繪制1979年，TurnerWhitted提出遞歸光線跟蹤算法1984年，LorenCarpenter提出分布式光線跟蹤算法2005年，薩爾蘭大學(xué)，實時光線跟蹤加速硬件RPU（Rayprocessingunit）761968年1979年1984年2005年5.1概念5.1.1光線跟蹤（Raytracing）

兩種方式正向跟蹤：模擬光源發(fā)出的光經(jīng)場景中物體間反射、透射等光線投射，最終進(jìn)入眼睛的過程反向跟蹤：從眼睛的角度出發(fā)，只跟蹤人眼能夠看得到的物體表面的投射光775.1概念5.1.1光線跟蹤（Raytracing）

主流繪制引擎Mentalray，NVIDIAArnoldVRayOpenRT，薩爾蘭大學(xué)785.1概念5.1.2光線數(shù)學(xué)模型射線：通過光源放射的光?？臻g中的射線：光線從投射中心發(fā)出，有的碰到物體進(jìn)行反射，有的到無窮遠(yuǎn)。最終，繪制的圖像都需要反映這些變化。

795.1概念5.1.2光線數(shù)學(xué)模型射線特性直線如果兩個射線相交，并不會互相干擾射線光路可逆805.2光線跟蹤5.2.1簡單的光線投射模型（Raycasting）圖像像素柵格化對于每一個像素，從照相機(jī)位置追蹤一條光線，指向該像素點每條射線要么就接觸一個表面或一個光源，或者不碰撞任何物體到無窮遠(yuǎn)815.2光線跟蹤5.2.1簡單的光線投射模型（Raycasting）從相機(jī)投射到像素點的每一條光線如果射線到無限遠(yuǎn)背景顏色如果射線相交于表面或者光源計算物體表面交點的明暗值825.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）光線投射模型和光線追蹤模型在早期并無不同主要區(qū)別：光線投射并不會遞歸的追蹤光線光線跟蹤根據(jù)不同的反射、折射遞歸的追蹤光線83光線投射光線跟蹤5.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-1基本算法（TurnerWhitted，1980）對于每個像素，沿v方向發(fā)射初始

光線到第一個可見物體表面對于每個交點，跟蹤第二條光線陰影光線L反射光線R折射/透射光線T84初始光線陰影光線反射光線折射光線5.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-1基本算法（TurnerWhitted，1980）像素著色855.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-1基本算法：偽代碼86反射/折射遞歸調(diào)用traceRay5.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）優(yōu)點真實地模擬光照自然地生成反射、陰影、景深、運(yùn)動模糊等效果思想簡單、容易實現(xiàn)真實感強(qiáng)缺點計算復(fù)雜度較高遞歸的光線跟蹤87光線與物體求交遞歸追蹤次數(shù)5.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-2光線與物體求交典型光線跟蹤大部分時間花費在計算視線與各物體表面的交點上885.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-2光線與物體求交線與平面求交89線與三角形相交5.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-2光線與物體求交線與球面求交90無交點較小t值5.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-2光線與物體求交加速：減少光線求交次數(shù)層次包圍技術(shù)：包圍盒場景剖分技術(shù)：空間剖分915.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-2光線與物體求交基于包圍盒的層次包圍技術(shù)建立場景物體包圍盒的樹結(jié)構(gòu)與父節(jié)點相交的光線進(jìn)一步與子節(jié)點求交減少光線與包圍盒及物體求交次數(shù)925.2光線跟蹤5.2.2光線跟蹤模型（Raytracing）5.2.2-2光線與物體求交基于空間自適應(yīng)剖分技術(shù)均勻剖分八叉樹剖分K-d樹剖分二分空間劃分樹935.3繪制結(jié)果反射透明(Demo)94提綱1.基本概念2.光照與材質(zhì)3.著色模型4.紋理映射5.光線跟蹤6.輻射度7.BRDF模型8.深度學(xué)習(xí)渲染956.1概念6.1.1輻射度輻射度（Radiosity）從表面向外發(fā)出的輻射通量密度物理原理基于熱輻射理論，模擬兩個表面之間的熱量傳輸96發(fā)射反射6.1概念6.1.2物理模型能量守恒原則光的發(fā)射/反射等看作能量變化能量平衡狀態(tài)的光強(qiáng)97’P’6.1概念6.1.3輻射度繪制光線跟蹤的問題只模擬光線在可見表面的一次反射/折射只模擬光源照明效果全局繪制算法，模擬光在一個場景里的多次反射，通常生成更柔和、更自然的陰影和反射可模擬表面的發(fā)射/反射等多種作用可模擬物體之間的相互照明效果98光線跟蹤輻射度Whyradiosity99光線追蹤100輻射度法6.1概念6.1.3輻射度繪制優(yōu)點非常真實的漫反射表面光照概念簡單，容易實現(xiàn)能夠容易地使用3D

硬件加速計算缺點模型相對復(fù)雜，計算效率低不能很好地處理點光源也不能處理有光澤的表面1016.2輻射度繪制6.2.1數(shù)學(xué)模型球坐標(biāo)系輻射角102面積半徑6.2輻射度繪制6.2.1一般步驟基本前提光源和普通物體之間沒有區(qū)別場景中一個表面被它周圍的所有可見的表面所照亮1036.2輻射度繪制6.2.1一般步驟輸入場景的幾何模型1046.2輻射度繪制6.2.1一般步驟考察局部光照情況：面片1056.2輻射度繪制6.2.1一般步驟考察局部光照情況：單個面片106?6.2輻射度繪制6.2.1一般步驟考察局部光照情況：所有面片107第一次遍歷6.2輻射度繪制6.2.1一般步驟迭代遍歷所有面片108第一次遍歷第二次遍歷第三次遍歷第四次遍歷第十六次遍歷6.2輻射度繪制6.2.2光照模型球面積分109面元轉(zhuǎn)化為面元積分6.2輻射度繪制6.2.2光照模型輻射功率（radiantpower，瓦）：單位時間通過表面的能量輻照度（irradiance，瓦/平方米）：單位面積入射能量輻射度（radiosity，瓦/平方米）：單位面積出射能量輻射密度（radiantintensity，瓦/角度）：單位輻射角輻射能量1106.2輻射度繪制6.2.2光照模型輻射率（radiance，瓦/角度×平方米）：單位角/單位面積的輻射功率111衡量到達(dá)或者離開物體表面的能量分布6.2輻射度繪制6.2.2光照模型

:沿方向離開點的能量:沿方向到達(dá)點的能量:離開點到達(dá)點的能量:離開點到達(dá)點的能量112基本假設(shè)：沿著同一條光路，輻射度不變6.2輻射度繪制6.2.2光照模型輻照度（irradiance）輻射度（radiosity）輻射功率（radiantpower）1136.2輻射度繪制6.2.3繪制方程基本原理：能量守恒

輻射能量=自身能量+反射能量方程1146.2輻射度繪制6.2.3繪制方程雙向反射分布函數(shù)（bidirectionalreflectancedistributionfunction，BRDF）描述了入射光線經(jīng)過某個表面反射后如何在各個出射方向上分布1156.2輻射度繪制6.2.3繪制方程基于面元的積分方程116x和y互可見其他6.2輻射度繪制6.2.4實例：朗勃漫反射輻射度、BRDF與方向無關(guān)1176.2輻射度繪制6.2.4實例：朗伯漫反射輻射度方程118其中6.3方程求解6.3.1有限元計算場景分解成許多面片（patch）1196.3方程求解6.3.1有限元計算場景分解成許多面片（patch）每個面片都是理想漫反射面，而且每個面片的輻射度是一個常數(shù)1206.3方程求解6.3.1有限元計算離散輻射度方程121formfactor（形式因子）6.3方程求解6.3.1有限元計算算法輸入場景模型離散化為面片Ai計算面片之間形式因子Fij計算不同波長輻射度B將輻射度轉(zhuǎn)化為色彩、亮度等進(jìn)行繪制122算法時間>90%算法時間<10%6.3方程求解6.3.2場景幾何離散通過面片逼近求解輻射度方程場景中每一點的輻射度通過雙線性插值計算1236.3方程求解6.3.2場景幾何離散均勻離散化：采用相同面積面片，選用不同的插值方法1246.3方程求解6.3.2場景幾何離散均勻離散化：繪制結(jié)果125常值線性插值6.3方程求解6.3.2場景幾何離散非均勻離散化：采用不同面積的面片1266.3方程求解6.3.3形式因子計算描述從面片i出射到達(dá)面片j的能量1276.3方程求解6.3.3形式因子計算方法一：利用兩步映射方法二：充分利用圖形系統(tǒng)對簡單場景的快速計算能力方法一方法二6.3方程求解實例(Demo)129光線跟蹤輻射度6.3方程求解實例130光線跟蹤輻射度提綱1.基本概念2.光照與材質(zhì)3.著色模型4.紋理映射5.光線跟蹤6.輻射度7.BRDF模型8.深度學(xué)習(xí)渲染1317.1概念雙向反射分布函數(shù)BRDF（bidirectionalreflectancedistributionfunction）描述了入射光線經(jīng)過某個表面反射后如何在各個出射方向上分布漫反射鏡面反射各向同性各向異性……1327.1概念雙向反射分布函數(shù)輸入：入射光的的仰角、方位角、出射光的仰角、方位角、波長輸出：數(shù)值，表示在給定的入射條件下，出射方向上反射的相對能量1337.1概念雙向反射分布函數(shù)為什么需要BRDF?了解光與物體材質(zhì)的相互作用光照模型簡潔134SurfaceOutgoinglightIncominglightLr真實表面BRDF繪制7.2BRDF模型7.2.1經(jīng)驗?zāi)Ｐ筒灰欢ǚ衔锢硪?guī)律，但能模擬大部分光學(xué)現(xiàn)象，計算量小，如Phong著色模型1357.2BRDF模型7.2.2物理模型符合物理規(guī)律，計算量比較高，如輻射度模型136出射光線入射光線反射函數(shù)7.2BRDF模型7.2.2物理模型符合物理規(guī)律，計算量比較高，如輻射度模型137遞歸求解形成圖像視點、幾何與光照變化帶來圖像變化7.2BRDF模型7.2.3光學(xué)測量真實材質(zhì)的測量138Goniometer（光學(xué)測角儀）MERLdatabase提綱1.基本概念2.光照與材質(zhì)3.著色模型4.紋理映射5.光線跟蹤6.輻射度7.BRDF模型8.深度學(xué)習(xí)渲染1398.1基本概念8.1.1傳統(tǒng)渲染渲染是從三維場景到二維圖像的轉(zhuǎn)換過程基于經(jīng)驗/物理局部光照模型、全局光照模型140Phong

shading光線跟蹤輻射度三維模型8.1基本概念8.1.1傳統(tǒng)渲染渲染是從三維場景到二維圖像的轉(zhuǎn)換過程基于經(jīng)驗/物理局部光照模型、全局光照模型基于圖像從輸入的多幅圖像獲得新視角下的圖像1418.1基本概念8.1.1傳統(tǒng)渲染三維的場景模型復(fù)雜的渲染方程顯式的空間關(guān)系142計算效率、真實感8.1基本概念8.1.2可微渲染143三維模型新視角圖像基于經(jīng)驗/物理真實視角圖像新視角圖像基于圖像三維模型/真實視角圖像新視角圖像基于神經(jīng)網(wǎng)絡(luò)8.1基本概念8.1.2可微渲染可以微分求導(dǎo)的渲染過程傳統(tǒng)渲染管線中，幾何變換可微，而光柵化處理不可微144幾何變換光柵化模型變換、視角變換、投影變換天然可微像素頂點?8.1基本概念8.1.2可微渲染正向：輸入模型和參數(shù)，輸出圖像逆向：由渲染圖像反求參數(shù)（模型、光照、…）145采樣NeRF表觀采集8.2神經(jīng)渲染Neuralrendering146Deepimageorvideogenerationapproachesthatenableexplicitorimplicitcontrolofscenepropertiessuchasillumination,cameraparameters,pose,geometry,appearance,andsemanticstructure.--StateoftheArtonNerualRendering,Eurographics20208.2神經(jīng)渲染8.2.1基于神經(jīng)網(wǎng)絡(luò)的場景表示神經(jīng)網(wǎng)絡(luò)通常需要大量標(biāo)注數(shù)據(jù)進(jìn)行訓(xùn)練，構(gòu)建場景內(nèi)容的有效描述通過標(biāo)注數(shù)據(jù)學(xué)習(xí)從場景到手工描述的映射147圖像描述8.2神經(jīng)渲染8.2.1基于神經(jīng)網(wǎng)絡(luò)的場景表示繪制：任意視角下觀察到的場景圖像通過少量樣本，學(xué)習(xí)推斷出不同視角下場景的幾何、光照、顏色等信息148？8.2神經(jīng)渲染8.2.2生成查詢網(wǎng)絡(luò)（GQN）GenerativequerynetworkK個視角：K幅圖像：1498.2神經(jīng)渲染8.2.2生成查詢網(wǎng)絡(luò)（GQN）表示網(wǎng)絡(luò)（Representationnetwork）獲得包含物體標(biāo)識、位置、顏色、數(shù)目等多種信息的場景描述150：學(xué)習(xí)參數(shù)：場景表示：視角及圖像8.2神經(jīng)渲染8.2.2生成查詢網(wǎng)絡(luò)（GQN）生成網(wǎng)絡(luò)（Generationnetwork）生成任意視角vq下的圖像1518.2神經(jīng)渲染8.2.2生成查詢網(wǎng)絡(luò)（GQN）3維場景仿真，無需標(biāo)注少量視角圖像訓(xùn)練，生成任意其它視角下圖像，建立渲染器152Demo8.2基于神經(jīng)網(wǎng)絡(luò)的場景表示8.2.3神經(jīng)輻射場（NeRF）Neuralradiancefields復(fù)雜靜態(tài)場景的隱式全連接層神經(jīng)網(wǎng)絡(luò)建模空間位置與視角方向連接起來，并傳遞給全連接層(使用ReLU激活和128個通道)，該層輸出與視圖相關(guān)的RGB顏色及密度1538.2神經(jīng)渲染8.2.3神經(jīng)輻射場（Neuralradiancefields）輸入：3維空間位置2維視線方向輸出：顏色密度154連續(xù)的5維函數(shù)多層感知機(jī)網(wǎng)絡(luò)(MLP)8.2神經(jīng)渲染8.2.3神經(jīng)輻射場（Neuralradiancefields）基于NeRF的體繪制155[采樣]

在每一射線上，獲取若干采樣點[x,y,z,?,φ](RayMarching)。[前傳]

將每一采樣點的[x,y,z,?,φ]輸入NeRF網(wǎng)絡(luò)，輸出[r,g,b,σ]。[渲染]

利用σ

對同一射線上所有采樣點的[r,g,b]做加權(quán)和(alphacomposition)，將此加權(quán)和賦予像素。[反傳]

與像素的真實顏色作比較，計算誤差和梯度，反傳。8.2神經(jīng)渲染8.2.3神經(jīng)輻射場（Neuralradiancefields）結(jié)果156GroundtruthNeRF局限：端到端訓(xùn)練中對物體表面缺乏約束，導(dǎo)致對密度σ估計不準(zhǔn)。計算效率。V100x1，單個場景訓(xùn)練1～2天，單個圖像推理30秒。大量的射線采樣點導(dǎo)致大量網(wǎng)絡(luò)前傳計算。絕大部分3D空間只有背景空氣，沒有前景信息。Demo8.2神經(jīng)渲染8.2.4隱式神經(jīng)輻射場（NeuS）NeRF不能準(zhǔn)確估計密度σ(參與ɑ-composition)采用場景的隱式表示（Neuralimplicitsurfaces）[無偏估計]權(quán)重在前景表面點處達(dá)到局部極大值，遠(yuǎn)離表面時快速趨于0。[考慮遮擋]同一射線上不同的兩采樣點與前景表面距離相等時，離相機(jī)更近的點權(quán)重更大。157NeRFNeuS8.2神經(jīng)渲染8.2.4隱式神經(jīng)輻射場（NeuS）利用SDF(signeddistancefunction)對前景表面施加約束，從而修正密度σ

。重新定義NeRF網(wǎng)絡(luò)輸出為到表面距離(signeddistance)，代替σ。將該距離值通過邏輯密度分布(logisticdensitydistribution)函數(shù)映射為廣義密度ρ。與σ不同，ρ包含遮擋信息，從而隨距離遞增。在NeRF渲染一步中，將采樣點權(quán)重中的σ替換為ρ

。1588.2神經(jīng)渲染8.2.4隱式神經(jīng)輻射場（NeuS）結(jié)果1598.2神經(jīng)渲染8.2.5稀疏神經(jīng)輻射場（SNeRG）取消NeRF中的逐采樣點計算。將顏色分解為漫反射成分和鏡面反射成分。漫反射成分與視角無關(guān)，用體素(voxel)數(shù)據(jù)結(jié)構(gòu)儲存。鏡面反射成分與視角相關(guān)，用小型MLP預(yù)測。1608.2神經(jīng)渲染8.2.5稀疏神經(jīng)輻射場（SNeRG）訓(xùn)練流程[Baking]在每一voxel中采樣若干點，計算在每一點處漫反射顏色、密度、及特征向量，然后平均。[前傳1]每一射線上采樣點序列，先對[Baking]信息插值獲得各點的漫反射顏色和密度σ，再和σ作ɑ-composition，渲染出像素的漫反射成分。1618.2神經(jīng)渲染8.2.5稀疏神經(jīng)輻射場（SNeRG）訓(xùn)練流程[前傳2]每一射線上采樣點序列，先對[Baking]信息插值獲得各點的密度σ和特征向量，再作ɑ-composition，獲得特征向量加權(quán)和。將該加權(quán)向量與視角輸入小型MLP，生成像素的鏡面反射成分。[顏色疊加]將鏡面反射成分和漫反射成分相加。[反傳]更新兩個網(wǎng)絡(luò)的權(quán)重。1628.2神經(jīng)渲染8.2.5稀疏神經(jīng)輻射場（SNeRG）推理直接從體素(baking信息)出發(fā)，不再用NeRF網(wǎng)絡(luò)前傳。前傳其余步驟與訓(xùn)練相同。1638.2神經(jīng)渲染8.2.5稀疏神經(jīng)輻射場（SNeRG）結(jié)果1648.2神經(jīng)渲染8.2.6加速神經(jīng)圖形單元（Ins-NGP）Instantneuralgraphicsprimitives體素對應(yīng)可訓(xùn)練特征。多級體素表征，提高體素表征力。對高分辨率體素，設(shè)置哈希地址數(shù)上限。網(wǎng)絡(luò)最小化。1658.2神經(jīng)渲染8.2.6加速神經(jīng)圖形單元（Ins-NGP）(1)對每一級體素單獨建立哈希表。體素的每一頂點對應(yīng)一個可訓(xùn)練特征。(2)(3)(4)采樣點的特征為周圍頂點處特征的插值。拼接各級特征向量。(5)通過小型MLP。1668.2神經(jīng)渲染8.2.6加速神經(jīng)圖形單元（Ins-NGP）結(jié)果1678.2神經(jīng)渲染8.2.7基于網(wǎng)格的神經(jīng)輻射場（MobileNeRF）采用帶紋理的多邊形網(wǎng)格（TexturedPolygons）替代體素表示場景。1688.2神經(jīng)渲染8.2.7基于網(wǎng)格的神經(jīng)輻射場（MobileNeRF）三階段訓(xùn)練階段1：一個固定拓?fù)湫螤畹亩噙呅尉W(wǎng)格和三個全連接網(wǎng)絡(luò)，計算像素顏色值。1698.2神經(jīng)渲染8.2.7基于網(wǎng)格的神經(jīng)輻射場（MobileNeRF）三階段訓(xùn)練階段1：一個固定拓?fù)湫螤畹亩噙呅尉W(wǎng)格和三個全連接網(wǎng)絡(luò)，計算像素顏色值。階段2：使用一個直通估計器將連續(xù)的不透明度轉(zhuǎn)化為離散的不透明度。階段3：為網(wǎng)格的每個三角面片創(chuàng)建紋理圖像，然后迭代每個紋理像素，將離散不透明度和特征聯(lián)合繪制到紋理緩存中進(jìn)行紋理映射。170像素顏色值8.2神經(jīng)渲染8.2.7基于網(wǎng)格的神經(jīng)輻射場（MobileNeRF）結(jié)果：>20幀/秒171ReferencesComputergraphicstechniquesforcapturingandrenderingtheappearanceofagingmaterials.H.Rushmeier.Advancesinreal-timerenderingingames.Siggraph2016course.ComputerGraphics:PrinciplesandPractice.J.Foleyetal.1996Rayt