機(jī)器之心報道

編輯：魔王、杜偉、小舟

打光是圖像處理過程中的重要步驟，打光的好壞可能會影響整體效果的展示。打光方法也各有不同，MIT、谷歌等的一項新研究另辟蹊徑，通過神經(jīng)光傳輸方法進(jìn)行圖像的二次打光和視圖合成，實(shí)現(xiàn)了相當(dāng)不錯的效果。

圖像合成早已不是新鮮話題，但是「打光」可是所有照片的難題。對于人類攝影師而言，打光就是件挺復(fù)雜的事，那么合成圖像中的光線問題又該如何解決呢？

最近，來自 MIT、谷歌和加州大學(xué)圣地亞哥分校的研究人員進(jìn)行了一項研究，試圖通過神經(jīng)光傳輸（Neural Light Transport，NLT）對圖像進(jìn)行二次打光（relighting）和視圖合成（view synthesis）。

那么，這項研究提出的 NLT 方法效果如何呢？研究者在多個場景下進(jìn)行了測試，包括 Directional Relighting、基于不同圖像背景的打光、根據(jù)攝像頭路徑不同進(jìn)行視圖合成后的打光效果等等。

效果看起來不錯，就是有點(diǎn)像鬼片……（瑟瑟發(fā)抖

具體而言，在 Directional Relighting 場景下，NLT 實(shí)現(xiàn)了如下效果：

在基于圖像的 Relighting 場景下，人物的打光效果隨著背景圖像的變換而不斷調(diào)整：

那么在涉及視圖合成時，效果如何呢？

同時進(jìn)行二次打光和視圖合成呢？

NLT 方法如何實(shí)現(xiàn)這樣的效果？我們來看論文詳情。

神經(jīng)光傳輸（NLT）論文簡介

論文地址：https://arxiv.org/pdf/2008.03806.pdf

項目頁面：http://nlt.csail.mit.edu/

場景的光傳輸（LT）描述了場景在不同布光和視角方向下的樣子，對場景 LT 的全面了解有助于在任意布光條件下合成新的視圖。

這篇論文探討了基于圖像的 LT 采集，主要用于光照平臺設(shè)置中的人體。研究者提出了一種半?yún)?shù)方法，以學(xué)習(xí)嵌入到已知幾何特性的紋理圖集空間中的 LT 的神經(jīng)表示，并將所有非漫射和全局 LT 建模為殘差，并將其添加到物理精確的漫反射基底渲染中。

具體而言，該研究展示了如何融合先前看到的光源和視圖觀察結(jié)果，基于選定的視點(diǎn)和期望照明條件合成同一場景的新圖像。

該策略允許網(wǎng)絡(luò)學(xué)習(xí)復(fù)雜的材料效果（如次表面散射）和全局照明，同時保證漫反射 LT 的物理正確性（如硬陰影）。借助這一學(xué)得的 LT，我們可以使用平行光或 HDRI 貼圖以逼真的方式對場景進(jìn)行二次打光，合成具有視圖依賴效果的新視圖，或者使用一組先前觀察到的稀疏結(jié)果在一個統(tǒng)一框架中同時執(zhí)行二次打光和視圖合成這兩種操作。

該研究通過定性和定量實(shí)驗表明，NLT 方法優(yōu)于當(dāng)前最優(yōu)的二次打光和視圖合成解決方案，并且不需要像先前工作那樣，對這兩個問題進(jìn)行單獨(dú)處理。

NLT 方法的大致流程。

該研究的主要貢獻(xiàn)有：

提出一種端到端的半?yún)?shù)方法，使用卷積神經(jīng)網(wǎng)絡(luò)從實(shí)際數(shù)據(jù)中學(xué)習(xí)對每個對象的 6D 光傳輸函數(shù)進(jìn)行插值。

通過將網(wǎng)絡(luò)嵌入?yún)?shù)化紋理圖集，并利用一組 One-Light-at-A-Time（OLAT）圖像作為輸入，實(shí)現(xiàn)可同時執(zhí)行二次打光和視圖合成的統(tǒng)一框架。

提出了一組增強(qiáng)的紋理空間輸入和一個基于物理精確漫反射基底的殘差學(xué)習(xí)機(jī)制，使得網(wǎng)絡(luò)能夠輕松學(xué)習(xí)非漫射、高階光傳輸效應(yīng)（包括鏡面高光）、次表面散射和全局照明。

NLT 方法

研究者使用的框架是一個具備殘差學(xué)習(xí)機(jī)制的半?yún)?shù)模型，旨在縮小幾何代理（geometry proxy）的漫反射渲染與實(shí)際輸入圖像之間的真實(shí)感差距，具體如下圖 2 所示。

半?yún)?shù)方法用于融合先前記錄的觀察結(jié)果，以在任何預(yù)期的光照和視角下生成新的逼真圖像。該方法得益于近年來計算機(jī)視覺領(lǐng)域的進(jìn)展，使研究人員可以對人體對象實(shí)現(xiàn)精準(zhǔn)的 3D 重建。

圖 2：之前的 Relightables 方法（Guo 等人，2019 年）、該研究提出的 NLT 方法和真實(shí)圖像之間的真實(shí)感差距。

NLT 方法的模型架構(gòu)如下圖 4 所示：

模型網(wǎng)絡(luò)包含兩個路徑，分別是查詢路徑（Query Path）和觀察路徑（Observation Path）。其中「觀察路徑」以基于目標(biāo)光源和視角方向采樣的 K 個臨近觀察結(jié)果（作為紋理空間殘差圖）為輸入，并將它們編碼成多尺度特征，最后將這些特征池化以消除對順序和數(shù)量的依賴。

接著，將這些池化特征連接至「查詢路徑」的特征激活函數(shù)，「查詢路徑」以預(yù)期光源和視角方向（以余弦圖的形式呈現(xiàn)）以及物理精確的漫反射基底（也在紋理空間中）作為輸入。查詢路徑預(yù)測殘差圖，然后將其添加至漫反射基底，以生成紋理渲染結(jié)果。

由于整個網(wǎng)絡(luò)都嵌入在人體對象的紋理空間中，所以我們可以根據(jù)輸入和監(jiān)督信號訓(xùn)練同一個模型來分別執(zhí)行二次打光和視圖合成，或者同時執(zhí)行這兩個操作。

實(shí)驗結(jié)果

二次打光

如下表 3 所示，研究者對 NLT 方法與 Diffuse Base、Barycentric Blending、Deep Shading 等其他二次打光基線方法進(jìn)行了定量評估，以 PSNR（峰值信噪比）、SSIM（結(jié)構(gòu)相似性）和 LPIPS（學(xué)得感知相似性）作為評估指標(biāo)。

此外，研究者還對 NLT 方法進(jìn)行了控制變量研究。

結(jié)果表明，NLT 方法的性能優(yōu)于所有的基線方法，但 Diffuse Rendering 和 Barycentric Blending 等簡單的基線方法也取得了較高的分?jǐn)?shù)。

表 3：NLT 與其他 SOTA 二次打光方法的指標(biāo)對比以及 NLT 的控制變量研究結(jié)果。

圖 7：在使用平行光的二次打光任務(wù)上，NLT、其他方法與真值圖像的效果對比。

視圖合成

如下表 4 所示，研究者對 NLT 和其他基線二次打光方法的視圖合成效果進(jìn)行了定量分析，結(jié)果表明 NLT 優(yōu)于所有的基線方法，并且效果可以與 Thies 等人（2019 年）提出的僅執(zhí)行視圖合成但不進(jìn)行二次打光的方法相當(dāng)。

表 4：NLT 與其他基線二次打光方法的視圖合成指標(biāo)對比。

圖 9：NLT、其他基線方法與真值圖像之間的視圖合成效果對比。

圖 10：同時執(zhí)行二次打光和視圖合成的效果展示。

性能分析

最后，研究者分析了 NLT 方法在不同因素下的性能表現(xiàn)。結(jié)果表明，隨著幾何結(jié)構(gòu)的退化，該研究使用的神經(jīng)渲染方法始終優(yōu)于嚴(yán)重依賴幾何圖形質(zhì)量的傳統(tǒng)重投影（reprojection）方法。在執(zhí)行二次打光時，研究者還證實(shí) NLT 方法在光源數(shù)量減少時也能合理地運(yùn)行，表明 NLT 方法也有可能適用于更小的光照平臺。

控制變量研究

如下圖 13 所示，研究者在二次打光任務(wù)上進(jìn)行了 NLT 方法的控制變量研究。結(jié)果顯示，去除模型的不同組件會不同程度地降低渲染質(zhì)量。

失敗案例

當(dāng)然，NLT 方法在視圖合成時也出現(xiàn)了失敗的案例。如下圖 14 所示，NLT 方法可能無法生成復(fù)雜光傳輸效果的真實(shí)視圖，如脖子上所戴項鏈的視圖。