Real-Time Polygonal-Light with LTC

图形学 | 研二

我初步实现了 14 年寒霜的光照方案[1]，涉及了四种面光源（长方形，圆盘，球，胶囊）的漫反射和高光。漫反射部分解决的挺好，高光很 trick，能量不守恒。

16 年 SIGGRAPH[2]上有一篇由 Unity，Ubisoft 和 Ready At Dawn 联合推出的大作 Real-Time Polygonal-Light Shading with Linearly Transformed Cosines[3]，里边的 LTC 方法直接解决了多边形面光源的实时面光源问题，真是厉害！厉害在哪里？

！！！实时，精确解！！！

我很早就在刷知乎的时候从

@叛逆者

那了解到了这一惊艳、精彩绝伦、陈独秀的技术，菜鸡超级想实现一波。

方法实现在了自己写的渲染引擎 RenderLab 里，有兴趣的朋友可以康康

线性变换球面分布
以 LTC 近似 BRDF

双向散射分布函数 BRDF 在确定了入射方向和粗糙度后，其变成一个球面分布函数（原本的函数并不是简单的球面分布函数），可视化如下

即使是各向同性 isotropy 的 BRDF，在倾斜视角的视角下，BRDF 也会表现出各向异性 anisotropy 和偏斜（最大值不在平均方向上）。

各向异性

在多边形光源 Polygonal-Light 渲染中，所需要解决的问题就是求辐照度 irradiance 积分

$I= \int_P L(\omega_l)\rho(\omega_v,\omega_l)\cos\theta_l\ \mathbb{d}\omega_l$

多边形辐照度积分

其中 $\rho$ 是 BRDF 函数，P 是多边形。

如果 BRDF 是 lambertian $\frac{\text{albedo}}{\pi}$ ，且光源各处强度恒定 $L=L(\omega_l)$ ，则积分变为 $I= \rho L \int_P \cos\theta_l\ \mathbb{d}\omega_l$ ，这有解析解，由 18 世纪时的 Lambert 给出（下边详述）。

然而 BRDF 的球面分布很复杂，辐照度没有解析解。

这篇论文发现可以用一个线性变换将一个球面分布函数 $D_o$ 变成另一个球面分布函数 $D$ （就是对分布的参数进行变量代换，用了线性变换，后边可见具体形式）。具体地，可以将 BRDF 球面分布函数转变成 $\cos \theta$ 球面分布函数，从而解决了上述积分问题。

2. 线性变换球面分布

将原球面分布函数 $D_o$ 经过线性变换后能得到新的球面分布，称为线性变换球面分布 Linearly Transformed Spherical Distributions, LTSD

2.1 定义

$D_o$ 是原始分布

线性变换 $M$ 可用 3 x 3 的矩阵表示。注意本文只用单位向量，故具体的变换是 $\omega=M\omega_o/\|M\omega_o\|$ （而不是简单的 $\omega=M\omega_o$ ），逆变换为 $\omega_o = M^{-1}\omega/\|M^{-1}\omega\|$ 。注意在线性变换后进行了标准化使得最终的变换非线性。但为了直观还是使用“线性”这个词。

将 $D_o$ 作用一个线性变换可以得到一系列分布函数，称为线性变换球分布函数族 linearly transformed spherical distributions (LTSD)，就是 $D_o$ 乘上一个 Jacobian

$D ( \omega ) = D _ { o } \left( \omega _ { o } \right) \frac { \partial \omega _ { o } } { \partial \omega } = D _ { o } \left( \frac { M ^ { - 1 } \omega } { \left\| M ^ { - 1 } \omega \right\| } \right) \frac { \left| M ^ { - 1 } \right| } { \left\| M ^ { - 1 } \omega \right\| ^ { 3 } }$

其中 $\frac { \partial \omega _ { o } } { \partial \omega }=\frac { \left| M ^ { - 1 } \right| } { \left\| M ^ { - 1 } \omega \right\| ^ { 3 } }$ 是变换 M 的 Jacobian[3]（Jacobian的推导看论文的附录A，就是微分上的几何推导）。

当 $M$ 是缩放和旋转时， $M$ 不改变分布的形状，此时 $\frac { \partial \omega _ { o } } { \partial \omega }=1$

证明
当 M 是缩放时，有
$M =\lambda I\\ |M^{-1}|=\lambda^3\\ \|M^{-1}\omega\|=\lambda\\ \frac { \partial \omega _ { o } } { \partial \omega }=\frac { \left| M ^ { - 1 } \right| } { \left\| M ^ { - 1 } \omega \right\| ^ { 3 } }=1$
当 M 是旋转时，有
$M=R\\ |M^{-1}|=1\\ \|M^{-1}\omega\|=1\\ \frac { \partial \omega _ { o } } { \partial \omega }=\frac { \left| M ^ { - 1 } \right| } { \left\| M ^ { - 1 } \omega \right\| ^ { 3 } }=1$

2.2 性质

范数： $\int _ { \Omega } D ( \omega ) \mathrm { d } \omega = \int _ { \Omega } D _ { o } \left( \omega _ { o } \right) \frac { \partial \omega _ { o } } { \partial \omega } \mathrm { d } \omega = \int _ { \Omega } D _ { o } \left( \omega _ { o } \right) \mathrm { d } \omega _ { o }$
多边形积分： $\int_P D(\omega)\ \mathbb{d}\omega=\int_{P_o}D_o(\omega_o)\ \mathbb{d}\omega_o$ ，其中 $P_o=M^{-1}P$ （就是将每个多边形的点作线性变换）

这个多边形积分的线性变换是本文的核心，其实就是简单的积分变量代换。很基础，但这个发现很晚才有。

3. 以 LTC 近似 BRDF

在渲染中，我们需要将 BRDF 线性变换成余弦分布。下边具体说明

3.1 LTC

$D_o(\omega_o=(x,y,z))=\frac{1}{\pi}\max(0,z)$

将 $D_o$ 代入 $D ( \omega ) = D _ { o } \left( \frac { M ^ { - 1 } \omega } { \left\| M ^ { - 1 } \omega \right\| } \right) \frac { \left| M ^ { - 1 } \right| } { \left\| M ^ { - 1 } \omega \right\| ^ { 3 } }$ 即可得线性变换余弦 linearly transformed cosines (LTC)。

3.2 拟合

使用了 GGX[4] BRDF（菲涅尔项为 1），近似的 $D$ 为

$D\approx\rho(\omega_v,\omega_l)\cos\theta_l$

对于各项同性的 BRDF，BRDF 只取决于入射方向 $\omega_v(\sin\theta_v,0,\cos\theta_v)$ 和粗糙度 $\alpha$ 。对于任意 $(\theta_v,\alpha)$ 我们找到一个 LTC 来近似，也就是找到一个 M（这是非线性优化问题，可用各种工具求解）。由于各向同性 BRDF 有平面对称性且 LTSD 有缩放不变性，M 可表示为

$M= \left[\begin{matrix} a &0 &b\\ 0 &c &0\\ d &0 &1\\ \end{matrix}\right]$

在实践中发现，这样子 a b c d 随 $(\theta,\alpha)$ 的变化不平缓[5]。
在最终的实现[6]中使用的矩阵是
$M= \left[\begin{matrix} a &0 &b\\ 0 &1 &0\\ c &0 &d\\ \end{matrix}\right]$

这样拟合只用考虑 4 个变量，拟合的矩阵的逆矩阵（同样只有四个参数，在渲染过程中只需要逆矩阵）可以存储在一个 2D 四通道的 LUT 中。

拟合比对示例如下

我们要存储逆变换的四个变量参数还有被拟合的 $D$ 的范数 $\int_\Omega \rho(\omega_v,\omega_l)\cos\theta_l\mathbb{d}\omega_l$ ，这样总共要用 5 个通道。

原文没有给出此范数的用处，下边我解释一下
BRDF 的积分由于几何阴影和遮蔽，总是小于 1
$\int_\Omega\rho(\omega_v,\omega_l)\cos\theta_l\ \mathbb{d}\omega_l\le1$
相比之下，LTC 的积分总为 1，因为 LTC 只捕捉了 BRDF 的形状
因此存储了范数来准确拟合
$n_D=\int_\Omega \rho(\omega_v,\omega_l)\cos\theta_l\ \mathbb{d}\omega_l$
后续 Stephen Hill 给出了考虑菲涅尔项的情况[7]
并不是让 LTC 去拟合含 Fresnel 的 BRDF，而是将其作为 BRDF 的范数，效果挺好
$\begin{align} n &= \int_\Omega F(\omega_v,\omega_l)\rho(\omega_v,\omega_l)\cos\theta_l\ \mathbb{d}\omega_l\\ &= \int_\Omega \left[F_0+(1-F_0)(1-\langle\omega_v,\omega_h\rangle)^5\right]\rho(\omega_v,\omega_l)\cos\theta_l\ \mathbb{d}\omega_l\\ &= F_0\int_\Omega \rho(\omega_v,\omega_l)\cos\theta_l\ \mathbb{d}\omega_l + (1-F_0)\int_\Omega (1-\langle\omega_v,\omega_h\rangle)^5\rho(\omega_v,\omega_l)\cos\theta_l\ \mathbb{d}\omega_l\\ &= F_0 n_D+(1-F_0)f_D \end{align}$
其中 $f_D=\int_\Omega (1-\langle\omega_v,\omega_h\rangle)^5\rho(\omega_v,\omega_l)\cos\theta_l\ \mathbb{d}\omega_l$

假设 $L(\omega_l)=L$ ，则辐照度为

$\begin{align} I &= \int_P L(\omega_l)\rho(\omega_v,\omega_l)\cos\theta_l\ \mathbb{d}\omega_l\\ &\approx \int_P L(\omega_l)D(\omega_l)\ \mathbb{d}\omega_l\\ &= L\int_P D(\omega_l)\ \mathbb{d}\omega_l\\ &= L\int_{P_o} D_o(\omega_o)\ \mathbb{d}\omega_o\\ &= LE(P_o) \end{align}$

其中 $E(P_o)$ 有解析解（18 世纪 Lambert 给出），将多边形积分转化为线积分，如下

$\mathrm { E } \left( p _ { 1 } , \ldots , p _ { n } \right) = \frac { 1 } { 2 \pi } \sum _ { i = 1 } ^ { n } \operatorname { acos } \left( \left\langle p _ { i } , p _ { j } \right\rangle \right) \left\langle \frac { p _ { i } \times p _ { j } } { \left\| p _ { i } \times p _ { j } \right\| } , \left[ \begin{array} { l } { 0 } \\ { 0 } \\ { 1 } \end{array} \right] \right\rangle$

其中 $j=(i+1)\mod n$ 。注意公式假设多边形位于上半球，实践中我们需要首先裁剪多边形。

流程如下：

采样 LUT 得变换矩阵
将多边形的各个顶点变换一下
裁剪变换后的多边形（变成三角形、长方形或五边形）
线积分（有解析解）
采样范数和菲涅尔项调整 4 的结果

其中 3 可以用第 5 节中的球近似方法简化为一个采样 LUT 的操作。

总的来说，主要消耗就是两次采样，n 次矩阵乘法，n 次线积分（n 为多边形的边数）。

5. 实现细节

5.1 精度

在计算多边形积分时，由精度问题会引发 artifacts

问题出在线积分的 acos 上（内部使用了拟合）

float EdgeIntegral(float3 v1, float3 v2, float3 n) {
    float theta = acos(dot(v1, v2));
    float3 u = cross(v1, v2) / sin(theta);
    return theta * dot(u, n);
}

我们用拟合的方式直接得到 $\theta/\sin\theta\approx f(\cos\theta)$ ，省去了acos。

优化后的效果如下

5.2 裁剪

裁剪涉及非常繁杂的条件语句

引入所谓的 vector form factor（就是 $E(P_o)$ 不与法向点乘）

$F = \sum_{i=1}^n\operatorname { acos } \left( \left\langle p _ { i } , p _ { j } \right\rangle \right) \frac { p _ { i } \times p _ { j } } { \left\| p _ { i } \times p _ { j } \right\| }$

我们可以找一个代理，使得它的 form factor 就是 F，且易于计算其在半球裁剪后的 $E$ 。

这里我们使用了球做代理[5]， $E$ 只取决于 F 的大小和其与法向的夹角，故可用一张 2D 的 LUT 存储。

如果不用 LUT 也可以用一个近似公式来求解

三种方案对比如下，球近似 sphere approximation 方案表现良好

我在实践中发现，球近似方案还是有 bug 的，这在球上表现了出来（怪不得官方 demo 只有平面）

看情况选择吧，一般这种现象还是不大能轻易看到的。

5.3 LUT

我从 demo 中爬出了 LUT

下边展示一下

5.4 相关源码

LTC 的两个 LUT 可在 LTCTex.h 找到

shader 相关代码可在 LTC.h 和 directLight.fs 中找到

LTC 解决了多边形光源（不局限于长方形）的辐照度实时精确解问题。

吊打各种 trick，拳打 Unreal，脚踢 Frostbite。

但没有考虑阴影问题，这是非常难的问题。

后续他们还给出了线光源（可近似细圆柱）、圆盘/球光源的解决方案。我将在以后给出实现。

感谢大家的阅读。

^Moving Frostbite to PBR. 2014. https://www.ea.com/frostbite/news/moving-frostbite-to-pb
^Ke-Sen Huang. SIGGRAPH 2016 papers on the web. http://kesen.realtimerendering.com/sig2016.html
^a bHeitz E , Dupuy J , Hill S , et al. Real-time polygonal-light shading with linearly transformed cosines[J]. ACM Transactions on Graphics, 2016, 35(4):1-8. https://eheitzresearch.wordpress.com/415-2/
^Walter B , Marschner S R , Li H , et al. Microfacet Models for Refraction through Rough Surfaces.[C]// Eurographics Symposium on Rendering Techniques. DBLP, 2007.
^a bStephen Hill, Eric Heitz. Real-Time Area Lighting: a Journey From Research to Production, 2016. https://blog.selfshadow.com/publications/s2016-advances/
^WebGL Demo. Quad lights. http://blog.selfshadow.com/ltc/webgl/ltc_quad.html
^Stephen Hill. LTC Fresnel Approximation. https://blog.selfshadow.com/publications/s2016-advances/s2016_ltc_fresnel.pdf

Real-Time Polygonal-Light with LTC

Real-Time Polygonal-Light with LTC

2. 线性变换球面分布

2.1 定义

2.2 性质

3. 以 LTC 近似 BRDF

3.1 LTC

3.2 拟合

5. 实现细节

5.1 精度

5.2 裁剪

5.3 LUT

5.4 相关源码

Recommend

Anti-Aliasing 技术盘点

关于粗粒NDF的尝试

自适应GPU几何细分

译：UE4是如何渲染一帧的(3)

译：Unreal渲染一帧详解（Unreal Frame Breakdown）

#02 - Coil with Colin White

GitHub Project Management Tutorial // Breaking Down Project Tasks

The future of cross-platform development: Kotlin multiplatform

Structural and navigation anti-patterns in multi-module and modularized applicat...

Jetpack Compose and GraphQL, a very merry combination!

About Joyk