1. 项目概述为什么我们需要从深度图反推世界坐标在Unity的屏幕空间后处理Screen Space Post-Processing世界里深度图Depth Texture就像一张记录了场景“远近”信息的黑白照片。我们拿到它通常是为了做景深、雾气、边缘光这些酷炫的效果。但很多时候仅仅知道一个像素离相机多远深度值是不够的我们更想知道这个像素在游戏世界里的“家”在哪里——也就是它的世界坐标World Position。比如你想根据物体离地面的高度来混合纹理或者实现一个只在特定世界空间区域生效的魔法结界又或者模拟随着距离变化的动态水面交互这些都需要精确的世界坐标信息。然而在后处理Shader里我们身处一个“屏幕空间”的二维世界手里只有每个像素的屏幕坐标UV和对应的深度值。从这两个信息反推出三维的世界坐标这个过程就是“深度图重建世界坐标”。这听起来像是个数学谜题但其实是许多高级屏幕特效的基石。网上有很多零散的代码片段但往往只给公式不讲原理更不提其中的“坑”。今天我就结合自己踩过的无数个坑把这个过程从头到尾、从原理到实现、从代码到优化给你彻底讲透。无论你是想实现一个逼真的高度雾还是打造一个空间扭曲特效这篇文章都能给你一套可以直接“抄作业”的完整方案。2. 核心原理拆解从二维屏幕到三维世界的数学桥梁要理解重建过程我们得先搞清楚相机是如何把三维世界“拍”成二维图像的。这个过程涉及几个关键空间变换模型空间 - 世界空间 - 观察空间相机空间 - 裁剪空间 - 屏幕空间。我们的目标就是逆向走通从屏幕空间回到世界空间的这条路。2.1 深度图里到底存了什么首先别被名字骗了。Unity的_CameraDepthTexture里存储的通常不是线性的“米制”距离而是一个经过透视除法Perspective Division和归一化处理后的深度值范围在[0, 1]之间对于反向Z缓冲区可能是[1, 0]。这个值来源于顶点在裁剪空间Clip Space的z分量。更具体地说对于透视投影相机这个深度值是非线性的离相机近的地方精度高离相机远的地方精度低。这是由投影矩阵的性质决定的目的是更好地利用深度缓冲的精度。所以我们第一步要做的就是把这个非线性的、归一化的深度值还原回线性的观察空间深度即该点到相机平面的垂直距离。2.2 重建的两种核心思路主流方法有两种它们的目标都是先得到观察空间坐标再通过相机矩阵变换回世界坐标。思路一射线插值法Raymarching / Interpolated Ray这是最直观也最常用的方法。其核心思想是对于后处理用的全屏四边形Quad的每个顶点我们计算出从相机位置观察空间原点到该顶点对应的远裁剪面Far Clip Plane上某点的方向向量。这个向量在顶点着色器中计算并传递给片元着色器。在片元着色器中我们根据当前像素的线性深度值沿着这个方向向量“前进”相应的距离从而得到该像素在观察空间中的位置。注意这里的方向向量是观察空间下的。因为深度缓冲本身就是在观察空间下计算的所以在此空间下进行重建最直接数学上也最简洁。思路二屏幕位置反演法Inverse Projection这种方法更偏数学。我们拥有当前像素的屏幕坐标x, y和深度值z。利用相机的投影矩阵Projection Matrix的逆矩阵我们可以将x, y, z这个在归一化设备坐标NDC空间或屏幕空间中的点直接变换回观察空间。这种方法概念清晰但需要小心处理坐标系的转换比如从[0,1]的纹理UV转换到[-1,1]的NDC坐标并且计算逆矩阵可能有一定开销。在实际项目中射线插值法因其高效和易于理解成为了绝大多数情况下的首选。我们接下来的完整实现也将围绕这种方法展开。3. 完整实现指南手把手编写重建Shader理论说够了我们直接上代码。我会创建一个完整的后处理Shader并详细解释每一行关键代码的作用。3.1 第一步准备工程与深度纹理首先你需要确保相机能够生成深度纹理。有两种方式相机组件设置在Main Camera的Inspector面板中将“Rendering Path”设置为“Deferred Shading”延迟渲染会自动生成深度法线纹理。如果是前向渲染Forward则需要手动开启。脚本命令推荐兼容性更好创建一个C#脚本如DepthTextureEnabler.cs并挂载到相机上。using UnityEngine; [RequireComponent(typeof(Camera))] public class DepthTextureEnabler : MonoBehaviour { void Start() { Camera cam GetComponentCamera(); // 显式要求相机生成深度纹理。即使相机本身深度模式不是DepthTextureMode.Depth后处理也需要这个。 cam.depthTextureMode | DepthTextureMode.Depth; // 如果你还需要法线信息例如用于SSAO可以加上 // cam.depthTextureMode | DepthTextureMode.DepthNormals; } }这样_CameraDepthTexture这个内置全局变量就可以在Shader中访问了。3.2 第二步创建后处理Shader与材质在Project窗口中右键创建 - Shader - Unlit Shader命名为“WorldPositionReconstruction”。然后创建一个材质Material将Shader指定为刚刚创建的。3.3 第三步编写Shader代码射线插值法以下是完整的Shader代码我将它拆解成块并详细注释。Shader Hidden/WorldPositionReconstruction { Properties { _MainTex (Texture, 2D) white {} } SubShader { Cull Off ZWrite Off ZTest Always // 后处理Shader标准设置禁用剔除、深度写入始终绘制 Pass { CGPROGRAM #pragma vertex vert #pragma fragment frag #include UnityCG.cginc struct appdata { float4 vertex : POSITION; float2 uv : TEXCOORD0; }; struct v2f { float2 uv : TEXCOORD0; float4 vertex : SV_POSITION; // 核心声明一个用于存储观察空间射线方向的变量 float3 viewRay : TEXCOORD1; }; sampler2D _MainTex; // 源屏幕图像 sampler2D _CameraDepthTexture; // Unity内置的深度纹理 float4x4 _InverseView; // 观察矩阵的逆矩阵用于从观察空间转到世界空间 // 顶点着色器计算射线方向 v2f vert (appdata v) { v2f o; o.vertex UnityObjectToClipPos(v.vertex); o.uv v.uv; // 1. 将Quad的顶点从模型空间变换到裁剪空间 float4 clipPos o.vertex; // 2. 将裁剪空间坐标转换到观察空间。 // 这里有个关键技巧我们想要的是该顶点在**远裁剪面**上对应的观察空间坐标。 // 在观察空间中远裁剪面的Z值等于远裁剪距离_ProjectionParams.y。 // 透视投影下裁剪空间坐标的w分量就是观察空间的-Ze负的观察空间Z值。 // 因此我们可以用以下方式重建观察空间坐标 float3 viewPos float3( (clipPos.x / clipPos.w) * _ProjectionParams.x, // 处理横向是否翻转 (clipPos.y / clipPos.w), -1.0 // 暂时设为-1代表在观察空间看向-Z方向 ) * _ProjectionParams.y; // 乘以远裁剪面距离将其置于远裁剪面上 // 另一种更常见的写法是使用Unity内置的ComputeScreenPos和线性深度重建但上述写法更直观体现原理。 // 我们采用另一种等价的、更简洁的流行写法 // 直接计算一个从相机原点指向远裁剪面四个角的方向向量。 // 这个向量已经包含了透视校正的信息。 float3 ray mul(unity_CameraInvProjection, float4(v.uv * 2.0 - 1.0, 1.0, 1.0)).xyz; // 解释unity_CameraInvProjection是投影矩阵的逆。 // v.uv * 2.0 - 1.0 将纹理UV[0,1]映射到NDC的[-1,1]。 // 我们传入的Z1.0代表远裁剪面。经过逆投影变换后得到的就是远裁剪面上该UV对应的点的观察空间坐标。 // 因为相机在观察空间原点所以这个坐标本身就是一个方向向量。 o.viewRay ray; return o; } // 片元着色器利用深度和射线方向计算世界坐标 fixed4 frag (v2f i) : SV_Target { // 1. 采样深度纹理获取非线性深度值 float depthSample SAMPLE_DEPTH_TEXTURE(_CameraDepthTexture, i.uv); // 2. 将非线性深度转换为线性深度观察空间Z值为负值 float linearDepth LinearEyeDepth(depthSample); // LinearEyeDepth 是UnityCG.cginc中的内置函数它完美处理了不同平台如反向Z缓冲区的差异。 // 3. 核心计算观察空间位置 归一化的射线方向 * 线性深度 // 注意我们在顶点着色器中计算的ray是到远裁剪面的向量其长度不是1。 // 我们需要将其归一化或者更高效地利用其w分量即观察空间Z值进行缩放。 // 实际上更标准的做法是直接使用以下公式 // float3 viewPos i.viewRay * linearDepth; // 但前提是i.viewRay需要是“单位深度”下的向量。我们上面用逆投影矩阵算出来的ray其z分量就是-1对于远裁剪面。 // 因此i.viewRay.xy / -i.viewRay.z 就是屏幕UV在单位深度即近裁剪面下的偏移。这里容易混淆。 // 让我们采用一个更稳健、理解成本更低的方法 // 重新在片元着色器中利用当前像素的UV和深度通过逆投影矩阵直接计算观察空间位置。 // 这是“屏幕位置反演法”的变种但结合了射线法的思想。 // 方法A推荐清晰 // 将屏幕UV和深度值构建成一个在裁剪空间/NDC空间的点然后用逆投影矩阵变换。 float2 uvNDC i.uv * 2.0 - 1.0; // 转换到NDC [-1, 1] #if UNITY_UV_STARTS_AT_TOP uvNDC.y -uvNDC.y; // 处理平台差异DirectX风格平台UV原点在左上角 #endif float4 clipPos float4(uvNDC, depthSample, 1.0); // 对于深度如果是非线性深度需要先转换。但我们的depthSample已经是SAMPLE_DEPTH_TEXTURE的结果可以直接用于某些矩阵。 // 更通用的方法是使用LinearEyeDepth后的结果来构建向量。 // 构建一个在观察空间下的方向点在相机前方1单位处的“屏幕点” float4 viewPosHomogeneous mul(unity_CameraInvProjection, float4(uvNDC, 1.0, 1.0)); float3 viewRayUnit viewPosHomogeneous.xyz / viewPosHomogeneous.w; // 齐次除法 // 现在 viewRayUnit 是一个方向向量其终点在Z-1的平面上假设投影矩阵对称。 // 那么真正的观察空间位置就是方向向量 * 线性深度。 // 但注意viewRayUnit的z分量是-1所以 linearDepth -distance。我们需要取反。 float3 viewPosition viewRayUnit * linearDepth / (-viewRayUnit.z); // 方法B更简洁的射线法需正确传递向量 // 在顶点着色器中我们计算一个向量其终点在远裁剪面起点在相机原点。 // 在片元着色器中观察空间位置 (射线向量 / 射线向量的z分量) * 线性深度。 // 因为射线向量的z分量就是远裁剪面的距离负值这样除一下就得到了一个“单位深度”的缩放因子。 // 实际代码中很多人会这样写 // float3 viewPosition i.viewRay * linearDepth / i.viewRay.z; // 但这要求i.viewRay的z是负的远裁剪面距离。如果i.viewRay计算方式不同公式需要调整。 // 为了绝对清晰我们采用方法A并在下面将其转换到世界空间。 // 4. 将观察空间坐标转换到世界空间坐标 // 需要用到观察矩阵的逆矩阵或者叫相机到世界的变换矩阵。 // Unity在渲染后处理效果时不会自动提供这个矩阵我们需要从C#脚本传递。 // 另一种方式是使用 unity_CameraToWorld 矩阵但要注意它是从观察空间到世界空间的变换吗是的它的名字就是。 // 在片元着色器中我们可以这样用 float4 worldPosHomogeneous mul(unity_CameraToWorld, float4(viewPosition, 1.0)); float3 worldPosition worldPosHomogeneous.xyz / worldPosHomogeneous.w; // 5. 现在你有了 worldPosition可以用于各种效果。 // 例如简单地可视化世界坐标的Y分量高度 float height worldPosition.y; // 将高度映射到颜色假设高度范围在0到100之间 float normalizedHeight saturate(height / 100.0); fixed3 color tex2D(_MainTex, i.uv).rgb; // 混合一点高度颜色比如蓝色表示低绿色表示高 fixed3 heightColor lerp(fixed3(0,0,0.5), fixed3(0,1,0), normalizedHeight); color lerp(color, heightColor, 0.3); return fixed4(color, 1.0); } ENDCG } } }3.4 第四步创建并挂载后处理脚本光有Shader不行我们需要一个C#脚本来驱动这个后处理效果并正确传递矩阵。using UnityEngine; [ExecuteInEditMode] // 方便在编辑器模式下预览 [RequireComponent(typeof(Camera))] public class WorldPositionPostProcess : MonoBehaviour { public Material reconstructionMaterial; // 拖入我们创建的材质球 void OnRenderImage(RenderTexture source, RenderTexture destination) { if (reconstructionMaterial null) { Graphics.Blit(source, destination); // 材质为空则直接拷贝 return; } // 手动计算并传递观察矩阵的逆矩阵世界-观察的逆 观察-世界 // 实际上Shader中使用的 unity_CameraToWorld 矩阵在Post-processing stack中可能已经设置好了。 // 但为了通用性我们也可以自己传一个。 // Camera.main.worldToCameraMatrix 是世界空间到观察空间的矩阵。 // 它的逆矩阵就是观察空间到世界空间的矩阵。 Matrix4x4 inverseViewMatrix GetComponentCamera().worldToCameraMatrix.inverse; reconstructionMaterial.SetMatrix(_InverseView, inverseViewMatrix); // 执行后处理 Graphics.Blit(source, destination, reconstructionMaterial); } }将这个脚本挂载到你的主相机上并将之前创建的材质球拖拽到reconstructionMaterial槽位中。运行游戏你应该能看到场景的颜色根据世界空间的Y轴高度发生了混合变化。4. 关键细节、陷阱与性能优化实现基本功能只是第一步要让它在实际项目中稳健运行你必须了解下面这些细节。4.1 深度精度与线性化这是最大的坑之一。SAMPLE_DEPTH_TEXTURE采样的深度值是非线性的。必须使用LinearEyeDepth或Linear01Depth进行转换。LinearEyeDepth(float nonLinearDepth)返回观察空间下的线性深度值即点到相机平面的垂直距离正值。这是我们重建世界坐标最常用的。Linear01Depth(float nonLinearDepth)返回一个在[0, 1]范围内的线性深度值0为近裁剪面1为远裁剪面。警告绝对不要直接用采样得到的深度值参与世界坐标计算否则你的坐标在远处会完全错乱。这是新手最常见的错误。4.2 坐标系与平台差异图形APIDirectX, OpenGL, Metal, Vulkan的坐标系差异会咬人一口。UV原点DirectX类平台Windows, Xbox的纹理UV原点在左上角(0,0)是左上而OpenGL类平台在左下角。这会影响从UV到NDC的转换。代码中我们使用了UNITY_UV_STARTS_AT_TOP这个宏来判断和处理。裁剪空间Z范围DirectX的裁剪空间Z范围是[0, 1]而OpenGL是[-1, 1]。幸运的是LinearEyeDepth和投影矩阵相关的计算Unity的封装已经帮我们处理了这些差异。但如果你自己手动构造矩阵运算就必须考虑这一点。4.3 矩阵的选择与传递在Shader中我们有多个矩阵可用unity_WorldToCamera世界空间 - 观察空间矩阵即观察矩阵。unity_CameraToWorld观察空间 - 世界空间矩阵即观察矩阵的逆。这通常就是我们需要的。在后处理渲染时Unity可能会自动设置这个矩阵但为了保险最好像上面脚本那样手动传递一次。UNITY_MATRIX_V等同于unity_WorldToCamera。UNITY_MATRIX_I_V等同于unity_CameraToWorld。使用unity_CameraToWorld是最直接、最推荐的方式。4.4 性能优化要点后处理Shader每帧对屏幕每个像素执行一次性能至关重要。减少复杂计算将能移到顶点着色器的计算绝不留在片元着色器。例如射线方向viewRay的计算就在顶点着色器中进行然后插值到片元。善用内置函数LinearEyeDepth、SAMPLE_DEPTH_TEXTURE都是高度优化的比自己写的精度和速度都有保障。避免分支片元着色器中的if语句在某些GPU上性能开销很大。尽量用step()、lerp()等函数代替。精度选择对于世界坐标这种大范围的值使用float精度。对于中间计算可以尝试half但要注意可能引入的精度问题尤其是在移动平台。4.5 一个更稳健、更简洁的最终版Shader代码块综合以上所有要点这里提供一个经过打磨的、更健壮的版本它采用了更清晰的射线法并处理了平台兼容性问题。Shader Hidden/WorldPositionReconstruction_Final { Properties { _MainTex (Texture, 2D) white {} } SubShader { Cull Off ZWrite Off ZTest Always Pass { CGPROGRAM #pragma vertex vert #pragma fragment frag #include UnityCG.cginc struct appdata { float4 vertex : POSITION; float2 uv : TEXCOORD0; }; struct v2f { float2 uv : TEXCOORD0; float4 vertex : SV_POSITION; // 存储 interpolated ray用于片元着色器重建 float3 viewRay : TEXCOORD1; }; sampler2D _MainTex; sampler2D _CameraDepthTexture; float4 _MainTex_TexelSize; // 可能需要处理UV翻转 v2f vert (appdata v) { v2f o; o.vertex UnityObjectToClipPos(v.vertex); o.uv v.uv; // 方法计算当前顶点对应在观察空间中远裁剪面上的坐标作为方向向量 // 1. 将裁剪空间坐标转换到观察空间。 // 在观察空间相机位于原点看向-Z方向。 // 投影变换后裁剪空间坐标的xy除以w再乘以远裁剪面距离可以得到远裁剪面上的点。 // 更简单的方式使用投影矩阵的逆矩阵。 float4 clipPos float4(v.uv * 2.0 - 1.0, 1.0, 1.0); // 构造一个在远裁剪面的NDC点z1 #if UNITY_UV_STARTS_AT_TOP clipPos.y -clipPos.y; #endif float4 viewRay mul(unity_CameraInvProjection, clipPos); o.viewRay viewRay.xyz / viewRay.w; // 齐次除法得到观察空间的方向向量 // 处理可能的UV翻转问题某些后处理Buffer #if UNITY_UV_STARTS_AT_TOP if (_MainTex_TexelSize.y 0) o.uv.y 1.0 - o.uv.y; #endif return o; } float4 frag (v2f i) : SV_Target { // 采样深度并线性化 float depthSample SAMPLE_DEPTH_TEXTURE(_CameraDepthTexture, i.uv); float linearDepth LinearEyeDepth(depthSample); // 重建观察空间位置 // i.viewRay 是从相机原点到远裁剪面的向量。 // 我们需要一个单位步长的向量。因为i.viewRay的终点在远裁剪面其长度就是远裁剪面距离。 // 所以单位深度的向量 i.viewRay / i.viewRay.z (因为观察空间下远裁剪面z -far) // 但更通用的写法是posVS (i.viewRay / i.viewRay.z) * linearDepth; // 因为 (i.viewRay / i.viewRay.z) 得到了一个在z-1平面上的点乘以线性深度就得到了真正的观察空间坐标。 float3 viewPos (i.viewRay / i.viewRay.z) * linearDepth; // 注意i.viewRay.z是负值所以除以它相当于将向量缩放到单位深度z-1。 // 转换到世界空间 float3 worldPos mul(unity_CameraToWorld, float4(viewPos, 1.0)).xyz; // --- 示例效果基于世界Y坐标的渐变色 --- float4 sourceColor tex2D(_MainTex, i.uv); float height worldPos.y; float t saturate((height 10.0) / 50.0); // 假设世界Y在-10到40米之间变化 float3 debugColor lerp(float3(0.2, 0.1, 0.6), float3(0.9, 0.8, 0.1), t); float3 finalColor lerp(sourceColor.rgb, debugColor, 0.5); // --- 示例结束 --- return float4(finalColor, 1.0); } ENDCG } } }5. 常见问题排查与实战技巧即使代码看起来正确在实际运行时你仍可能遇到各种诡异问题。下面是我总结的“排坑指南”。5.1 问题重建出的坐标在屏幕边缘扭曲或不对可能原因与排查射线方向计算错误最可能的原因是顶点着色器中viewRay的计算没有考虑透视投影的非线性。确保你使用了逆投影矩阵unity_CameraInvProjection来正确计算远裁剪面坐标。上面“最终版”代码中的方法是可靠的。UV翻转未处理在DirectX平台且不使用后处理Stack时源纹理_MainTex的UV可能是翻转的。使用_MainTex_TexelSize.y 0来判断并进行翻转如最终版代码所示。深度纹理格式确保相机确实生成了深度纹理。在真机上某些移动GPU可能不支持深度纹理或者需要特定的图形API级别。在编辑器中可以通过Frame Debugger查看渲染纹理来确认。5.2 问题远处物体坐标重建不准确闪烁或出现带状条纹可能原因与排查深度精度不足这是透视投影的固有特性。非线性深度缓冲在远处精度很低。当你的场景视距Far Clip Plane设置得非常大如10000而近裁剪面Near Clip Plane很小如0.01时远处的深度值几乎没区别。解决方案尽量缩小远近裁剪面的比例。例如将远裁剪面设置为实际需要的最大值而不是一个任意大的数。没有使用线性深度再次强调一定要用LinearEyeDepth。浮点数精度问题在世界空间坐标非常大时如开放世界float精度可能不够导致抖动。可以考虑将计算原点放在相机附近即计算相对于相机的位置差或者使用双精度如果目标平台支持但会牺牲性能。5.3 问题后处理效果应用到UI或不该应用的物体上原因后处理默认会影响所有绘制到屏幕上的东西包括UI。解决方案将UI渲染到一个单独的图层Layer并设置相机的Culling Mask排除该图层。使用Unity的CommandBuffer或后处理堆栈Post-processing Stack的更高级功能在渲染管线的特定阶段插入后处理。在Shader中通过判断深度值是否接近1即天空盒或纯背景来跳过某些像素的计算。5.4 实战技巧调试与可视化当效果不对时别瞎猜把中间数据可视化出来可视化深度在Fragment Shader中直接return float4(linearDepth / 100.0, 0, 0, 1);将线性深度映射为红色通道。可视化观察空间位置return float4(viewPos.xyz / 100.0, 1);注意viewPos的z是负的。可视化世界坐标return float4(frac(worldPos.xyz / 50.0), 1);使用frac函数可以创建网格状图案清晰看出坐标是否连续。使用Graphics DebuggerUnity的Frame Debugger或RenderDoc等工具可以捕获一帧的渲染状态查看深度纹理的实际内容、各个渲染Pass的输入输出是定位问题的终极武器。5.5 性能优化进阶使用深度缓冲而非深度纹理在支持SV_Depth输出的现代渲染管线如URP/HDRP的某些Pass中如果后处理是在不透明物体渲染之后、透明物体渲染之前进行你可以直接访问深度缓冲区而不需要将深度复制到一张单独的纹理中这节省了带宽和内存。但这需要更精细的渲染管线控制超出了本篇基础指南的范围。在Built-in管线中使用_CameraDepthTexture是最通用和简单的方法。掌握了从深度图重建世界坐标这项核心技能你就打开了屏幕空间特效的宝库。无论是动态的全局雾气、精确的空间遮罩、基于物理的水面交互还是复杂的体积光效果都离不开这个基础。理解原理熟记代码并小心应对那些平台和精度上的“坑”你就能在Unity的渲染世界里更加游刃有余。