VRChat DLSS5 Cam文档
下载

参考

工作原理

DLSS 5 对画面做了什么,它需要程序提供什么,以及其他几个处理步骤的作用。

本页内容

DLSS 5 神经渲染

DLSS 5 神经渲染是 NVIDIA 的神经渲染器。神经网络观察一张已经完成的画面,重新渲染其中的光影、材质和细节。游戏会把自己绘制的每一帧都交给它;本程序交给它的,是 VRChat 相机画面、一张照片,或者视频的各帧。

  1. 你的画面相机的一帧、一张照片或一段视频
  2. DLAA 或超分辨率仅在你打开时运行可选输入画面运动矢量深度
  3. DLSS 5 神经渲染重新渲染光影和细节输入画面运动矢量
  4. 合成输出混合、大于 1 的强度
  5. 你的文件PNG、MP4、GIF、APNG、WebP

DLSS 5 需要什么

DLSS 5 从程序获取两样东西:

  • 画面。
  • 运动矢量:每个像素自上一帧以来移动了多远。它们让结果在帧与帧之间保持稳定。VRChat 不提供运动矢量,所以程序通过比较相邻的两帧,自己把它们算出来。静态图片没有运动。

DLSS 5 不读取深度。NVIDIA 是这么说的,程序自己的测试也印证了这一点:平面、渐变和零深度得到的输出完全相同。

运动从哪里来

帧引导(运动与深度) → 运动矢量(高级打开时显示):

选项说明
NVIDIA 光流(硬件,推荐)GeForce RTX 显卡上专为这项工作打造的硬件单元。速度快,精度高。GeForce 版默认使用它。
FSR 光流(计算着色器,任意显卡)本程序自带的光流,任何显卡都能运行。Radeon 版默认使用它,GeForce 版也以它作为后备。
GPU 块匹配(内置)简单的搜索。速度快,遇到快速运动时精度较低。
无(零)完全没有运动。

深度:只用于 DLAA、超分辨率和深度视图

程序中确实用到深度图的有三处:DLAA 预处理、DLSS 超分辨率,以及显示 → 对比下的深度视图。VRChat 的串流不带深度,所以程序会在你的显卡上,用一个小型网络 Depth Anything V2 估计深度。

只有这三项中的某一项打开时,这个网络才会加载。只用 DLSS 5 时,它根本不会加载,显卡的负担也更轻。

同一张照片的深度视图:近处明亮,远处昏暗同一张照片的深度视图:近处明亮,远处昏暗
深度视图:近处明亮,远处昏暗。

其他处理步骤

  • DLAA 预处理:NVIDIA 的抗锯齿,在 DLSS 5 之前运行。它能平滑锯齿状的边缘,但会损失一些速度。默认关闭,仅限 GeForce。
  • DLSS 超分辨率:用来得到比来源更大的结果。打开视频源 → 自定义输出分辨率,然后选择放大方式:DLSS 超分辨率。NVIDIA 的放大器会在更大的尺寸上重建细节,然后 DLSS 5 再处理这张大图。预计会慢很多,显存占用也会更高。
  • 合成:DLSS 5 之后,程序把结果与原图混合。输出混合滑块和大于 1 的强度都在这一步起作用,所以拖动它们会立即看到效果。

静态图片

照片没有上一帧。程序会让它反复经过 DLSS 5,直到网络稳定下来,再显示并保存稳定后的结果。所以处理一张图片,要比处理一帧视频多花一点时间。

两个版本

  • GeForce 版自带 DLSS 5 运行库,分为 RTX 50 一份和 RTX 40、30、20 一份。程序会为你的显卡选择对应的一份,失败时改试另一份。
  • Radeon 版通过 DLSS-NR-on-AMD 运行 DLSS 5。这是一个独立项目,程序会在你要求时下载并安装它。Radeon

处理都在你的电脑上完成

这一切都在你自己的显卡上运行。图片和视频绝不会被上传。隐私与许可