跳到主要内容

面捕跟踪

本页介绍 VTube Studio(VTS)中的面捕方式:

  • 摄像头面捕(Mediapipe Webcam Tracker、NVIDIA Webcam Tracker)
  • iOS 跟踪(从 iOS 向 PC 发送数据)
  • VBridger(第三方插件跟踪)
信息

不同跟踪器使用的跟踪参数可能不同。虽然多数模型会尽量使用各跟踪器通用的参数,仍可能有部分参数在特定跟踪器中不可用。详见 VTS Model Settings

若某参数在跟踪器中不可用,可将其输入替换为跟踪器中存在的其他参数。例如若 BrowLeftY(左眉上下)不可用,可改用 Brows(双眉一起上下)。

视模型包而定,使用特定插件时可能采用额外参数以获得更好效果。例如部分模型使用 VBridger 参数以提升跟踪表现。

摄像头跟踪

VTS 内置多种摄像头跟踪,包括 Mediapipe Webcam TrackerNVIDIA Webcam Tracker

  1. 打开 settings(设置) 菜单(齿轮图标)
  2. 进入 Webcam、Tracking, Video & Visual 选项卡。
  3. 选择要使用的采集设备,尽量选择最高分辨率与帧率以获得最佳跟踪。 选择跟踪设备
  4. 在 Tracking Quality 中选择跟踪器:
    • Mediapipe Webcam Tracker:通用摄像头方案
    • NVIDIA Webcam Tracker:需要 NVIDIA RTX GPU
  5. 选择 Tracking Type:
    • Only Face tracking:仅面部
    • Only Hand tracking:仅手部
    • Face and Hand tracking:面部与手部
  6. 点击 Camera On 开始跟踪。
  7. 正对屏幕做中性表情,点击 Calibrate 校准。 校准跟踪

iOS 跟踪

通过 VTube Studio 手机应用经局域网向桌面端发送跟踪数据实现 iOS 面捕。请先在 iPhone 安装 iOS 版 VTube Studio。

  1. 打开 settings 菜单(齿轮图标)
  2. 进入 General Settings & External Connections 选项卡
  3. 确认 iPhone 与 PC 在同一局域网,在 Connection Settings (WIFI) 中启动服务;也可用 USB 连接。 常规设置与外部连接
  4. 在 iOS 应用中启动面捕
  5. 在 Stream to PC (WIFI) 中通过 Find Server 设置 IP。
  6. 在 iOS 应用中启用连接 PC。 启用发送跟踪数据

更多说明见 VTS Wiki 的 Streaming to Mac/PC

VBridger

  1. 打开 settings 菜单(齿轮图标)
  2. 进入 General Settings & External Connections 选项卡
  3. 在常规设置中启用 VTS API。 enable-vts-api
  4. 配置跟踪应用。下文以 iFacialMocap 为例,任何能向 VBridger 发送数据的应用均可;通常需将目标 IP 设为 PC 的地址。VBridger 会根据所选跟踪源自动选择端口。
  5. 在 VBridger 中点击 Connect to iPhone 连接 iPhone;必要时将 IP 设为手机地址。 vbridger-connect-to-iphone
  6. 连接成功后,VBridger 中的紫色面部应随您移动;再点击 Connect 连接 VTS。
  7. 首次连接时 VTS 会请求权限,请在 VTS 中点击 Allow 授权 VBridger 访问 API。 connect-vbridger-to-vts
信息

VBridger 支持的跟踪应用包括:

  • iFacialMocap(iOS)
  • VTube Studio(iOS)
  • FaceMotion3D(iOS)
  • MeowFace(Android)
  • MediaPipe(PC)
  • NVIDIA Tracking(PC)

更多说明见 VBridger Documentation。具体跟踪应用用法请参阅其官方文档。

跟踪设置

通常无需修改跟踪设置,此处为完整性作说明。

tracking-settings

  1. Model when tracking lost:须设为 Go back to default,否则丢失跟踪动画无法正常工作。
  2. Webcam Parameter Calc. Mode(仅影响 Mediapipe 摄像头跟踪):
    • Automatic(A):每次开启摄像头跟踪后需移动面部约 5 秒。
    • Manual(B):按下校准键时,以中性表情注视摄像头。推荐使用此模式。
  3. Link Eye Blinking(仅影响 Mediapipe 摄像头跟踪):
    • Never:左右眼眨眼不联动。跟踪质量较好时推荐。
    • Always:左右眼同时眨眼。跟踪质量很差时推荐。
    • When face is rotated:仅在面部转动时联动。质量一般时推荐。
  4. Sensitivity(仅影响 Mediapipe 摄像头跟踪):通常无需调整,除非抖动严重。笔者几乎从不改动。
提示

若跟踪效果差或不稳定(动作幅度小、乱跳、模型剧烈抖动),单靠调整 VTube Studio 的跟踪设置往往解决不了根因。名称上像有帮助,实践中通常无法弥补采集本身的问题。

  1. 先改善采集: 调整光照、距离与角度。避免镜头过近或过远,尽量 大致居中、正对面部,而非大角度侧拍。
  2. 再调 参数绑定,使其匹配您的输入实际如何驱动参数。时间花在这里比微调跟踪设置更有效。