# PhyCyber Twin V2 数字孪生渲染设计方案

日期：2026-06-02

## 1. 当前 V1 的问题

当前 `public_plaza_tesla_style_twin.mp4` 能说明“我们可以把视频里的元素转成结构化对象”，但它不适合正式演示，因为视觉上更像工程示意图，不像数字孪生。

核心问题：

1. **还原度不足**  
   古城门、屋顶、城墙、门洞、人群、树木、路灯、招牌这些真实要素没有和原视频强绑定。观众看不到“这是从这段视频还原出来的”。

2. **空间感不准**  
   地面网格、建筑、行人、车辆区的位置关系不够贴合原视频。看起来像拼出来的 3D 卡片，而不是同一个真实空间。

3. **建筑太抽象**  
   古城门是这段视频的核心视觉主体，但 V1 里建筑只是低模盒子，屋檐、墙体纹理、门洞、人群入口、城楼层级都不够明显。

4. **行人不可信**  
   行人只是紫色竖线/圆柱，没有表达“游客群体、入口队列、动态障碍、避让对象”的关系。

5. **物体层缺乏真实锚点**  
   路桩、树、街灯、招牌、车辆区没有贴合画面中的具体位置，导致像 UI 标注，不像孪生对象。

6. **Tesla-style 理解偏了**  
   Tesla 导航可视化的重点不是“卡通建模”，而是**传感器感知后的真实世界结构化重建**：车道、车辆、行人、边界、路线，都要和真实视角有强对应。

结论：

> V2 不能继续做纯低模 3D。必须做“原视频关键帧锚定 + 2.5D 照片纹理 + 语义分层 + 空间路线”的数字孪生演示。

## 2. V2 的演示目标

V2 要让合伙人/投资人 3 秒内看懂：

> 一段真实公共空间视频，被系统转成了机器人可以理解的数字孪生场景。

它不是追求高精度 photogrammetry，而是追求**演示级可信还原**：

- 看起来像原视频
- 能看到建筑、人、物、空间都被提取出来
- 能看到机器人路线和可行走区域
- 能解释未来如何导出给 Isaac Sim / Unity / MuJoCo
- 能让客户相信“给我视频，48 小时能交付一个可评估场景包”

## 3. V2 的视觉形态

V2 建议做成 **9 秒视频 + Web 交互页**。

### 3.1 视频形态

视频标题：

`Public Plaza Digital Twin Render - 9s`

视频比例：

- 主版本：16:9，1280x720 或 1920x1080
- 可选版本：竖屏 9:16，用于短视频/朋友圈/路演手机展示

视频结构：

1. 左上角或右上角保留小窗：原视频同步播放
2. 主画面：数字孪生渲染视图
3. 底部：输出层说明
4. 右侧或顶部：对象计数、语义层状态、时间轴

不要把原视频放太小。投资人必须能看出孪生视图和原视频的对应关系。

### 3.2 主视觉风格

参考方向：

- Tesla FSD visualization
- Waymo perception UI
- NVIDIA Omniverse robotics demo
- Apple Vision Pro 空间标注感

但不能过度赛博。这个项目卖给机器人团队，不是游戏特效。风格应该是：

- 深色背景
- 真实照片纹理
- 半透明语义遮罩
- 明确的空间网格
- 清晰的对象边界
- 少量 HUD 信息
- 高对比路线和风险区

## 4. V2 的核心技术路线

当前只有 9 秒竖屏视频，不能直接做高质量真实 3D 重建。因此 V2 采用演示级路线：

> 关键帧照片纹理 + 2.5D 空间分层 + 语义对象代理 + 动态路线渲染。

### 4.1 输入处理

从原视频抽取关键帧：

- `frame_001`: 街道/路侧/车辆
- `frame_003`: 古城门远景
- `frame_005`: 路灯/招牌/树/人群
- `frame_008`: 古城门近景，作为主参考帧

主参考帧：

`frame_008.jpg`

原因：

- 古城门主体清楚
- 门洞、人群、墙体、屋顶可见
- 视觉冲击力最强
- 最适合作为数字孪生演示主画面

### 4.2 2.5D 分层

把主参考帧拆成以下层：

1. **背景层**
   - 天空
   - 远山
   - 远处树木

2. **建筑层**
   - 城墙
   - 门洞
   - 城楼
   - 双层屋顶
   - 屋檐
   - 墙体纹理区域

3. **地面层**
   - 石板广场
   - 台阶/路沿
   - 可行走平面

4. **行人层**
   - 左侧游客群
   - 中央入口队列
   - 门洞附近人群
   - 动态行人代理

5. **物体层**
   - 路桩
   - 树
   - 街灯
   - 招牌
   - 车辆/道路区域

6. **机器人空间层**
   - 可行走区域
   - 高代价人群区
   - 禁入车辆区
   - 机器人规划路线
   - 目标点/停靠点

## 5. V2 必须提取的要素

### 5.1 建筑

必须能看出：

- 古城门主体
- 城墙
- 门洞
- 双层屋顶
- 屋檐层次
- 城楼正面
- 墙体纹理

实现方式：

- 不再只用盒子搭模型
- 用 `frame_008` 作为照片纹理底图
- 在照片上叠加建筑轮廓 polygon
- 用半透明橙色/金色边框标出建筑结构
- 屋顶线、门洞边界、墙体区域必须贴合画面

验收标准：

> 观众不看文字，也能知道这是原视频里的那个古城门。

### 5.2 行人

必须能看出：

- 人群在哪里
- 哪些是动态障碍
- 哪些区域机器人要绕开
- 门洞入口为什么是高风险区域

实现方式：

- 在人群区域叠加紫色半透明 mask
- 用小型 humanoid/bounding capsule 表示行人代理
- 做轻微移动动画，让人群看起来是动态层
- 标注 `dynamic obstacles` 和 `crowd high-cost zone`

验收标准：

> 机器人路线明显避开人群，不是穿过游客。

### 5.3 物体

必须能看出：

- 路桩
- 街灯
- 树
- 招牌
- 车辆/道路边界

实现方式：

- 路桩用小圆柱/边界点表示
- 树用绿色 mask + trunk proxy
- 招牌用蓝色框
- 车辆区用红色 no-go zone
- 物体不要到处乱放，要贴合原视频画面位置

验收标准：

> 低矮路桩、树、招牌这些公共空间机器人容易碰撞的对象都能被看见。

### 5.4 3D 空间

必须能看出：

- 哪些地方是地面
- 哪些地方可行走
- 路线从哪里到哪里
- 门洞入口是目标还是限制区域
- 车辆区不能走

实现方式：

- 用透视网格贴在石板广场上
- 用青色半透明面表示 `walkable surface`
- 用绿色路线表示机器人规划路径
- 用红色面表示 `no-go zone`
- 用紫色面表示 `crowd high-cost zone`

验收标准：

> 观众能一眼看懂：机器人会从广场边缘走向城门，但会避开人群和车辆区。

## 6. 9 秒视频时间轴设计

### 0.0 - 1.5 秒：输入到解析

画面：

- 原视频小窗出现
- 主画面显示主参考帧
- HUD 显示 `video loaded / 9.1s`

动画：

- 扫描线从上到下扫过画面
- 建筑、行人、地面、物体层逐个闪现

文案：

`Source video -> scene understanding`

### 1.5 - 3.0 秒：建筑层孪生

画面：

- 古城门轮廓被描出来
- 城墙、门洞、双层屋顶、屋檐高亮

文案：

`building layer: gate / wall / archway / roof`

### 3.0 - 4.5 秒：行人和动态障碍

画面：

- 人群区域变成紫色动态 mask
- 行人代理轻微移动
- 门洞入口显示 crowd high-cost zone

文案：

`pedestrians: dynamic obstacles`

### 4.5 - 6.0 秒：物体和边界

画面：

- 路桩、树、招牌、车辆区被标出
- 车辆区变成红色 no-go zone

文案：

`objects: bollards / tree / signage / vehicle zone`

### 6.0 - 7.5 秒：机器人空间

画面：

- 石板地面出现透视网格
- 可行走区域出现青色 overlay
- 机器人路线从广场边缘走向城门

文案：

`walkable surface + robot route`

### 7.5 - 9.1 秒：交付输出

画面：

- 右侧或底部列出输出：
  - MP4 twin render
  - GLB
  - PLY
  - SPLAT
  - USD
  - semantic labels
  - collision summary
  - robot tasks

文案：

`48h deliverable package`

## 7. Web 交互页设计

页面地址：

`/twin-video`

页面内容：

1. 顶部：
   - 标题：9 秒实时感知数字孪生视频
   - 副标题：把真实视频里的建筑、行人、物体、空间同步渲染成机器人导航视图

2. 主区域：
   - 大视频播放器
   - 自动循环播放
   - 可下载 MP4

3. 下方四张卡：
   - 建筑层
   - 行人层
   - 物体层
   - 空间层

4. 交付按钮：
   - 下载 MP4
   - 下载完整交付包
   - 查看 3D 预览
   - 查看 JSON 标签

## 8. 输出文件设计

V2 输出文件应该包括：

```text
public_plaza_twin_render_v2.mp4
public_plaza_twin_poster_v2.jpg
source_video.mp4
keyframes_contact_sheet.jpg
gate_reference.jpg
semantic_labels.json
industrial_twin_elements.json
collision_and_navigation_summary.json
robot_task_scenarios.json
reconstruction_quality_report.md
public_plaza_demo.glb
public_plaza_demo.ply
public_plaza_demo.splat
public_plaza_demo.usda
```

## 9. 质量标准

V2 合格标准：

1. **像原视频**  
   主视觉必须一眼能看出来自原视频的古城门广场。

2. **要素完整**  
   建筑、行人、物体、空间四类要素必须全部出现。

3. **机器人相关**  
   不能只是视觉特效，必须明确可行走区、障碍物、人群风险、机器人路线。

4. **输出可解释**  
   每个图层都能对应到 JSON 或交付报告。

5. **不误导**  
   明确说明这是演示级数字孪生渲染，不是高精度实景重建。

## 10. 下一版实现建议

下一版不要继续生成纯低模。实现优先级：

1. 用 `frame_008` 做主视觉底图
2. 在画面上做透视网格和语义遮罩
3. 按时间轴逐层展示建筑、人、物、空间
4. 保留原视频小窗同步播放
5. 输出 9 秒 MP4
6. 把 MP4 加入交付包

如果要进一步逼近真实工业效果，需要加入：

- Segment Anything / Grounded-SAM 分割建筑、人、树、路桩
- Depth Anything / Metric3D 估计深度
- COLMAP / Gaussian Splatting 做真实重建
- Three.js / Blender / Omniverse 做最终渲染
- Isaac Sim 验证 USD 导入

但对当前合伙人/投资人 Demo 来说，V2 的目标不是完全自动重建，而是：

> 让人相信这个产品能把真实视频转成机器人可理解的数字孪生交付物。

