真实演示 · 两段视频

两段真实视频
变成机器人可用的
数字孪生场景

PhyCyber Twin 的目标交付形态:真实场景视频进入 AI Real-to-Sim pipeline,输出语义分层、路径网格、AMR 路线和可继续导入仿真的场景数据层。目前有两个演示:公共广场(室外)和仓库货架通道(室内 AMR 场景)。

演示 ① · 公共广场 / 古城门

演示 ①:公共广场 / 古城门

同一段 9 秒手机视频,左边是客户输入,右边是我们重建出的感知视图。不是"画一个模型",而是把真实空间拆成机器人能用的语义层。

输入 · 01

客户输入 — 9 秒手机视频

竖屏 720×1280,约 9.14 秒。镜头从街道摇到古城门:城墙、城楼、门洞、游客人群、路桩、街灯、招牌、石板广场全在画面里。

输出 · 02

感知重建 — 9 秒孪生视频

类 Tesla / Waymo 感知界面:每一帧真实画面上叠加语义分层、空间网格、检测框和机器人路线,严格同步原视频 9 秒。

建筑结构 植被 可行走地面 行人 机器人路线 禁入区
交付 · 03

交付 — 机器人可用场景包

客户拿到的是可验收、可讨论、可继续导入仿真的 scene data package,而不是单张渲染图。

演示 ① 从视频提取了哪四层

每一层都对应机器人导航里的一类要素,且都能落到结构化的 JSON 标签和碰撞摘要里。

建筑层

城墙、城楼、门洞、双层屋顶 —— 作为固定结构、定位地标和碰撞边界。

city wallgate towerarchway
行人层

游客群体 —— 作为动态障碍和高代价区域,路线必须绕开人群密集区。

crowddynamic obstacle
物体层

路桩、树、街灯、招牌、车辆区 —— 公共空间机器人最易碰撞或误判的目标。

bollardstreesignage
空间层

石板广场、可行走网格、机器人路线、禁入区同步展示。

walkablerouteno-go
演示 ② · 仓库 AMR 场景

演示 ②:仓库货架通道

AMR 团队最典型的室内场景:货架、托盘、叉车、卷笼、限高区。手机横拍 20 秒,感知重建输出语义分层 + 通道网格 + AMR 中轴路线,12 秒感知视频。

输入 · 01

客户输入 — 仓库横拍视频

横屏 1920×1080,20 秒。典型仓库货架通道:双侧货架、托盘货物、叉车动态障碍、卷笼、顶部网格。

输出 · 02

感知重建 — 12 秒孪生视频

地面(黄)/ 货架结构体(蓝)/ 叉车动态障碍(粉)/ 侧架禁行区(红)/ AMR 中轴路线(绿)+ 通道透视网格 + 10 个 HUD callout 逐一浮现。

货架 / 结构体 通道地面 叉车障碍 AMR 路线 禁行 / 限高区
CALLOUTS · 10 个语义标注

自动识别的仓库要素

AISLE FLOOR SHELF RACK — L SHELF RACK — R PALLET LOADS CEILING GRID FORKLIFT ROLLCAGE CLEARANCE ZONE WALKABLE PATH AMR ROUTE

每个 callout 对应视频内一类要素,按时间线逐一淡入 —— 这正是机器人场景理解需要的结构化标注。

演示 ② 从视频提取了哪五类要素

仓库场景的语义分类 —— 直接对应 AMR 任务规划和避障的五类输入。

货架 / 结构体

双侧货架、托盘、顶部网格 —— 固定碰撞边界,AMR 路径必须在此范围内规划。

shelf rackpalletceiling grid
通道地面

货架间可行走区域 —— 提取为 AMR 的可行走网格和路径规划底图。

aisle floorwalkable path
动态障碍

叉车、卷笼 —— 动态障碍物,标注为高代价区域,实时路径绕行。

forkliftrollcage
限高 / 禁行区

货架底部侧翼和限高区 —— 标注为禁行,AMR 路线沿中轴通行。

clearance zoneAMR route

AI pipeline 如何进入 Pilot

早期 Pilot 采用 AI 自动处理 + human-in-the-loop 质量复核。系统先完成重建、分层和质量评分,低置信度场景再进入人工复核。

STEP 01

上传视频

客户上传仓库、工厂、实验室或公共空间视频,并说明目标任务。

STEP 02

AI 场景重建

生成几何、尺度、纹理和初始空间结构。

STEP 03

数据层增强

补语义、碰撞体、可行走区域、风险区和任务约束。

STEP 04

评分与导出

输出 Web 预览、USD、标签 JSON、任务脚本和质量说明。

机器人团队拿它去干什么

机器人不直接"吃"网页。团队把输出导入仿真环境,再测试自己的算法和机器人模型。

移动机器人导航

把 AMR / AGV 放进场景,测路线规划、避障、停靠。

navigationwalkable

机械臂抓取验证

复现工作台、箱子、货架位置,先在仿真里验证抓取路径。

manipulationcollision

视觉模型训练

生成不同角度、光照、遮挡下的合成图、深度图、分割标签。

synthetic datasegmentation

售前方案演示

集成商用真实客户场地做仿真演示,提高方案可信度。

方案演示数字孪生

给我们一段真实场景视频,AI pipeline 先判断输入质量和重建风险,再输出机器人团队能评估、能导入仿真的场景数据包。

首批 Pilot 用 human-in-the-loop 质量复核保障结果可靠,后续逐步提高自动化率。