PhyCyber Twin 的目标交付形态:真实场景视频进入 AI Real-to-Sim pipeline,输出语义分层、路径网格、AMR 路线和可继续导入仿真的场景数据层。目前有两个演示:公共广场(室外)和仓库货架通道(室内 AMR 场景)。
同一段 9 秒手机视频,左边是客户输入,右边是我们重建出的感知视图。不是"画一个模型",而是把真实空间拆成机器人能用的语义层。
竖屏 720×1280,约 9.14 秒。镜头从街道摇到古城门:城墙、城楼、门洞、游客人群、路桩、街灯、招牌、石板广场全在画面里。
类 Tesla / Waymo 感知界面:每一帧真实画面上叠加语义分层、空间网格、检测框和机器人路线,严格同步原视频 9 秒。
每一层都对应机器人导航里的一类要素,且都能落到结构化的 JSON 标签和碰撞摘要里。
城墙、城楼、门洞、双层屋顶 —— 作为固定结构、定位地标和碰撞边界。
游客群体 —— 作为动态障碍和高代价区域,路线必须绕开人群密集区。
路桩、树、街灯、招牌、车辆区 —— 公共空间机器人最易碰撞或误判的目标。
石板广场、可行走网格、机器人路线、禁入区同步展示。
AMR 团队最典型的室内场景:货架、托盘、叉车、卷笼、限高区。手机横拍 20 秒,感知重建输出语义分层 + 通道网格 + AMR 中轴路线,12 秒感知视频。
横屏 1920×1080,20 秒。典型仓库货架通道:双侧货架、托盘货物、叉车动态障碍、卷笼、顶部网格。
地面(黄)/ 货架结构体(蓝)/ 叉车动态障碍(粉)/ 侧架禁行区(红)/ AMR 中轴路线(绿)+ 通道透视网格 + 10 个 HUD callout 逐一浮现。
每个 callout 对应视频内一类要素,按时间线逐一淡入 —— 这正是机器人场景理解需要的结构化标注。
仓库场景的语义分类 —— 直接对应 AMR 任务规划和避障的五类输入。
双侧货架、托盘、顶部网格 —— 固定碰撞边界,AMR 路径必须在此范围内规划。
货架间可行走区域 —— 提取为 AMR 的可行走网格和路径规划底图。
叉车、卷笼 —— 动态障碍物,标注为高代价区域,实时路径绕行。
货架底部侧翼和限高区 —— 标注为禁行,AMR 路线沿中轴通行。
早期 Pilot 采用 AI 自动处理 + human-in-the-loop 质量复核。系统先完成重建、分层和质量评分,低置信度场景再进入人工复核。
客户上传仓库、工厂、实验室或公共空间视频,并说明目标任务。
生成几何、尺度、纹理和初始空间结构。
补语义、碰撞体、可行走区域、风险区和任务约束。
输出 Web 预览、USD、标签 JSON、任务脚本和质量说明。
机器人不直接"吃"网页。团队把输出导入仿真环境,再测试自己的算法和机器人模型。
把 AMR / AGV 放进场景,测路线规划、避障、停靠。
复现工作台、箱子、货架位置,先在仿真里验证抓取路径。
生成不同角度、光照、遮挡下的合成图、深度图、分割标签。
集成商用真实客户场地做仿真演示,提高方案可信度。
给我们一段真实场景视频,AI pipeline 先判断输入质量和重建风险,再输出机器人团队能评估、能导入仿真的场景数据包。
首批 Pilot 用 human-in-the-loop 质量复核保障结果可靠,后续逐步提高自动化率。