2025 年 8 月 12 日，北京——SkyWork AI 技术发布周第二日，昆仑万维正式开源 Matrix-3D，一键把单张图片或一句文本变成可自由探索的 3D 全景世界。
1 分钟速览
开源地址：GitHub | Hugging Face | 项目主页
核心亮点：单图/文本 → 全景视频 → 3D 场景，25 FPS 实时浏览
场景范围：支持 360° 水平、180° 垂直，无限续写扩展
生成速度：Feed-Forward 10 秒完成 3D 重建
技术全景
轨迹引导全景视频生成
以场景 Mesh 渲染图作条件，扩散模型按给定相机轨迹输出高一致性全景视频。双路径 3D 重建
• 优化路径：超分 + 3DGS，获得精细几何
• 前馈路径：Transformer 直接回归，10 秒级快速重建Matrix-Pano 数据集
116 K 条全景视频、22 M 帧，覆盖 504 个 UE 高保真场景，已计划开源子集。
实战对比：WorldLabs vs HunyuanWorld 1.0 vs Matrix-3D
| 模型 | 移动范围 | 视角一致性 | 可控扩展 |
|---|---|---|---|
| WorldLabs | 局部 | 中 | 有限 |
| HunyuanWorld 1.0 | 局部 | 中 | 有限 |
| Matrix-3D | 大范围 | 高 | 无限续写 |
3 步跑通 Demo
# 克隆仓库 git clone https://github.com/SkyworkAI/Matrix-3D.git && cd Matrix-3D # 安装依赖 pip install -r requirements.txt # 单图生成 3D 场景 python demo.py --input image.jpg --output scene.ply --mode fast
应用想象
游戏/影视：分钟级生成 3D 场景，零成本虚拟拍摄。
具身智能：即时构建训练环境，机器人/自动驾驶仿真。
VR/AR：一键把照片变成沉浸式空间。
Matrix-3D 现已全面开源，欢迎开发者一起把科幻搬进现实。
-
喜欢（0）
-
不喜欢（0）
