国产首个 100% 开源实时交互世界模型 Matrix-Game 2.0 今日发布
2025 年 8 月 12 日，北京——在 SkyWork AI 技术发布周的第二天，昆仑万维重磅推出并全面开源 Matrix-Game 2.0。该模型率先实现通用场景下 25 FPS 实时长序列交互式生成，被誉为「国产开源版 Genie 3」。
开源直达
技术报告：PDF
Hugging Face：huggingface.co/Skywork/Matrix-Game-2.0
核心突破
| 维度 | Matrix-Game 2.0 | 业界现状 |
|---|---|---|
| 实时性 | 25 FPS 实时推理 | 普遍 5–15 FPS |
| 序列长度 | 分钟级连续生成 | 数秒至数十秒 |
| 交互方式 | 键鼠指令原生支持 | 多数需文本提示 |
| 开源程度 | 权重、数据、训练脚本全开放 | 多数闭源或仅 Demo |
技术架构拆解
3D Causal VAE：时空联合压缩，兼顾效率与质量。
多模态 DiT：以视觉为中心，摆脱语言先验偏置。
KV-Cache 滚动生成：单 GPU 实现无限时长视频，无需重复计算。
Self-Forcing 训练策略：双向扩散蒸馏为因果模型，误差累积降低 70%。
三大场景模型已就绪
Matrix-Game Uni：任意静态真实场景自由探索。
Matrix-Game TempleRun：神庙逃亡风格跑酷，精准响应跳跃、转向。
Matrix-Game GTA：动态城市场景，支持车辆物理与 NPC 运动模拟。
数据管线与性能实测
基于 Unreal Engine + GTA5 构建 1350 小时高质量交互视频数据集，覆盖 200+ 动作标签。A100 单卡实测：
720p 生成延迟 ≤ 40 ms
连续 5 分钟视频无漂移、无卡顿
物理一致性错误率 < 3%
即刻上手
1. 克隆仓库：
git clone https://github.com/SkyworkAI/Matrix-Game.git && cd Matrix-Game
2. 一行命令启动本地 Demo：
python demo.py --scene temple --fps 25 --resolution 720p
3. 使用键盘 W/A/S/D 控制方向，鼠标控制视角，即可实时生成属于你的交互世界。
未来展望
Matrix-Game 2.0 将接入昆仑万维「天工」多模态矩阵，计划 2025 Q4 推出 云端 API，支持低代码调用。下一步重点攻关：
4K 分辨率实时生成
多人协同交互
物理-语义联合编辑
开源链接已就绪，欢迎开发者共建下一代虚拟世界！
-
喜欢（0）
-
不喜欢（0）
