Genie 4 开始研究预览:可边探索边改写场景,并生成声音
Google DeepMind 将实时世界模拟交给少量可信测试者,加入原生音频与 Gemini 引导。Project Genie 和开发者入口仍待开放,长时间一致性及物理准确性也未解决。
10 月 27 日,Google DeepMind 公布 Genie 4,并开始向少量可信测试者提供研究预览。它生成的是可以持续操作的场景:用户移动视角或改变要求后,模型接着生成环境的反应。这次加入了与世界一同生成的声音,也把 Gemini 放进持续观察和引导场景的过程。
- 用户提出目标或操作场景
- Gemini 拆解目标并观察画面
- Genie 4 生成后续画面与声音
- 继续观察、修正;长时间仍可能漂移
从看视频到在场景里行动
普通视频生成通常交付一段片段,世界模型则要在用户行动后继续接住前面的状态。Genie 4 支持键盘导航、摄像机控制,以及在模拟过程中用文字改变天气、加入人物或调整场景。环境音、音乐和人物对话由模型同时生成,不只是事后添加的配乐。
官方说明,Gemini Omni 提供与外观和行为有关的基础能力,Gemini 3.8 Flash 则充当引导者:把目标拆成步骤,观察输出画面,再检查场景有没有朝目标推进。本站将这一机制理解为带反馈的生成过程;它有助于解释为什么模型能够回应连续操作,但不能据此认定每一步都可靠。
机器人演示证明了什么
DeepMind 还展示了 Gemini 4 Argon 配合 Genie 4 的研究实验:围绕模拟中的 Apptronik Apollo 机器人下跳棋,规划步骤并生成相应场景。这个例子显示了将推理模型与视觉模拟结合的方向,演示发生在生成环境里,不能当作实体机器人已完成同一任务的证据。
对创作者而言,这类工具可能用于快速试验镜头和交互想法;对机器人研究者而言,关键问题则是模拟中的规律能否足够稳定、准确地对应现实。前一种用途可以容忍一定视觉误差,后一种需要更严格的验证。这是本站对应用条件的分析,并非本次发布已经证明的训练收益。
开放范围和仍未解决的问题
截至本次公告,已提供的是可信测试者研究预览。面向 Google AI Ultra 用户的 Project Genie,以及 Gemini API 和 AI Studio 的早期合作伙伴入口,仍属于后续计划。Google 官方简讯与独立报道都区分了这两个阶段,因此不能将它写成已经全面上线或开放模型权重。
DeepMind 承认,较长会话、复杂修改和场景导航仍可能使物体与细节漂移;物理交互、音频准确性、可读文字和空间一致性仍在研究中。官方视频是演示,不是本站独立测试。视频和音频会加入 SynthID 标记,但水印也不能替代对内容真实性和模拟精度的判断。






评论
使用 GitHub 账号参与讨论,所有语言版本共用此评论区。
在 GitHub 查看讨论查看旧评论(Disqus)