blog

Genie 4把生成视频变成可操控的世界,声音也加入了互动

Genie 4把实时文字控制、原生音频和互动对话放进短时世界模拟。目前仅向trusted testers开放研究预览,Ultra与API伙伴仍待开放;本文说明它与视频生成的差别、Gemini在环的作用和几分钟交互的边界。

PiRouter Team约 8 分钟
Genie 4官方展示中的湖面平台、萨克斯演奏者与发光球,视频抽帧裁切

Genie 4把生成视频的观看体验推向了另一种方向:世界仍在生成,你可以移动视角、用文字改变场景,人物与声音也能随互动回应。Google DeepMind于10月27日公布这款世界模型;截至10月28日,它仅向可信测试者提供研究预览,Google AI Ultra用户与API早期伙伴还要等。这次值得关注的是对“下一刻发生什么”的持续控制,不是一个已经人人可用的游戏世界。

以下解读依据Genie 4发布公告和Genie 4模型页的文字说明,未进行产品实测或视频效果评测;文中场景均来自官方提示词与描述。

Genie 4和AI视频生成的差别,在输入发生的时刻

官方给出的一个提示词很具体:湖中央漂着一块长方形平台,上面有草木、一颗发光的琥珀色球,以及一位吹萨克斯的人。镜头不固定在人物身上,而是可以越过水面自由探索;声音设定包括湖水、远处的风和现场乐器。

这段设定首先让人想到拍摄。区别在于,Genie 4的目标不只是按这份描述生成一条拍好的镜头。公告称,用户能用键盘控制导航和视角,在世界演进时继续输入文字,改变天气、移动镜头,或放入新人物与物体。Gemini会结合场景调整指令,并在两次输入之间引导场景继续发展。

关键变化是输入时机:你不必等一段片子生成完,才决定下一次改什么。 这里比较的是一次提交后观看片段与生成过程中持续干预的工作方式,并不意味着现有视频工具都没有编辑或控制能力。

Genie4官方展示中的雪地冠鹤场景与键盘导航提示
官方模型页展示视频第5秒抽帧,画面带键盘导航提示,并标明结果用于示意、序列经过缩短;不是本站操作截图,也不能据此证明连续交互时长。来源:Google DeepMind的Genie模型页

对创作团队,这提供了一种值得观察的预演方式。假设要讨论同一场戏的机位与天气,实时世界可以把“再试一个角度”变成场景内部的连续调整,而不是每次都重新描述整段画面。官方也报告,受邀创作者正把它作为预可视化和构思的快速“草稿模式”,尝试调整镜头、光线、对白与动作。

草稿模式这个定位很重要。它帮助团队决定想拍什么,不自动解决后续的精确剪辑、素材交付和资产复用。游戏开发者能借它探索风格与交互想法,也不等于已经拿到可以直接导入引擎的关卡。

原生音频让世界能回应,不只是给画面配乐

如果镜头能拐弯,声音却只是固定播放的一条背景音乐,互动仍然少了一层。Genie 4宣布原生生成音频:环境声、音乐和人物对白可以与世界一起生成。按照官方描述,人物能随用户输入或场景事件调整对话,并实时作出回应。

回到湖面萨克斯的设定,提示词要求保留湖水、风声与萨克斯声,不另加场景内乐器之外的背景音乐。另一个骑龙场景则写明了振翼、强风和远处的轰鸣。这些文字不能证明实际音质,却说明官方希望让声音承担什么工作:它属于场景里的事物,而不是生成结束后贴上去的一层气氛。

人物对话让这一方向更有想象空间。假设创作者调整了一场戏的事件走向,能否同时讨论角色怎么回答、环境如何变化,会直接影响预演的价值。交互的对象也从镜头里的景色,扩展到有反应的人物。

Genie4官方湖面场景中的萨克斯演奏者、草木与发光球
官方湖面演示视频第5秒抽帧,对应发布公告中乐器与环境声共同构成场景的设定。静帧本身不能验证音质、同步或响应延迟,本文未进行音频效果评测。来源:Google DeepMind的Genie4发布公告

但“原生生成”与“准确生成”是两回事。官方模型页仍把实时音频准确性列为研究课题;现有材料也不足以给出口型同步质量、各语言表现或交互延迟的可靠结论。此时可以确认的是能力方向,不是配音工作流已经被替代。

Gemini在环,让下一帧接住前一步

实时改天气还相对直观。更难的问题是:用户要求完成一件有先后顺序的事,生成的世界怎样不只保持画风,还记得接下来该做哪一步?

公告描述了一套分工。Gemini Omni提供与真实世界外观和行为相关的能力基础;在复杂事件模拟中,Gemini 3.8 Flash充当循环中的引导智能体,持续观察画面,把目标拆成步骤,再根据新帧检查进展。用户介入或场景发生变化时,它会调整计划,Genie 4则继续生成世界的视听表现。

这让“连续性”不只意味着上一帧和下一帧看起来相似,也包含事件能否接续。比如计划要求先完成一个动作,再执行后续步骤,系统就需要观察刚才的动作是否发生,而不是只生成一个外形合理的结果。以上是官方描述的机制,尚不能据此推断所有复杂任务都能可靠完成。

发布公告还介绍了Gemini 4 Argon与Genie 4共同模拟人形机器人下棋的研究例子:Argon拆解任务,步骤以文字形式交给正在生成的模拟。这里呈现的是机器人任务的模拟过程,不是实体机器人已经学会下棋,更不是模拟训练成功迁移到现实的证明。

官方示例并排展示Gemini4Argon文字步骤与Genie4机器人下棋模拟
官方机器人模拟示例第5秒抽帧:左侧为Argon给出的步骤,右侧明确标作Genie4 simulation。这是模拟任务的展示,不是实体机器人实测或向现实迁移成功的证据。来源:Google DeepMind的Genie4发布公告

把公告的流程说明与模型页的未来应用放在一起看,研究方向就清楚了:让规划模型处理目标和步骤,让世界模型生成可观察、可干预的环境,再探索智能体如何在其中学习和测试。丰富的模拟场景很有价值,但从“生成了一个像真的环境”到“可以用它验证现实行为”,中间仍有准确性与迁移效果需要证明。

几分钟的交互,仍然装不下一个稳定的游戏世界

Genie 4模型页称可以持续交互“几分钟”,而不是适合长时间游玩的会话。所读官方材料没有给出精确时长上限,也未提供可核实的Genie 4分辨率与帧率,不能据此推算长时间游玩的体验。

时长只是最容易理解的边界。更关键的是物体恒存与细节漂移:场景运行越久、复杂文字修改越多,或者用户在其中不断移动,视觉细节和物体的持续存在就越可能发生变化。

对预演,这意味着一次短时探索仍可能有参考价值;对游戏,它会碰到更硬的要求。假设玩家离开房间又回来,物品的位置、门的状态和此前行为的后果都需要保留。几段顺畅的互动,不能单独证明整个世界拥有这种稳定状态。

物理与空间准确性也不能被“看起来真实”代替。官方称模型改善了空气动力学、碰撞和人物动作的模拟,同时承认复杂物理互动、空间准确性与长期一致性仍在研究。模型页还明确表示,它不能完美准确地模拟真实地点,清晰文字的生成也有限制。

因此,官方提到的档案照片探索、洪水或野火场景,应理解为测试者正在探索的可视化用途,不能读成经过验证的历史复原或工程预测。一个令人信服的画面,可以帮助提出问题,却未必能提供问题的正确答案。

还有一个容易忽略的说明:模型页称展示素材是实时交互的录制,结果用于示意,序列经过缩短。即使后续观看了这些演示,也不能仅凭精选片段推断完整会话的稳定性。

Genie 4现在谁能用,Ultra与API还要等什么

能力值得讨论,访问状态则需要按现在时和将来时分开。10月28日核验的两份官方页面给出了相同边界。

访问路径当前状态对读者意味着什么
可信测试者(trusted testers)已提供研究预览有限范围测试,不是公开注册即用
Google AI Ultra用户,经Project GenieComing soon被列为后续开放起点,尚不能据此认定已有Genie 4权限
Gemini API与Google AI Studio早期伙伴Coming soon指定伙伴的后续通道,不等于所有开发者已有公开API

官方提供了Project Genie等待名单入口,但等待名单不是访问凭证。所读公告和模型页未给出已核的公开开放日期、Genie 4价格或完整套餐权益,不能把Ultra订阅自动解读成今天就能使用,更不适合据此购买订阅。

对想尝试创意预演的人,现在可以关注等待名单与实际开放通知;对准备集成的团队,还需要等到可申请的权限、接口说明和成本边界出现,再判断它能进入哪一段工作流。

Genie 4最值得跟踪的变化,是把生成从“交出一段结果”推向“接受持续干预”:镜头、场景、声音和人物反应开始围绕同一次互动组织起来。下一步要检验的,不只是画面还能多逼真,而是这些变化能否在真实用户反复修改之后,仍然形成一个足够连贯、足够可控的短时世界。