2024年开年王炸,OpenAI发布的AI视频模型Sora,能够生成长达一分钟的视频,同时保持视觉质量和对用户提示的遵循。确实给影视行业带来了颠覆性的影响!但是现在的Sora视频更像是电影业初期时的「无声电影」。
短短几天之后,语音初创公司ElevenLabs放大招,直接用AI给Sora经典视频完成了配音。而且所有的配音全部由AI生成,没有一点编辑痕迹。
若想精确地实现「视频-音频」的无缝匹配,则需要LLM在其潜在空间内理解一些「隐式的物理原理」。这个属于视觉-音频联合学习(Audio-Visual Learning)领域。
那么,一个端到端的Transformer需要掌握以下能力,才能正确模拟声波:
- 确定每个物体的种类、材质和空间位置。
- 识别物体间的复杂互动,比如棍子是敲在木头、金属还是鼓面?敲击的速度如何?
- 辨识场景环境,是餐厅、空间站、黄石国家公园还是日本神社?
- 从模型的内存中提取物体及其环境的典型声音模式。
- 应用「软性」的、已学习的物理规则,组合并调整声音模式的参数,或者即时创造全新的声音,类似于游戏引擎中的「程序化音频」。
-
对于复杂场景,模型需要根据物体的空间位置,将多条声音轨道叠加起来。
英伟达高级科学家Jim Fan
当这项技术成熟之后,针对每个人的兴趣爱好,定向即时产生广告视频、小视频,这个能力将让广告投放方疯狂,真正形成了定向轰炸。在未来,可能我们的周围将无时无刻不被各种定向广告视频包围,请千万千万要捂紧你的钱包。
网友评论