美文网首页
Sora,从哑剧走向有声剧

Sora,从哑剧走向有声剧

作者: 银河星尘 | 来源:发表于2024-02-21 17:01 被阅读0次

    2024年开年王炸,OpenAI发布的AI视频模型Sora,能够生成长达一分钟的视频,同时保持视觉质量和对用户提示的遵循。确实给影视行业带来了颠覆性的影响!但是现在的Sora视频更像是电影业初期时的「无声电影」。
    短短几天之后,语音初创公司ElevenLabs放大招,直接用AI给Sora经典视频完成了配音。而且所有的配音全部由AI生成,没有一点编辑痕迹。
    若想精确地实现「视频-音频」的无缝匹配,则需要LLM在其潜在空间内理解一些「隐式的物理原理」。这个属于视觉-音频联合学习(Audio-Visual Learning)领域。
    那么,一个端到端的Transformer需要掌握以下能力,才能正确模拟声波:

    • 确定每个物体的种类、材质和空间位置。
    • 识别物体间的复杂互动,比如棍子是敲在木头、金属还是鼓面?敲击的速度如何?
    • 辨识场景环境,是餐厅、空间站、黄石国家公园还是日本神社?
    • 从模型的内存中提取物体及其环境的典型声音模式。
    • 应用「软性」的、已学习的物理规则,组合并调整声音模式的参数,或者即时创造全新的声音,类似于游戏引擎中的「程序化音频」。
    • 对于复杂场景,模型需要根据物体的空间位置,将多条声音轨道叠加起来。


      英伟达高级科学家Jim Fan

      当这项技术成熟之后,针对每个人的兴趣爱好,定向即时产生广告视频、小视频,这个能力将让广告投放方疯狂,真正形成了定向轰炸。在未来,可能我们的周围将无时无刻不被各种定向广告视频包围,请千万千万要捂紧你的钱包。

    相关文章

      网友评论

          本文标题:Sora,从哑剧走向有声剧

          本文链接:https://www.haomeiwen.com/subject/nkxwadtx.html