关于 OpenAI 文生视频模型 Sora

Sora 官网截图

2月15日，OpenAI 发布了文生视频模型 Sora，又一次震惊世界，引爆全网，其影响相当出圈，对其的讨论不光在技术圈了。

本文是对官方 Sora 介绍的梳理，能够对 Sora 有基本的认识。

Sora

Sora 是一个文生视频模型，可以根据用户输入生成长达一分钟的视频，可以遵循用户指令并保证生成视频的质量。

能力

目前发现的能力有：

1. 可以生成多角色、特定运动和准确表现主体和背景的细节。
2. 可以理解并表现出事物在真实物理世界的存在形式。
3. 能够深入理解用户指令，能够充分解析用户指令并生动表达出来。（这个需要看官方的演示视频才能真切感受，指令一句话，但是生成视频体现出的内容很丰富）
4. 在一个视频中创建多镜头，并在多个镜头中保持角色一致、视觉风格一致。

不足

目前的不足：

1. 可能难以准确模拟复杂场景的物理原理
2. 可能无法理解物体之间的因果关系，例如，一个人可能咬了一口饼干，但之后饼干可能没有咬痕
3. 可能会混淆提示的空间信息，例如混淆左右
4. 可能难以准确表现随着时间发生的事件，例如遵循指定的相机轨迹

相关技术点

对技术介绍较为浅显，实现方式都不清楚，当前仅作为了解即可，详细情况可以去看官方的技术报告

1. Sora 是扩散模型。
2. Sora 可以生成视频，或者在原有视频后面扩展。
3. 让模型一次进行多帧预测，从而让视频中的主体保持一致，即使短暂离开视频，后面再次出现时与之前一样。（问题：什么是多帧预测？如何实现的？）
4. Sora 使用 Transformer 架构。（问题：扩展模型和Transformer是什么关系？）
5. 将视频和图像作为较小数据单元的集合，这个小的数据单元叫做 patch，每个 patch 和 GPT 中的 token 类似。（问题：patch 中的视频和图像通过什么形式表现的呢？一个patch有多少数据量呢？）
6. 通过统一的数据表现形式，可以训练不同时长、分辨率和纵横比的视频，因此训练数据更为广泛。（问题：如何实现统一表现的呢？）
7. Sora 建立在 DALL·E 和 GPT 模型的研究之上。Sora 使用了 DALL·E 3 的重述技术（recaptioning technique），通过为视觉训练数据生成详尽的描述性文字说明，大幅提升了模型对用户在视频生成中文字指令的理解和执行能力，从而能够忠实地实现用户指令的意图。
8. Sora 可以根据指定的静态图片生成视频，扩展视频，视频补帧。

影响和意义

OpenAI 官方认为：

Sora 作为能够理解和模拟现实世界的基础模型，这一能力将是实现 AGI 道路上的重要里程碑。

进一步了解

大家可以去看官方的技术报告：Video generation models as world simulators