Sora 官网截图
2月15日，OpenAI 发布了文生视频模型 Sora，又一次震惊世界，引爆全网，其影响相当出圈，对其的讨论不光在技术圈了。
本文是对官方 Sora 介绍的梳理，能够对 Sora 有基本的认识。
Sora
Sora 是一个文生视频模型，可以根据用户输入生成长达一分钟的视频，可以遵循用户指令并保证生成视频的质量。
能力
目前发现的能力有：
- 可以生成多角色、特定运动和准确表现主体和背景的细节。
- 可以理解并表现出事物在真实物理世界的存在形式。
- 能够深入理解用户指令，能够充分解析用户指令并生动表达出来。（这个需要看官方的演示视频才能真切感受，指令一句话，但是生成视频体现出的内容很丰富）
- 在一个视频中创建多镜头，并在多个镜头中保持角色一致、视觉风格一致。
不足
目前的不足：
- 可能难以准确模拟复杂场景的物理原理
- 可能无法理解物体之间的因果关系，例如，一个人可能咬了一口饼干，但之后饼干可能没有咬痕
- 可能会混淆提示的空间信息，例如混淆左右
- 可能难以准确表现随着时间发生的事件，例如遵循指定的相机轨迹
相关技术点
对技术介绍较为浅显，实现方式都不清楚，当前仅作为了解即可，详细情况可以去看官方的技术报告
- Sora 是扩散模型。
- Sora 可以生成视频，或者在原有视频后面扩展。
- 让模型一次进行多帧预测，从而让视频中的主体保持一致，即使短暂离开视频，后面再次出现时与之前一样。（问题：什么是多帧预测？如何实现的？）
- Sora 使用 Transformer 架构。（问题：扩展模型和Transformer是什么关系？）
- 将视频和图像作为较小数据单元的集合，这个小的数据单元叫做 patch，每个 patch 和 GPT 中的 token 类似。（问题：patch 中的视频和图像通过什么形式表现的呢？一个patch有多少数据量呢？）
- 通过统一的数据表现形式，可以训练不同时长、分辨率和纵横比的视频，因此训练数据更为广泛。（问题：如何实现统一表现的呢？）
- Sora 建立在 DALL·E 和 GPT 模型的研究之上。Sora 使用了 DALL·E 3 的重述技术（recaptioning technique），通过为视觉训练数据生成详尽的描述性文字说明，大幅提升了模型对用户在视频生成中文字指令的理解和执行能力，从而能够忠实地实现用户指令的意图。
- Sora 可以根据指定的静态图片生成视频，扩展视频，视频补帧。
影响和意义
OpenAI 官方认为：
Sora 作为能够理解和模拟现实世界的基础模型，这一能力将是实现 AGI 道路上的重要里程碑。
