Open-Sora：高效视频生成的开源计划——文生视频 · 图生视频…

一、Open-Sora 是什么

（一）它要解决什么

Open-Sora 是 hpcaitech（潞晨科技）发起的一项开源计划，官方定位是「Democratizing Efficient Video Production for All」——让高质量视频生成所需的模型、工具与全部细节对所有人开放。README 原文强调它「not only democratizes access to advanced video generation techniques, but also offers a streamlined and user-friendly platform」，把视频生成的复杂度简化下来。它不是一个闭源产品，而是把视频生成的完整链路（数据预处理、训练加速、推理）都开源出来，让开发者可以下载、复现乃至改造。

（二）「高效」体现在哪

README 反复强调 efficient（高效）。它借助 ColossalAI 的并行加速，在 1.0 时代仅用 3 天训练就能产出 2 秒 512×512 视频；官方称训练成本较早期降低 46%，后来的技术报告进一步把视频生成模型的开发成本砍掉 50%。到 2.0 版本，则以约 20 万美元的训练开销训出一个 11B 模型，在 VBench 与人类偏好评测上追平商业级模型。换句话说，「高效」既指训练速度，也指把原本只有大厂才负担得起的训练成本压了下来。

关于「能看到什么」，README 的 Latest Demo 给出了 5s 1024×576、576×1024 等多种分辨率的成片样例（仓库里以压缩 GIF 展示，原画质与对应 prompt 在 Gallery 站 hpcaitech.github.io/Open-Sora 可查）。1.3 时代的 Demo 已能产出 720×1280 的竖屏短片，2.0 则在电影感与人物一致性上明显更稳——这也是它敢喊「商业级」的底气来源。需要提醒的是，README 里那些动图都是为方便展示而降采样过的，真要看效果得去 Gallery 看原片。

二、版本演进：从 1.0 到 2.0

按 README 的 News 时间线，这个项目在一年多里完成了四次关键跳变：

• 2024.03.18 的 1.0：首个全开源视频生成项目，支持从数据预处理到推理的完整 pipeline；
• 2024.04.25 的 1.1：支持 2s~15s、144p 到 720p、任意宽高比，并加入图生视频、视频生视频与无限时长；
• 2024.06.17 的 1.2：引入 3D-VAE、rectified flow（修正流）与 score condition，画质大幅提升；
• 2025.02.20 的 1.3：1B 模型，升级 VAE 与 Transformer 架构；
• 2025.03.12 的 2.0：11B 模型，在 VBench 与人类偏好上对标 11B HunyuanVideo 与 30B Step-Video，且完全开源 checkpoints 与训练代码。

项目仍处于活跃开发，main 分支为最新版，旧版本保留在各自分支（v1.0~v1.3），方便需要稳定老版本的人回溯。

三、能生成什么：T2V、I2V 与无限时长

（一）文本生视频（T2V）

2.0 的 11B 模型同时支持 256px 与 768px 分辨率，同一个模型即可做 T2V 与 I2V。README 指出，为获得高质量视频，它借助 Flux 文生图模型搭出「文生图 → 图生视频」的级联管线。推理命令形如：

torchrun --nproc_per_node 1 --standalone scripts/diffusion/inference.py \
  configs/diffusion/inference/t2i2v_256px.py --save-dir samples --prompt "raining, sea"

可用 –aspect_ratio 调整比例（支持 16:9、9:16、1:1、2.39:1），用 –num_frames 控制时长（取值须为 4k+1 且小于 129）。直接文生视频则用 configs/diffusion/inference/256px.py。分辨率上，256px 更省显存、适合快速验证创意，768px 画质明显更好但单卡要吃 60GB 显存——实际选型就是在「快」和「清楚」之间取舍，多卡能把 768px 的耗时从 1656 秒压到 276 秒，所以生产环境基本离不开并行。

（二）图像生视频与视频生视频

给定一张参考图与 prompt，加 –cond_type i2v_head 即可做图生视频；也支持视频生视频（video-to-video）。README 强调它把 text-to-image、text-to-video、image-to-video、video-to-video、infinite time（无限时长）全部纳入同一框架，配合 CSV 批量文件还能一次跑多个 prompt，适合规模化产出。这里的「无限时长」特别适合做循环镜头或长镜头拼接：先用短片段生成，再靠 video-to-video 把上一段的尾帧接成下一段的头，逐步拉长而不必一次撑满显存。

四、模型从哪来：全开源的训练与权重

这是 Open-Sora 区别于许多「只放 demo」项目的核心。11B 模型权重同时发布在 Huggingface（hpcai-tech/Open-Sora-v2）与 ModelScope（luchentech/Open-Sora-v2），下载命令分别是：

huggingface-cli download hpcai-tech/Open-Sora-v2 --local-dir ./ckpts
modelscope download hpcai-tech/Open-Sora-v2 --local_dir ./ckpts

训练代码、数据预处理与加速逻辑都留在仓库内，配套 docs/train.md、docs/ae.md、docs/hcae.md 等技术报告，可以逐步复现或基于自己的数据微调模型，而不必从零开始。其中 docs/train.md 讲如何从头训练或微调，docs/ae.md 讲视频自编码器的训练与评测，docs/hcae.md 讲高压缩视频自编码器；旧版本的对应报告（report_01~04）则留在各自分支，方便对照不同代际的架构取舍。Huggingface 与 ModelScope 两份权重内容一致，国内用户拉 ModelScope 通常更快；若只做推理，把目录指给推理脚本即可，不一定要读训练代码。

五、性能与成本：20 万美元训练出商业级模型

README 的 Evaluation 给出硬指标：在 VBench 排行榜上，Open-Sora 2.0 与 OpenAI Sora 的差距，从 1.2 时代的 4.52% 缩小到 0.69%；人类偏好评测（Win Rate）显示它与 11B HunyuanVideo、30B Step-Video 同档。关键在于成本——技术报告标题直接写着「Training a Commercial-Level Video Generation Model in $200k」。对一个商业级视频模型而言，20 万美元的训练预算把门槛从「大厂专属」拉到中小团队也可触及。2.0 还开源了 checkpoints 与训练代码，意味着你不必自己从头训练，直接拿权重推理即可。

六、推理可控性：运动分数、Prompt 精修与可复现

除了「能生成」，README 的 Advanced Usage 还给出三条控制手段，让输出更可控：

• 运动分数（Motion Score）：训练时已把 motion score 注入文本 prompt，推理时可用 –motion-score 设定（默认 4）；还提供动态评估器，设置 OPENAI_API_KEY 后用 –motion-score dynamic 评估视频运动强度；
• Prompt Refine：调用 ChatGPT 精修 prompt（–refine-prompt True），对 T2V 与 I2V 都生效；
• 可复现：–sampling_option.seed 42 –seed 42 固定随机种子，–num-sample k 为每个 prompt 生成 k 个样本，方便对比与回归。

有一点要留意：运动分数的「动态评估器」和 Prompt Refine 都依赖外部大模型——前者要设 OPENAI_API_KEY 才能评估视频运动强度，后者直接调 ChatGPT 精修文本。也就是说，纯本地推理只覆盖 T2V / I2V 本身，想要「自动调运动感」或「自动润色提示词」这类增强，还得接一个 LLM API。对只在内网跑、不联外网的场景，这两条可以暂时不用。

七、安装与快速上手

前置：用 conda 创建 python=3.10 环境，且 torch>=2.4.0。安装命令：

conda create -n opensora python=3.10
conda activate opensora
git clone https://github.com/hpcaitech/Open-Sora
cd Open-Sora
pip install -v .
pip install xformers==0.0.27.post2 --index-url https://download.pytorch.org/whl/cu121
pip install flash-attn --no-build-isolation

可选安装 flash-attention 3 进一步加速。之后把权重克隆到 ./ckpts，用上面的 torchrun 命令即可开始推理。注意推理需要可观的显存，256px 单卡约 52.5GB 峰值，可加 –offload True 用卸载降低占用。若想试 flash-attention 3（针对 Hopper 架构更快），README 给的是从源码装：git clone https://github.com/Dao-AILab/flash-attention 后进入 flash-attention/hopper 跑 python setup.py install——这条仅对 H 系列卡有意义，普通消费级显卡用 flash-attn 2 即可。

八、计算效率与硬件配置

README 在 H100/H800 上测了 T2V 效率，数据格式为「总时长(s) / 峰值显存(GB)」：

• 256×256：1 卡 60/52.5，2 卡 40/44.3，4 卡 34/44.3（用 ColossalAI 张量并行 + offload）；
• 768×768：1 卡 1656/60.3，8 卡 276/44.3（用序列并行）。

结论很清楚：多卡并行能显著压低单卡显存与耗时；768px 想上生产建议 8 卡，256px 在高端单卡配合 offload 也可跑通。

对中小团队而言，这套数字的意义是「可选项变多了」：过去要追商业级视频质量，要么买闭源 API、要么自己从头训（成本常达千万级）；现在可以拉 11B 权重直接推理，或基于开源训练代码用自有数据微调，把预算压到 20 万美元量级甚至更低。门槛仍在 GPU，但「能不能做」已经不是问题——这正是「民主化的视频生产」最实在的一层含义。

九、开源协议与生态

Open-Sora 采用 Apache-2.0 协议。项目建立在 ColossalAI、DiT、OpenDiT、PixArt、Flux、Latte、HunyuanVideo、StabilityAI VAE、DC-AE、CLIP、T5、LLaVA、PLLaVA、MiraData 等开源工作之上，并在 Acknowledgement 中逐一致谢。社区通过 Discord、Slack、X 与微信维护，新版本几乎每周都有动作，main 分支移动很快。

技术报告方面，1.0~2.0 各代都有对应 arXiv 论文（如 2.0 的 arXiv:2503.09642，标题正是「Training a Commercial-Level Video Generation Model in $200k」），想抠架构细节的读者可顺着引用链读原 paper。对只想用权重的普通用户，论文不是必读，但能帮你理解 3D-VAE、rectified flow 这些组件为什么这么设计——当你自己微调时，这些背景会少走很多弯路。

十、总结

Open-Sora 的价值不在「又一个视频模型」，而在把「商业级视频生成」从闭源黑箱变成可下载、可训练、可审计的开源资产。20 万美元训练、11B 权重全开源、VBench 差距 0.69%，这三件事加在一起，让它成为想自研或二次开发视频生成能力的团队的高价值起点。对只想体验文生视频的创作者，直接拉权重跑推理，门槛也足够低。

在撰写本文的过程中，我主要参考了以下来源：GitHub 仓库 hpcaitech/Open-Sora 的 README、官方技术报告（arXiv:2503.09642、2412.20404）与 Gallery（hpcaitech.github.io/Open-Sora）。文中数据（Star 数、模型规模、VBench 差距、训练成本等）以仓库公开信息为准，可能随版本更新而变化。