Executive Summary
一句话结论
OpenMontage 的产品定位更接近“给 AI coding agent 用的视频工厂框架”,而不是普通创作者打开即用的在线剪辑 SaaS。
统计基于本地 OpenMontage 仓库 commit 89d5f1f88b5bc7e60c9bf393d472c133ed7a2645。当前机器 preflight 显示 Remotion、HyperFrames、FFmpeg 三种合成 runtime 均可用,但生成类 API 能力取决于本机 API key 和依赖。
What
OpenMontage 到底是什么
它把视频生产拆成标准工序,让 Agent 按规程工作,而不是让模型凭一句 prompt 自由发挥。
不是单点模型
它不只负责文生视频、图生视频或数字人,而是调度多种工具完成一条完整视频。
不是传统剪辑器
用户不是拖时间线,而是给需求;Agent 负责研究、脚本、素材、剪辑、合成和审查。
是生产框架
它把 pipeline、skills、tools、artifacts、review、checkpoint 组合成可重复流程。
Why
它解决的真实问题
AI 视频的问题不是“能不能生成”,而是“能不能稳定把需求做成可交付内容”。OpenMontage 的设计围绕这个痛点。
| 传统 AI 视频痛点 | OpenMontage 的回答 | 产品意义 |
|---|---|---|
| 一句 prompt 直接生成,结果不可控 | 先 brief、proposal、script、scene_plan,再进入素材生产 | 把创意任务拆成可检查的中间结果 |
| 工具能不能用,到后面才发现 | preflight 先查工具、API、依赖和 runtime | 开工前暴露能力边界,避免中途崩 |
| 模型/供应商切换后没人知道 | 关键选择必须写入 decision_log,变更只能追加记录 | 结果可追溯,适合团队协作和公司自动化 |
| 失败后只能重来 | 每阶段写 checkpoint,并保留历史 | 可恢复、可审计、可复盘 |
| 视频都长得像模板 | 用 composition_mode 区分 templated 和 atelier | 批量内容走效率,品牌内容走定制审美 |
How
底层逻辑:Agent 是控制面,Python 是工具箱
OpenMontage 最关键的架构选择是:不要把流程判断写死在 Python orchestrator 里,而是让 Agent 读取 YAML 和 Markdown 来执行。
| 层级 | 文件/模块 | 负责什么 | 产品含义 |
|---|---|---|---|
| 流程定义 | pipeline_defs/*.yaml |
定义阶段、工具、产物、质检点、人工确认门 | 把视频生产路线显性化 |
| 执行方法 | skills/pipelines/*/*-director.md |
告诉 Agent 每个阶段怎么做、做到什么标准 | 把专家经验写成可读手册 |
| 工具合同 | tools/base_tool.py |
统一工具身份、能力、依赖、成本、输入输出 | 任何新工具都能被系统发现和调度 |
| 工具发现 | tools/tool_registry.py |
自动发现工具,输出 capability menu 和 support envelope | 先知道真实能力,再设计生产方案 |
| 过程状态 | lib/checkpoint.py |
写入、读取、校验、归档每个阶段 checkpoint | 失败可恢复,人工审批可强制执行 |
| 质量治理 | skills/meta/reviewer.md |
每阶段 schema 校验、自审、关键问题修复 | 让质量控制成为流程,不是事后感觉 |
| 可视化面板 | backlot/ |
读取项目文件,展示脚本、素材、成本、门禁和回放 | 把黑盒 Agent 过程变成可看见的生产板 |
Backlot
它还做了一个“生产看板”来降低黑盒感
Backlot 不是额外汇报工具,而是读取 pipeline 写在磁盘上的 artifacts、checkpoints、decision log 和成本信息。这个设计让聊天窗口之外也能看到真实生产状态。
Key Decisions
关键节点判断逻辑
OpenMontage 的核心不只是 pipeline,而是一组“什么时候问用户、什么时候停、什么时候继续、什么时候换工具”的治理规则。
如果用户很模糊,先 onboarding;如果用户给参考视频,先做 reference analysis;如果用户给源素材,走 source-footage 类流程。
目的:先判断任务类型,避免把“参考视频”误当普通搜索,把“源素材剪辑”误当文生视频。
把需求匹配到 pipeline_defs/ 的 manifest。不能判断时必须问用户。
目的:让不同视频类型走不同工序,而不是所有需求都塞进同一个万能流程。
读取 manifest 的工具要求,再用 registry 查当前工具、API key、runtime、依赖和可用供应商。
输出 passed / degraded / blocked。blocked 时不能硬做;degraded 时要告诉用户会损失什么。
proposal 必须呈现概念、工具路线、成本、音乐方案、runtime、composition_mode 和审批点。
目的:让用户在花钱、生成资产、进入不可逆步骤前做选择。
Remotion、HyperFrames、FFmpeg 是合成引擎,不是质量排序。两者可用时必须都给用户看。
目的:不同视觉需求用不同引擎;禁止中途静默换 runtime。
templated 用现成 scene types;atelier 从零手写独特合成。
批量/草稿用 templated;品牌/发布/营销等 hero work 默认 atelier,并明确告知成本更高。
selector 工具按用户偏好、可用性、任务适配、质量、成本、可靠性选择 provider。
目的:不要写死某个模型或 API。工具新增后自动进入 registry 和 selector。
每个 stage 的 human_approval_default 是 manifest 绑定规则。需要审批时 checkpoint 必须是 awaiting_human。
目的:关键创意节点、资产节点和发布节点不允许 Agent 擅自越过。
供应商、模型、runtime 或创意方向出问题时,必须说明尝试了什么、失败原因、下一步选择。
目的:禁止静默降级,尤其禁止把 motion-led 视频偷偷变成静态图动画。
Flow Nesting
它不是很多平级流程,而是 7 层嵌套
最外层是“用户需求到最终成片”的总流程;中间选一条 pipeline;pipeline 里面再跑 stage;每个 stage 又固定嵌入工具选择、产物、评审、审批和 checkpoint。
OpenMontage 总生产系统 ├─ 入口判断 │ ├─ 模糊需求 → onboarding / creative intake │ ├─ 参考视频 → reference analysis │ ├─ 源素材 → source media review │ └─ 明确任务 → pipeline selection ├─ Preflight 工具体检 ├─ 选择 13 条 pipeline 之一 │ ├─ pipeline manifest │ ├─ stage 1 │ │ ├─ director skill │ │ ├─ tool selection │ │ ├─ canonical artifact │ │ ├─ review │ │ └─ checkpoint / approval │ ├─ stage 2 │ └─ stage ... └─ Backlot 读取 artifacts / checkpoints
| 流程层 | 它回答的问题 | 对应文件/机制 | 下一级嵌套 |
|---|---|---|---|
| 总生产流程 | 从用户需求到最终成片,整体怎么走? | AGENT_GUIDE.md |
入口判断 → pipeline selection → preflight → stage 执行 |
| Pipeline 流程 | 这类视频要经历哪些阶段? | pipeline_defs/*.yaml |
research / idea / script / scene_plan / assets / edit / compose / publish |
| Stage 流程 | 某个阶段具体怎么做、做到什么标准? | skills/pipelines/*/*-director.md |
读 skill → 产 artifact → review → checkpoint |
| 工具流程 | 这一阶段用哪个工具、哪个 provider? | tools/tool_registry.py、selector tools |
registry → selector → provider tool → ToolResult |
| 治理流程 | 什么时候停、什么时候问、什么时候不能继续? | reviewer.md、checkpoint-protocol.md、decision_log |
schema 校验 → 自审 → 人工审批 → 状态归档 |
| Pipeline | 内部 stage 顺序 | 特殊嵌套 |
|---|---|---|
animated-explainer |
research → proposal → script → scene_plan → assets → edit → compose → publish | proposal 下可有 sample 子阶段 |
animation |
research → proposal → script → scene_plan → assets → edit → compose → publish | proposal 下可有 sample 子阶段 |
cinematic |
research → proposal → script → scene_plan → assets → edit → compose → publish | proposal 下可有 sample 子阶段 |
character-animation |
research → proposal → script → character_design → rig_plan → scene_plan → assets → edit → compose → publish | 多了角色设计和 rig plan 两个专用阶段 |
screen-demo |
idea → script → scene_plan → assets → edit → compose → publish | 先在 real_capture 和 synthetic_terminal 两种 production mode 里选一种 |
documentary-montage |
idea → scene_plan → assets → edit → compose | 没有 publish 阶段;edit 阶段也要求人审 |
| 其他标准视频 pipeline | idea → script → scene_plan → assets → edit → compose → publish | 包括 talking-head、hybrid、clip-factory、podcast-repurpose、localization-dub、avatar-spokesperson |
一句话:pipeline 是主流程,stage 是 pipeline 的子流程;工具选择、评审、审批、checkpoint 是每个 stage 里的固定内嵌流程。
Pipelines
13 条流水线覆盖的生产场景
这些 manifest 是产品的“路线库”。每条路线都定义自己的阶段、工具、产物、质检和人工确认规则。
| 英文名 | 中文名 | 目标用户 | 现实场景 | 核心诉求 | 具体例子 |
|---|---|---|---|---|---|
cinematic |
电影感短片 / 品牌广告片 | 电商商家、品牌方、营销团队 | 已有商品图、产品图、品牌素材,想做短视频广告或发布 teaser。 | 引流、种草、提升质感、刺激点击。 | 电商商家有一张防晒霜商品图,生成 15 秒抖音引流视频:晒黑痛点 → 商品特写 → 三个卖点 → 进店领券。 |
animated-explainer |
动画解释视频 | 知识博主、教育团队、B2B 公司、产品经理 | 从一个主题或概念出发,做完整讲解视频。 | 讲清楚复杂概念,降低理解门槛。 | AI SaaS 公司做 60 秒视频解释“什么是 RAG”,用于官网、销售转发和客户教育。 |
animation |
动效动画 / 图解动画 | 科普账号、课程团队、技术团队、数据内容团队 | 需要动态图表、动效文字、数学动画、流程图动画。 | 把抽象信息变得直观。 | 财经博主用动态折线图和数字跳动解释“复利为什么越到后面越快”。 |
talking-head |
真人口播剪辑 | 创始人、讲师、播客嘉宾、企业高管 | 已有真人讲话视频,需要整理成更好看的成片。 | 去废话、剪重点、加字幕、增强表达。 | CEO 录了一段 20 分钟战略讲话,剪成 3 分钟精华版发视频号。 |
screen-demo |
软件演示 / 录屏教程 | SaaS 公司、开发者工具、培训团队 | 演示网页、App、桌面软件或 CLI 操作流程。 | 让用户快速看懂产品怎么用。 | 开发者工具公司做 90 秒视频,演示安装 SDK、配置 API Key、跑第一个 demo。 |
clip-factory |
长视频批量切短片 | MCN、直播团队、课程团队、企业内容团队 | 有长视频、直播、访谈、课程,想批量拆成短视频。 | 一份长内容产出多条可分发素材。 | 一场 1 小时直播课,切成 10 条小红书/抖音短视频,每条有独立 hook 和字幕。 |
podcast-repurpose |
播客视频化 | 播客主、访谈节目、知识 IP 团队 | 已有播客音频或视频播客,需要改造成视频内容。 | 把音频内容变成更适合社媒传播的视频。 | 播客里 5 分钟关于 AI Agent 的精彩片段,做成字幕、金句卡和波形动效短视频。 |
hybrid |
混合素材视频 | 品牌方、产品团队、活动团队、纪录片团队 | 已有部分实拍或源素材,但还需要图解、字幕、B-roll、数据卡补充。 | 用 AI 补齐素材表达,让源视频更完整。 | 品牌有工厂实拍视频,但缺少卖点表达,需要加流程图、产品细节放大、数据卡和旁白。 |
avatar-spokesperson |
数字人口播 | 销售团队、培训团队、跨境商家、HR | 需要一个数字人讲解产品、政策、课程或销售话术。 | 快速生成口播,不需要真人出镜。 | 跨境电商团队生成英文数字人,介绍新品卖点,发给海外客户或放在落地页。 |
localization-dub |
多语言本地化 / 配音字幕 | 出海团队、跨境电商、课程公司、全球化品牌 | 已有视频,需要做翻译字幕、配音、不同语言版本。 | 低成本复制多语言内容,保持原视频节奏。 | 一个中文产品介绍视频,生成英文、日文、西班牙文版本,并加对应语言字幕。 |
character-animation |
角色动画 | 少儿教育、品牌 IP、游戏社区、内容团队 | 想让一个可复用卡通角色讲故事、演示流程或做系列内容。 | 角色统一、动作可控、后续可持续复用。 | 教育 App 做一个小狐狸角色,讲解“如何养成英语打卡习惯”,后续每期都用这个角色。 |
documentary-montage |
纪录片式真实素材混剪 | 内容创作者、纪录片团队、品牌故事团队 | 用真实公开视频素材,做主题化、情绪化混剪。 | 真实感、氛围感、主题表达。 | 城市品牌做 75 秒“雨夜城市生活”短片,只用真实街景、人群、交通素材,加音乐和统一调色。 |
framework-smoke |
框架冒烟测试 | 开发者、维护者、测试人员 | 不是正常业务成片,而是测试 OpenMontage 框架是否能跑通。 | 验证 pipeline、artifact schema、checkpoint 机制没有坏。 | 开发者新增一个 pipeline 后,用最小流程确认 schema 校验和 checkpoint 写入正常。 |
业务上可先这样判断:做广告引流选 cinematic;讲概念选 animated-explainer;做动效图解选 animation;剪真人素材选 talking-head;做软件演示选 screen-demo;长内容切短片选 clip-factory。
Users
适合谁,不适合谁
它适合能接受“用 coding agent 驱动生产”的用户,不适合只想在网页上点模板的纯小白用户。
| 用户类型 | 适配度 | 为什么 |
|---|---|---|
| AI builder / 工程型创作者 | 高 | 能读文件、配 API、改 skill、扩工具;OpenMontage 的开放性会变成优势。 |
| 公司内部内容自动化团队 | 高 | 可把 brief、审批、工具选择、成本、产物沉淀接入内部流程。 |
| 营销/产品教育小团队 | 中高 | 适合稳定产出解释视频、产品 demo、发布素材,但需要有人维护环境。 |
| 短视频工作室 | 中 | 批量产出有价值,但如果强依赖人工剪辑手感,现阶段还不是替代品。 |
| 非技术个人创作者 | 低 | 安装、API key、运行时、checkpoint、Agent 协作门槛偏高。 |
| 强合规大型企业 | 待评估 | 开源可控是优势,但 AGPLv3、供应商数据、素材版权和审计体系要单独评估。 |
Competition
相对竞品的优势
它不是在“单模型效果”上直接打所有竞品,而是在“端到端生产治理”上换了战场。
| 竞品类型 | 代表产品 | 竞品强项 | OpenMontage 优势 | OpenMontage 短板 |
|---|---|---|---|---|
| 视频生成模型平台 | Runway、Pika、Luma Dream Machine | 前沿视频模型、视觉质量、镜头生成能力强。 | 不是押单一模型,而是可接多 provider;从脚本、素材、合成到发布全链路编排。 | 单个片段质量取决于外部模型和 API key,不一定超过模型原厂。 |
| 在线剪辑/模板工具 | CapCut、VEED、Descript | 上手快、UI 成熟、模板多、协作和编辑体验好。 | 流程可代码化、可恢复、可审计、可接入公司自动化;更适合批量和定制工作流。 | 不如 SaaS 工具直观,非技术用户学习成本高。 |
| 数字人/本地化平台 | Synthesia、HeyGen | 数字人、口型、翻译、本地化交付成熟。 | 不局限数字人,可做解释视频、纪录片混剪、产品 demo、角色动画和 cinematic。 | 数字人垂直体验、企业模板、合规能力未必比专门平台成熟。 |
| 通用自动化平台 | n8n、Dify、Zapier 类工作流 | 连接器多,适合通用业务流程。 | 视频生产专用:有 pipeline、director skills、review focus、asset manifest、render report。 | 不是通用流程平台,连接企业系统还需要二次开发。 |
第一性原理判断:OpenMontage 的护城河不是“某个视频模型更强”,而是把视频生产从一次性 prompt 变成可治理流程。这个方向更适合公司自动化,而不是单点娱乐生成。
Company Automation
对公司自动化最值得借鉴的部分
如果公司要做自己的内容自动化,不建议直接照搬所有代码。更应该复制它的“生产治理模型”。
| 可借鉴模块 | 应该怎么学 | 原因 |
|---|---|---|
| Pipeline manifest | 把每类内容任务写成独立 YAML:阶段、工具、产物、审批、质检。 | 让需求到执行不再靠人脑临场判断。 |
| Stage director skill | 每个阶段一份执行手册,例如“脚本怎么写”“素材怎么验”。 | 把专家经验沉淀成 Agent 可读规则。 |
| Tool registry | 所有工具声明能力、依赖、成本、输入输出、可用状态。 | 系统能先判断能不能做,而不是做到一半才失败。 |
| Canonical artifacts | 每阶段产物固定结构,例如 brief、script、asset_manifest、render_report。 | 阶段之间靠结构化合同交接,减少口头状态。 |
| Checkpoint + approval gate | 关键节点必须写状态,敏感操作必须等人确认。 | 避免 Agent 擅自花钱、换模型、发布或降级。 |
| Decision log | 模型、供应商、runtime、创意模式、音乐等选择都要记录。 | 便于复盘、审计和团队协作。 |
| Backlot 类可视化 | 做一个读取 artifacts/checkpoints 的生产看板。 | 让业务方能看懂 Agent 正在做什么、卡在哪里。 |
注意:OpenMontage 使用 AGPLv3。公司若改代码并作为网络服务给用户使用,可能触发源码提供义务,正式商用前需要法务确认。
Sources
来源与核验
本报告以本地源码为主,竞品部分参考各产品官网公开信息。
- OpenMontage GitHub
- 本地源码:
AGENT_GUIDE.md、PROJECT_CONTEXT.md、docs/ARCHITECTURE.md - 本地源码:
pipeline_defs/*.yaml、tools/tool_registry.py、tools/base_tool.py - 本地源码:
lib/checkpoint.py、skills/meta/reviewer.md、skills/meta/checkpoint-protocol.md - Runway
- Pika
- Luma Dream Machine
- Descript
- CapCut
- VEED
- Synthesia
- HeyGen