hoelee-blog/src/content/posts/zh/how-i-built-an-automated-music-video-pipeline.md at 419c962e2f9c31b16ce979235bffeff9e08452a7

0 Fork 0

Files

T

Deploy / build (push) Successful in 25s

Details

feat(architecture): implement consultant review r4 (stream separation, nav upgrade, internal cta, schema & anchor fixes)

2026-10-27 01:19:38 +08:00

8.6 KiB

Raw Blame History

title, description, pubDate, updatedDate, category, stream, tags, ogImage, banner, draft

title

description

pubDate

updatedDate

1. 端到端执行流程与耗时分解

为了诚实呈现系统的实际吞吐能力，而不是笼统承诺“三分钟搞定一切”，以下是针对 4 分 21 秒（261 秒）1080P 30fps 曲目的实测端到端耗时：

阶段	处理流程与工具	实测耗时	是否真正无人值守？
1. 歌词声学对齐	`faster-whisper`（词级时间戳）+ 能量起始峰值锁定	14.2 秒	✅ 100% 自动
2. 构图与留白核验	4x2 分镜拼图生成 + 左右留白侧校验（`sides.json`）	2.1 秒	⚠️ 建议 1 键人工核对
3. Remotion 1080P 渲染	Remotion CLI（30 fps，H.264，7830 帧，i9-13900K + RTX 3060）	218.3 秒	✅ 100% 自动
4. Docker 容器落盘	Portainer Docker Archive API tar 流写入（128.85 MB 视频 + 封面）	1.89 秒	✅ 100% 自动
5. YouTube 自动化发布	Chrome CDP 自动化（注入文件、填充简介、勾选公开）	32.4 秒	✅ 100% 自动
6. 多语种字幕处理	大模型批量翻译（8 语 × 56 句）+ CDP 自动上架发布	48.6 秒	✅ 100% 自动
全流程总计	从音频文件到油管 8 语公开发布	约 5.3 分钟	98% 自动化

4 分钟视频的渲染阶段在我们的工作站上用时 218.3 秒（约 3.6 分钟），随后的入库、发布与 8 语字幕处理约 1 分多钟。在分镜留白侧确认无误后，后续全链路无需任何人工交互。

2. 整体系统架构

整个自动化系统分为四个完全解耦的层级：

[原始 MP3 音频 + 文本歌词]
        │
        ▼
1. 声学起唱对齐（Whisper 词级时间戳 + 声学起唱校准 -> LRC + SRT）
        │
        ▼
2. 动态 React 视频合成（Remotion 1080P 30fps）
   ├─ 动态环形音频动效（320px 基础半径 -> 380px 低频弹性外扩 + 72 根跳动频谱柱）
   ├─ 三行平滑滚动歌词（留白侧智能滑动与人物避让）
   └─ 纯净透明度叠化背景（1.8s 贝塞尔曲线过渡，彻底杜绝抖动）
        │
        ▼
3. 容器免鉴权落盘（Portainer Docker Archive API -> 容器 /config/Downloads）
        │
        ▼
4. YouTube 自动化发布（远程 Chrome DevTools Protocol / Playwright）
   ├─ 自动挂载视频与封面 cover.jpg
   ├─ 自动填充标题、简介、SEO 标签与官网/业务联络方式
   ├─ 穿透发布向导，选择公开（Public）发布
   └─ 调度大模型翻译并自动挂载发布 8 国外挂字幕（英、日、韩、西、法、德、马、繁中）

3. 解决歌唱声学字幕对齐难题

AI 歌唱音频中普遍存在拖音、转音、颤音和节奏弹性拉伸。如果直接用常规语音转写工具识别，伴奏强烈的鼓点和乐器声往往会导致整句唱词被漏掉。

为了让咬字对齐落在渲染帧这一级，管线采用了基于已知歌词的声学起唱对齐（Forced Acoustic Onset Alignment）：

以人工确认的标准歌词作为基准锚点；
调用本地 faster-whisper 并开启词级时间戳（word_timestamps=True）；
针对每行歌词，锁定首字真实发音起振的能量起跑点，校准字幕起止点。

这样产出的 .lrc 与 .srt 具备声学校准精度，无论歌手怎么拖长音，高亮提示总是在唱出第一个辅音的瞬间精准点亮。

4. Remotion 留白侧人物避让算法

在采用插画背景的 MV 中，一个常见痛点是歌词遮挡画面主角。如果某一镜小仙女画在画面右侧，歌词依然居中或靠右就会直接盖在人物脸上。

为了从根本上规避遮挡，管线引入了 sides.json 留白侧定义文件：

["left", "right", "left", "right", "left", "right", "left", "right"]

在 Remotion 合成组件（MusicVideo.tsx）中，音频环与歌词容器由统一的动态坐标驱动：

const getSideX = (idx: number) => {
  const side = sides[idx] || (idx % 2 === 0 ? 'left' : 'right');
  return side === 'left' ? 540 : 1380;
};

在每张分镜结束前的 1.8 秒内，歌词与音频环使用贝塞尔缓动平滑横向滑移。在下一张图片淡入之前，文字已平稳就位在留白侧，右侧人物与景物 100% 毫无遮挡。

5. 远程 YouTube CDP 上传通道

视频在本地 Windows 工作站上渲染，而已登录 YouTube 账号的浏览器运行在 DSM NAS 上的独立 Docker 容器（chrome2）中。

为了无需人工扫码或重新授权即可完成上架：

Docker 归档落盘：130MB 的 MP4 视频与封面图片通过 Portainer REST API 打包成 tar 流直接 PUT 写入容器文件系统（/config/Downloads），2 秒内完成落盘，彻底规避 CDP 协议的内存上限；
CDP 节点注入：通过 Playwright 接入 CDP（ws://192.168.1.1:9242），直接向 DOM 的文件输入节点注入容器路径：

cdp.send("DOM.setFileInputFiles", {
    "files": ["/config/Downloads/国风电子 糖画小仙.mp4"],
    "nodeId": video_node["nodeId"],
})

多语种字幕调度：字幕翻译自动化脚本将基准 SRT 提取为纯文本行数组，通过本地 OmniRoute 大模型网关翻译为 8 种语言，并调用 CDP 遍历 YouTube Studio 后台，自动创建语言并发布所有外挂字幕轨。

6. 经验与教训

渲染与发布必须解耦：早期版本尝试过一边渲染一边推流或直接向浏览器传 buffer，编码器稍有波动就会导致浏览器连接重置。先在磁盘写出完整 MP4 再通过归档传输，两道环节互不牵连，容错率极高。
合成前必须进行九宫格审查：正式渲染全片前，先生成一张全分镜缩略拼图快速校验，肉眼确认每一张图的留白侧标记完全吻合，避免全片渲染数分钟后才发现有一处文字挡了人物。

想为你的业务打造类似的系统吗？

我专注于自动化音视频制作管线、AI 音乐与多媒体创作流，以及基于 Docker / NAS 的自托管自动化基础设施搭建。

无论你是需要自动化媒体制作系统，还是需要定制全栈软件工具：

8.6 KiB Raw Blame History Unescape Escape