VideoLingo: 连接世界的每一帧
QQ 群:875297969
🌟 简介(在线体验! (opens in a new tab))
VideoLingo 是一站式视频翻译本地化配音工具,能够一键生成 Netflix 级别的高质量字幕,告别生硬机翻,告别多行字幕,还能加上高质量的克隆配音,让全世界的知识能够跨越语言的障碍共享。
主要特点和功能:
-
🎥 使用 yt-dlp 从 Youtube 链接下载视频
-
🎙️ 使用 Qwen3-ASR + ForcedAligner 进行单词级时间轴字幕识别
-
📝 使用 NLP 和 GPT 根据句意进行字幕分割
-
📚 GPT 总结提取术语知识库,上下文连贯翻译
-
🔄 三步直译、反思、意译,媲美字幕组精翻效果
-
✅ 按照 Netflix 标准检查单行长度,绝无双行字幕
-
🗣️ 使用 GPT-SoVITS 等方法对齐克隆配音
-
🚀 整合包一键启动,在 streamlit 中一键出片
-
📝 详细记录每步操作日志,支持随时中断和恢复进度
与同类项目相比的优势:绝无多行字幕,最佳的翻译质量,无缝的配音体验
🎥 效果演示
语言支持
输入语言支持:
🇺🇸 英语 🤩 | 🇷🇺 俄语 😊 | 🇫🇷 法语 🤩 | 🇩🇪 德语 🤩 | 🇮🇹 意大利语 🤩 | 🇪🇸 西班牙语 🤩 | 🇯🇵 日语 😐 | 🇨🇳 中文* 😊
*本地识别使用 Qwen3-ASR(默认 1.7B,可选 0.6B)。
翻译语言支持所有语言,配音语言取决于选取的TTS。
安装
VideoLingo 支持 Windows、macOS(Apple Silicon / Intel)和 Linux。
让本地 AI Agent 帮你安装 🤖
如果你的 AI Agent 可以操作这台电脑,直接告诉它:
帮我安装 GitHub 上的 Huanshere/VideoLingo,并启动它。
Windows:双击安装 🎉
- 从最新版本页面 (opens in a new tab)下载 Source code (zip),解压到桌面等方便找到的位置,并打开文件夹。
- 双击
OneKeyStart.bat,保持窗口打开。首次运行会自动安装 uv、Python 3.12、应用依赖和 FFmpeg,需要联网。 - 安装完成后,VideoLingo 会自动在浏览器中打开。在侧栏填写 API 地址、密钥和模型,就可以开始使用了。
从源码安装(Windows、macOS、Linux)
git clone https://github.com/Huanshere/VideoLingo.git && cd VideoLingo
uv run start.py以后在 VideoLingo 文件夹中运行 uv run start.py 即可启动。
Docker
Linux NVIDIA 容器使用 Docker、兼容驱动和 NVIDIA Container Toolkit。镜像采用相同的 Python 3.12 安装流程,详见 Docker 文档:
docker build -t videolingo .
docker run -d -p 8501:8501 --gpus all videolingoAPI
本项目支持 OpenAI-Like 格式的 api 和多种配音接口:
- 自行选择兼容 OpenAI Chat Completions、能返回结构化 JSON 的服务和模型,在侧栏配置 API 地址、密钥和模型。
edge-tts,openai-tts,siliconflow-fishtts,fish-tts,GPT-SoVITS
详细的安装、 LLM 配置和使用说明可以参见文档:English | 简体中文
当前限制
-
转录和词级时间轴可能受到视频背景声影响。对于背景音乐较大的视频,请开启人声分离增强:Qwen3-ASR 仍对原始音频转写,ForcedAligner 用分离出的人声对齐。对齐后的词会按启发式规则贴回标点,少数情况下个别词可能丢失标点。
-
使用较弱模型时容易在中间过程报错,这是因为对响应的 json 格式要求较为严格。如果出现此错误,请删除
output文件夹后更换 llm 重试,否则重复执行会读取上次错误的响应导致同样错误。 -
配音功能由于不同语言的语速和语调差异,还受到翻译步骤的影响,可能不能 100% 完美,但本项目做了非常多的语速上的工程处理,尽可能保证配音效果。
-
多语言视频转录识别只对主要语言可靠,对齐时每个音频窗口只使用一种语言,其他语言的文字和时间轴不保证准确。
-
无法多角色分别配音,识别环节不区分说话人。
📄 许可证
本项目采用 Apache 2.0 许可证,衷心感谢以下开源项目的贡献:
Qwen3-ASR (opens in a new tab), MLX Audio (opens in a new tab), whisperX (opens in a new tab), yt-dlp (opens in a new tab), json_repair (opens in a new tab), BELLE (opens in a new tab)
📬 联系我们
- 加入我们的 QQ 群寻求解答:875297969
- 在 GitHub 上提交 Issues (opens in a new tab) 或 Pull Requests (opens in a new tab)
- 关注我的 Twitter:@Huanshere (opens in a new tab)
- 联系邮箱:team@videolingo.io