🚀 开始使用

目前支持 3 种模式：

1. preset: 使用固定音色，可以在 官网Playground (opens in a new tab) 试听，默认 anna。
2. clone(stable): 对应 fishtts api 的 custom，使用一段上传音频的音色，会自动采集视频前十秒声音作为音色使用，音色一致性更好。
3. clone(dynamic): 对应 fishtts api 的 dynamic，在 tts 过程使用每一句作为参考音频，可能出现音色不一致，但效果更好。

声音列表可以在 官网 (opens in a new tab) 找到，例如 alloy, echo, nova等，在 config.yaml 中修改 openai_tts.voice 即可。

建议在 在线体验 (opens in a new tab) 中试听选择你想要的声音，在右边的代码中可以找到该声音对应的代号，例如 zh-CN-XiaoxiaoMultilingualNeural

前往 官网 (opens in a new tab) 中试听选择你想要的声音，在 URL 中可以找到该声音对应的代号，例如丁真是 54a5170264694bfc8e9ad98df7bd89c3，热门的几种声音已添加在 config.yaml 中。如需使用其他声音，请在 config.yaml 中修改 fish_tts.character_id_dict 字典。

1. 前往 官方的语雀文档 (opens in a new tab) 查看配置要求并下载整合包。

2. 将 GPT-SoVITS-v2-xxx 与 VideoLingo 放在同一个目录下。注意是两文件夹并列。

3. 选择以下任一方式配置模型：

   a. 自训练模型：

   • 训练好模型后， GPT-SoVITS-v2-xxx\GPT_SoVITS\configs 下的 tts_infer.yaml 已自动填写好你的模型地址，将其复制并重命名为 你喜欢的英文角色名.yaml
   • 在和 yaml 文件同个目录下，放入后续使用的参考音频，命名为 你喜欢的英文角色名_参考音频的文字内容.wav 或 .mp3，例如 Huanyuv2_你好，这是一条测试音频.wav
   • 在 VideoLingo 网页的侧边栏中，将 GPT-SoVITS 角色 配置为 你喜欢的英文角色名。

   b. 使用预训练模型：

   • 从 这里 (opens in a new tab) 下载我的模型，解压后覆盖到 GPT-SoVITS-v2-xxx。
   • 在 GPT-SoVITS 角色 配置为 Huanyuv2。

   c. 使用其他训练好的模型：

   • 将 xxx.ckpt 模型文件放在 GPT_weights_v2 文件夹下，将 xxx.pth 模型文件放在 SoVITS_weights_v2 文件夹下。

   • 参考方法 a，重命名 tts_infer.yaml 文件，并修改文件中的 custom 部分的 t2s_weights_path 和 vits_weights_path 指向你的模型，例如：

     # 示例 法 b 的配置：
     t2s_weights_path: GPT_weights_v2/Huanyu_v2-e10.ckpt
     version: v2
     vits_weights_path: SoVITS_weights_v2/Huanyu_v2_e10_s150.pth

   • 参考方法 a，在和 yaml 文件同个目录下，放入后续使用的参考音频，命名为 你喜欢的英文角色名_参考音频的文字内容.wav 或 .mp3，例如 Huanyuv2_你好，这是一条测试音频.wav，程序会自动识别并使用。

   • ⚠️ 警告：请使用英文命名 角色名 ，否则会出现错误。 参考音频的文字内容 可以使用中文。目前仍处于测试版，可能产生报错。

   # 期望的目录结构：
   .
   ├── VideoLingo
   │   └── ...
   └── GPT-SoVITS-v2-xxx
       ├── GPT_SoVITS
       │   └── configs
       │       ├── tts_infer.yaml
       │       ├── 你喜欢的英文角色名.yaml
       │       └── 你喜欢的英文角色名_参考音频的文字内容.wav
       ├── GPT_weights_v2
       │   └── [你的GPT模型文件]
       └── SoVITS_weights_v2
           └── [你的SoVITS模型文件]

配置完成后，注意在网页侧边栏选择 参考音频模式（具体原理可以参考语雀文档），VideoLingo 在配音步骤时会自动在弹出的命令行中打开 GPT-SoVITS 的推理 API 端口，配音完成后可手动关闭。注意，此方法的稳定性取决于选择的底模。