You think.
AI does.

VoiceStudio 安装使用完整教程(2026年最新)

VoiceStudio:完全本地运行的开源语音克隆、配音与有声书生产平台

开源工具教程 · Open Source Tutorial

VoiceStudio 安装使用完整教程
(2026 年最新)

16 个 TTS 引擎、11 个 ASR 引擎跑在你自己的机器上,不注册、不计费、不限流

栏目AIToolPush · 开源教程
阅读时间约 13 分钟
GitHub25,316 Stars
协议AGPL-3.0

语音克隆、视频配音、听写、有声书、批量生成——这些通常被打包成「按字符计费 + 按分钟计量」的能力,VoiceStudio 把它们整套搬回本地:一个桌面应用、一套跑在 localhost:3900 的后端、16 个 TTS 引擎与 11 个 ASR 引擎可热切换,语言目录覆盖到 646 种。仓库 2026 年 4 月创建(曾用名 OmniVoice-Studio),目前 25,316 Stars,Python 实现,AGPL-3.0,官方对本地工作流的描述很干脆:不需要账号、API Key、订阅或用量计量。这篇教程带你从安装跑到第一条克隆音色,再走通 OpenAI 兼容接口与 MCP 接入——同时把代价说清楚:云端替你扛的算力和运维,现在得自己扛。

⚠️ 温馨提示:许可分两层,务必分清:应用本体是 AGPL-3.0,下载的模型保留各自上游条款,默认引擎 OmniVoice 的预训练权重标注为 CC-BY-NC,音频 tokenizer 另有社区条款,商用前必须逐个核对所选模型。本地工作流不联网也能跑,音色、项目、设置与产出默认留在本机。零样本克隆请先拿到说话人的明确授权;应用默认集成 AudioSeal 不可听水印。项目仍处于 Active beta,稳定使用请取 latest release。
01

🔧 准备工作

Preparation

官方把硬件要求拆成「最小」与「推荐」两列,并强调需求随引擎变化,这组数字覆盖的是默认本地工作流。真正卡住大多数人的是两条:操作系统版本和显存。

  1. 平台——macOS 13.3 及以上的 Apple Silicon;Windows 10/11 x64;Linux x86_64 需要 glibc 2.39 及以上。Intel Mac 跑不了本地 Python 后端(当前 PyTorch wheel 不可用),官方给的出路是连远程 backend。
  2. 内存与磁盘——RAM 最小 8 GB、推荐 16 GB 以上;磁盘最小 10 GB 可用空间、推荐 20 GB 以上 SSD。模型权重是要落到你硬盘上的。
  3. 算力——GPU 是可选的,CPU 模式受支持。要用 GPU:加速工作的 VRAM 下限 4 GB,默认多阶段工作流建议 8 GB 以上,较大的可选引擎会要 12 到 16 GB 甚至更多。CUDA、Apple Silicon 的 MPS/MLX、Linux 上的 ROCm、CPU 都能路由;ROCm 仅 Linux 且需显式开启,Windows 上的 AMD/Ryzen AI 走 CPU。
  4. 源码运行才需要——Node 20 及以上或 Bun,外加 Python 3.11 及以上(推荐 3.11 或 3.12)。装桌面应用的话这些都不用碰。
02

📦 安装步骤详解

Installation

官方推荐的路径只有一句:从 latest release 下包,再看对应平台的安装指南。三种装法各有适用场景,Docker 那条命令是原文照抄。

Step 1桌面应用:按平台取包

macOS 用 Apple Silicon 的 DMG,Windows 用 x64 的 MSI(列表里有 current-user 构建时,选它就不需要管理员权限),Linux 用 AppImage。首次启动会创建一个托管的 Python 环境并下载默认模型,之后每次启动都复用这两样,所以第一次会明显慢一些。macOS 首次打开需要右键再点「打开」放行一次。

Step 2Docker 一行拉起后端

发布的镜像只有 linux/amd64。Apple Silicon 上官方建议直接用原生 macOS 应用拿 GPU 加速,ARM64 主机拉镜像前要先读架构要求。

ShellQuick Docker run
docker run -d -p 127.0.0.1:3900:3900 -v omnivoice-data:/app/omnivoice_data --name voicestudio palashdeb/omnivoice-studio:stable

Step 3从源码跑

桌面启动器会在首次运行时用 uv 自动配好 Python 依赖;想在浏览器里看 UI 用 bun run dev。

ShellRun from source
git clone https://github.com/debpalash/VoiceStudio.git
cd VoiceStudio
bun install
bun run desktop
⚠️ 温馨提示:不想装也能先试音——官方提供了一个 Google Colab notebook,可以在云端 GPU 上跑起应用和 Web UI。但性质要认清:Colab 属远程算力,上传的音频与项目数据不会留在你自己机器上。

03

🎙 第一条声音与工作台

First Voice

Voice 工作区一开始就是三个标签页,分别对应三条独立工作流,每个标签页下方把「Synthesize Audio」或「Convert」固定在滚动表单之外。顶栏的 Engines 面板把引擎选择、已加载模型、卸载与 flush 控制整合在一处,快捷键 Ctrl/Cmd+E 打开——换引擎不用重启应用。

  1. From audio(克隆)——打开 Voice Cloning,放一段干净的人声样本。官方说明 3 秒就能用,5 到 15 秒通常给出更好的提示效果;然后输入文本、选语言、Generate。
  2. By design(造音色)——不参考任何真人,用年龄、口音、音高、风格与演绎指令描述出一个音色,适合旁白、播报这类需要稳定人设的场景。
  3. Convert(语音到语音)——把一段已有录音转成另一个音色,保留原有节奏与说法。
Video Dubbing

文件上传或 URL 导入,转写、翻译、保留说话人、合成并导出视频;Projects 面板列出以往配音,点卡片任意位置即可重开。高级导入可带字幕,并支持可选的 YouTube 登录。

Stories & Audiobooks

多音色脚本、EPUB/PDF 导入、按章节渲染、导出 .m4b。脚本编辑器占满工具条下方工作区,Voices 与 Book settings 各占独立标签。

Dictation Widget

系统级快捷键、实时转写,可选用本地 LLM 做文本清理。配套的 Rust 控制 sidecar 让编码 agent、VS Code、桌面应用与 TUI 也能触发这套听写流程。

Batch Queue

给大批音频与视频任务排队并查看逐项进度,也可以监听一个本地文件夹,有新视频就自动入队。

分离与水印

人声分离走 Demucs,说话人分离用 Pyannote 与 WhisperX;生成侧默认嵌入 AudioSeal 不可听水印并支持检测。

Model Catalogue

安装、移除、选择并路由 TTS、ASR 与 LLM 模型;GPU 自动检测覆盖 CUDA、MPS、ROCm 与 CPU,并按引擎逐一校验。

04

⚖️ 引擎与算力:取舍在这里

Engines & Trade-offs

先把最容易误读的一处说清:646 种语言是「目录」层面的覆盖,官方明确注明实际覆盖与质量取决于所选引擎。落到具体引擎,差距非常大——默认引擎(由 k2-fsa/OmniVoice 驱动)与 OmniVoice GGUF 标称 600+ 语言并支持克隆与指令控制;CosyVoice 3 是 9 种语言加 18 种方言;VoxCPM2 约 30 种;GPT-SoVITS 只有 5 种;KittenTTS 仅英文且不支持克隆。ASR 侧同理:默认的 WhisperX 约 100 种语言、适合配音与字幕的词级时间戳,FunASR 标称 50+,Moonshine 只支持英文但低功耗低延迟。引擎支持是按能力划分的,官方要求选型前先核对克隆、语言、平台、显存与许可这五项。

还有一条容易被忽略的行为约定:不支持克隆的引擎遇到配音或固定音色的批量任务时,VoiceStudio 会直接拒绝任务,而不是悄悄换一个引擎——宁可失败,也不给你一条音色被偷换的成品。

维度 VoiceStudio 典型托管语音服务
最适合 私有、离线、自托管或高容量场景 不想管本地模型、要快速上线
数据路径 默认本地,远程功能需显式开启 音频与文本由服务商处理
成本模型 软件免费,硬件自备 订阅、额度或按调用计量
安装 装应用 + 下模型权重 注册即用 Web 或 API
性能 取决于你选的引擎和硬件 服务商负责算力与扩容
离线 装好所需模型后可离线 通常需要联网
可定制 源码、引擎、模型、API、路由全开放 限于服务商提供的选项
维护 更新、磁盘、算力自己管 基础设施由服务商管

* 内容取自 README 的 Comparison 一节。官方一句话概括这次交换:用托管云算力换本地控制权。

VoiceStudio 的 Model Catalogue:引擎、设备与安装状态集中在一个面板里
Model Catalogue 面板:引擎、设备与安装状态集中可见,这也是本地方案最直观的复杂度来源。

既然算力由你出,官方按硬件给了推荐组合,这基本就是选型答案卷:

硬件 推荐 TTS 推荐 ASR
Apple Silicon(M1–M4) MLX-Audio · OmniVoice(MPS) MLX Whisper · Parakeet MLX
NVIDIA GPU(8 GB+ 显存) OmniVoice · CosyVoice 3 WhisperX
低显存 / 纯 CPU PocketTTS · Sherpa-ONNX · KittenTTS Moonshine · Faster-Whisper(int8)

* 理由分别为:Apple Silicon 统一内存、macOS 上延迟最低;CUDA 侧高保真零样本克隆、词级时间戳与说话人分离;CPU 侧低内存占用与优化过的推理。

WhisperX 与 Faster-Whisper 在拿不到 float16 时会退回 int8;只有自动选择仍然失败时才需要手动固定 ASR_COMPUTE_TYPE。显存紧张时系统会按需把负载卸到 CPU,慢就慢一点,不至于直接不可用。

05

🌐 架构与网络边界

Architecture

桌面壳是 Tauri v2(Rust),UI 是 React + Vite,两者走 IPC;UI 再用 localhost:3900 上的 HTTP、SSE 与 WebSocket 打给 FastAPI 后端,状态落在 SQLite(Alembic 迁移)与 omnivoice_data/ 目录里。

TextREADME · Architecture
Tauri v2 desktop shell (Rust)
        │ IPC
React + Vite UI
        │ HTTP · SSE · WebSocket on localhost:3900
FastAPI backend
        ├── TTS / ASR engine registries
        ├── dubbing / audio / long-form pipelines
        ├── OpenAI-compatible API and MCP server
        └── SQLite + Alembic → omnivoice_data/

README 里「Network boundary」这一节值得逐条读,它是判断「本地」这个词含金量多少的依据:桌面端只与 localhost:3900 的回环后端通信;回环 API 调用不需要任何服务端密钥,而一旦要远程访问,就必须提供 share PIN 或 API key;远程 worker 与 OpenAI 兼容 ASR 都是显式开启的可选项,回环 ASR 可以走 HTTP 且音频留在机器上,非回环端点则强制 HTTPS 且不跟随重定向;分析统计在你同意之前一直是关闭的,即使开启也只发送白名单内、不含内容的用量元数据,绝不会发送文本、音频、文件名或项目。

接口层面,它同时是一台本地语音平台和一个 OpenAI 兼容端点:

POST /v1/audio/speech

文本转语音,输出 mp3、opus、aac、flac、wav、pcm;用 voice 选本地音色档位,用 model 选引擎。

POST /v1/audio/transcriptions

语音转文字,返回 json、text、verbose_json、srt 或 vtt。

WS /v1/audio/transcriptions/stream

实时 PCM/WebM 转写,带 partial、utterance 与 session-final 三类事件。

GET /.well-known/voicestudio-speech

发现接口,列出 HTTP、WebSocket、MCP 与原生听写控制这几种传输方式。

GET /v1/audio/voices

列出本机已保存的音色档位与可用引擎。

把 OpenAI 客户端的 base_url 从云端换成回环地址即可接管:

PythonOpenAI 兼容 SDK
from openai import OpenAI

client = OpenAI(base_url="http://localhost:3900/v1", api_key="local")

with client.audio.speech.with_streaming_response.create(
    model="tts-1",
    voice="<profile-id>",
    # 音色档位与引擎分别由 voice / model 指定
    input="Made on my own hardware.",
    response_format="wav",
) as response:
    response.stream_to_file("speech.wav")
cURL起好后端后的快速自测
# Quick test via cURL
curl http://localhost:3900/v1/audio/speech \
  -H "Content-Type: application/json" \
  -d '{"model": "tts-1", "input": "Made on my own hardware.", "voice": "default", "response_format": "wav"}' \
  --output speech.wav

完整 API 参考内置在应用里,路径是 Settings → OpenAPI Reference。如果要走局域网、Tailscale 或代理暴露后端,官方要求先读 API 认证文档再动手。

06

🤖 进阶:接进 Agent 生态

MCP & Agent Skills

VoiceStudio 在 http://localhost:3900/mcp 挂载了一个 MCP 服务,供 Claude Desktop、Cursor 及其他 AI agent 使用,暴露的工具是 generate_speech、clone_voice、transcribe,并支持不同的文件流式模式。多数客户端一段 URL 配置就够:

JSONMCP · HTTP 传输
{
  "mcpServers": {
    "voicestudio": {
      "url": "http://localhost:3900/mcp"
    }
  }
}

只接受 stdio 传输的客户端,可以用仓库自带的本地 shim(配置在 docs/mcp.json):

JSONMCP · stdio 兜底
{
  "mcpServers": {
    "voicestudio": {
      "command": "python",
      "args": ["-m", "backend.mcp_shim"],
      "cwd": "/path/to/VoiceStudio"
    }
  }
}

另一条入口是 skills:一条 npx skills add debpalash/VoiceStudio 就能把两个技能装进 Claude Code、Codex、Cursor 等兼容 skills.sh 的 agent——omnivoice 负责通过本地 VoiceStudio 合成语音与转写音频,oss-maintainer 是仓库自身的开源维护工作流。再往上一层是可选的远程 worker:带鉴权的远程算力与任务传输,模型可以安装到已注册的远程 worker 上并显示实时进度,算是给「本地控制 + 借别人的算力」留的一扇门。

07

✅ 验证与排错

Verification

装完先跑自检,别急着排错。README 的「If setup fails」给了固定顺序。

  1. 自检——Settings → About → Run self-check,或命令行走深度诊断。
  2. 查安装排错文档与引擎指南——重型引擎有各自独立的显存与平台限制,先看引擎指南再拉模型。
  3. 提 issue 前打包诊断信息——从应用里保存一份脱敏过的 diagnostic bundle。
  4. 生成太慢——对照官方实测 benchmarks 与 performance 设置调引擎,而不是盲目换硬件。
  5. 彻底清理——macOS/Linux 用 scripts/uninstall.sh,Windows 用 scripts\uninstall.ps1,两者都会先显示一次 dry run 再删除。
Shell深度诊断
uv run python backend/main.py --diagnose --deep
🛡 注意:README 顶部挂着一条 WARNING:Electron 重写正在进行中,请不要创建与桌面应用相关的 issue 和 PR。这条优先级很高——桌面端出问题先看仓库说明,别急着提单。其次是版本纪律:项目是 Active beta,稳定使用要取 latest release,main 分支含最新修复且可能在版本之间变动。再往下是几个具体坑:Docker 镜像只有 linux/amd64;Intel Mac 跑不了本地后端;卸载脚本与安装文档中的平台路径差异建议逐条对照。

08

🛡 常见问题解答

FAQ

Q1:真的要注册、买订阅或申请 API Key 吗?

本地工作流不需要账号、API Key、订阅或用量计量,回环 API 调用也不需要服务端密钥。只有当你主动要远程访问后端,才需要配置 share PIN 或 API key;应用没有付费档位,作者接受捐赠维持开发与基础设施。

Q2:646 种语言是不是每个引擎都能说?

不是。646 是语言目录的覆盖数,官方明确注明实际覆盖与质量取决于所选引擎。默认引擎标称 600+,但 CosyVoice 3 是 9 种语言加 18 种方言,GPT-SoVITS 只有 5 种,KittenTTS 仅英文,Supertonic 3 约 31 种且不支持克隆。选型时按引擎表格逐项核对,比看总数字靠谱。

Q3:没有 NVIDIA 显卡能用吗?

能,CPU 模式受支持,官方为低显存与纯 CPU 环境指定了组合:TTS 用 PocketTTS、Sherpa-ONNX 或 KittenTTS,ASR 用 Moonshine 或 int8 量化的 Faster-Whisper。有 Apple Silicon 就走 MLX/MPS;有 8 GB 以上显存的 NVIDIA 卡才上 OmniVoice 与 CosyVoice 3 这类高保真路线。

Q4:生成的音频能商用吗?

分两层看。应用许可本身不限制你对生成音频的售卖,但它不代为授予模型上游条款下的权利:默认 OmniVoice 仓库把预训练权重标为 CC-BY-NC,tokenizer 另有社区条款;IndexTTS 2.5 在超过 1 亿月活或 10 亿元年营收时需要 Bilibili 的单独书面许可;PocketTTS 是 gated 的 CC-BY-4.0。商用前逐个核对所选模型条款,官方也提供 VoiceStudio 自有代码的商业许可,但不涉及第三方模型的重许可。

Q5:它会不会把我的音频传出去?

默认不回传:音色、项目、设置与产出都留在本机,后端只监听回环地址,网络依赖型功能全是显式 opt-in。分析统计在你同意前保持关闭,开启后也仅发送白名单内、不含内容的用量元数据,不含文本、音频、文件名与项目。两个例外要自己心里有数:配置了远程 worker 或外部 ASR 端点时数据会离开设备;用官方 Colab 试用本身就是远程算力。

Q6:它现在能当生产环境用吗?

官方定位是 Active beta,并建议稳定使用取 latest release;同时桌面端正在做 Electron 重写、暂不接受桌面相关 issue 与 PR。也就是说能力面已经很宽(多引擎、配音、有声书、批量、MCP、OpenAI 兼容接口),但发布纪律与桌面壳仍在变动期。生产落地前先固定版本号,并按官方 benchmarks 自己压一轮性能。

◆ 项目信息

◆ ◆ ◆

未经允许不得转载:AI智汇具 - AI工具推荐与技能教程_好用的AI工具大全 » VoiceStudio 安装使用完整教程(2026年最新)

评论 抢沙发

登录

找回密码

注册