VoiceStudio 安装使用完整教程
(2026 年最新)
语音克隆、视频配音、听写、有声书、批量生成——这些通常被打包成「按字符计费 + 按分钟计量」的能力,VoiceStudio 把它们整套搬回本地:一个桌面应用、一套跑在 localhost:3900 的后端、16 个 TTS 引擎与 11 个 ASR 引擎可热切换,语言目录覆盖到 646 种。仓库 2026 年 4 月创建(曾用名 OmniVoice-Studio),目前 25,316 Stars,Python 实现,AGPL-3.0,官方对本地工作流的描述很干脆:不需要账号、API Key、订阅或用量计量。这篇教程带你从安装跑到第一条克隆音色,再走通 OpenAI 兼容接口与 MCP 接入——同时把代价说清楚:云端替你扛的算力和运维,现在得自己扛。
🔧 准备工作
Preparation
官方把硬件要求拆成「最小」与「推荐」两列,并强调需求随引擎变化,这组数字覆盖的是默认本地工作流。真正卡住大多数人的是两条:操作系统版本和显存。
- 平台——macOS 13.3 及以上的 Apple Silicon;Windows 10/11 x64;Linux x86_64 需要 glibc 2.39 及以上。Intel Mac 跑不了本地 Python 后端(当前 PyTorch wheel 不可用),官方给的出路是连远程 backend。
- 内存与磁盘——RAM 最小 8 GB、推荐 16 GB 以上;磁盘最小 10 GB 可用空间、推荐 20 GB 以上 SSD。模型权重是要落到你硬盘上的。
- 算力——GPU 是可选的,CPU 模式受支持。要用 GPU:加速工作的 VRAM 下限 4 GB,默认多阶段工作流建议 8 GB 以上,较大的可选引擎会要 12 到 16 GB 甚至更多。CUDA、Apple Silicon 的 MPS/MLX、Linux 上的 ROCm、CPU 都能路由;ROCm 仅 Linux 且需显式开启,Windows 上的 AMD/Ryzen AI 走 CPU。
- 源码运行才需要——Node 20 及以上或 Bun,外加 Python 3.11 及以上(推荐 3.11 或 3.12)。装桌面应用的话这些都不用碰。
📦 安装步骤详解
Installation
官方推荐的路径只有一句:从 latest release 下包,再看对应平台的安装指南。三种装法各有适用场景,Docker 那条命令是原文照抄。
Step 1桌面应用:按平台取包
macOS 用 Apple Silicon 的 DMG,Windows 用 x64 的 MSI(列表里有 current-user 构建时,选它就不需要管理员权限),Linux 用 AppImage。首次启动会创建一个托管的 Python 环境并下载默认模型,之后每次启动都复用这两样,所以第一次会明显慢一些。macOS 首次打开需要右键再点「打开」放行一次。
Step 2Docker 一行拉起后端
发布的镜像只有 linux/amd64。Apple Silicon 上官方建议直接用原生 macOS 应用拿 GPU 加速,ARM64 主机拉镜像前要先读架构要求。
docker run -d -p 127.0.0.1:3900:3900 -v omnivoice-data:/app/omnivoice_data --name voicestudio palashdeb/omnivoice-studio:stable
Step 3从源码跑
桌面启动器会在首次运行时用 uv 自动配好 Python 依赖;想在浏览器里看 UI 用 bun run dev。
git clone https://github.com/debpalash/VoiceStudio.git cd VoiceStudio bun install bun run desktop
🎙 第一条声音与工作台
First Voice
Voice 工作区一开始就是三个标签页,分别对应三条独立工作流,每个标签页下方把「Synthesize Audio」或「Convert」固定在滚动表单之外。顶栏的 Engines 面板把引擎选择、已加载模型、卸载与 flush 控制整合在一处,快捷键 Ctrl/Cmd+E 打开——换引擎不用重启应用。
- From audio(克隆)——打开 Voice Cloning,放一段干净的人声样本。官方说明 3 秒就能用,5 到 15 秒通常给出更好的提示效果;然后输入文本、选语言、Generate。
- By design(造音色)——不参考任何真人,用年龄、口音、音高、风格与演绎指令描述出一个音色,适合旁白、播报这类需要稳定人设的场景。
- Convert(语音到语音)——把一段已有录音转成另一个音色,保留原有节奏与说法。
文件上传或 URL 导入,转写、翻译、保留说话人、合成并导出视频;Projects 面板列出以往配音,点卡片任意位置即可重开。高级导入可带字幕,并支持可选的 YouTube 登录。
多音色脚本、EPUB/PDF 导入、按章节渲染、导出 .m4b。脚本编辑器占满工具条下方工作区,Voices 与 Book settings 各占独立标签。
系统级快捷键、实时转写,可选用本地 LLM 做文本清理。配套的 Rust 控制 sidecar 让编码 agent、VS Code、桌面应用与 TUI 也能触发这套听写流程。
给大批音频与视频任务排队并查看逐项进度,也可以监听一个本地文件夹,有新视频就自动入队。
人声分离走 Demucs,说话人分离用 Pyannote 与 WhisperX;生成侧默认嵌入 AudioSeal 不可听水印并支持检测。
安装、移除、选择并路由 TTS、ASR 与 LLM 模型;GPU 自动检测覆盖 CUDA、MPS、ROCm 与 CPU,并按引擎逐一校验。
⚖️ 引擎与算力:取舍在这里
Engines & Trade-offs
先把最容易误读的一处说清:646 种语言是「目录」层面的覆盖,官方明确注明实际覆盖与质量取决于所选引擎。落到具体引擎,差距非常大——默认引擎(由 k2-fsa/OmniVoice 驱动)与 OmniVoice GGUF 标称 600+ 语言并支持克隆与指令控制;CosyVoice 3 是 9 种语言加 18 种方言;VoxCPM2 约 30 种;GPT-SoVITS 只有 5 种;KittenTTS 仅英文且不支持克隆。ASR 侧同理:默认的 WhisperX 约 100 种语言、适合配音与字幕的词级时间戳,FunASR 标称 50+,Moonshine 只支持英文但低功耗低延迟。引擎支持是按能力划分的,官方要求选型前先核对克隆、语言、平台、显存与许可这五项。
还有一条容易被忽略的行为约定:不支持克隆的引擎遇到配音或固定音色的批量任务时,VoiceStudio 会直接拒绝任务,而不是悄悄换一个引擎——宁可失败,也不给你一条音色被偷换的成品。
| 维度 | VoiceStudio | 典型托管语音服务 |
|---|---|---|
| 最适合 | 私有、离线、自托管或高容量场景 | 不想管本地模型、要快速上线 |
| 数据路径 | 默认本地,远程功能需显式开启 | 音频与文本由服务商处理 |
| 成本模型 | 软件免费,硬件自备 | 订阅、额度或按调用计量 |
| 安装 | 装应用 + 下模型权重 | 注册即用 Web 或 API |
| 性能 | 取决于你选的引擎和硬件 | 服务商负责算力与扩容 |
| 离线 | 装好所需模型后可离线 | 通常需要联网 |
| 可定制 | 源码、引擎、模型、API、路由全开放 | 限于服务商提供的选项 |
| 维护 | 更新、磁盘、算力自己管 | 基础设施由服务商管 |
* 内容取自 README 的 Comparison 一节。官方一句话概括这次交换:用托管云算力换本地控制权。

既然算力由你出,官方按硬件给了推荐组合,这基本就是选型答案卷:
| 硬件 | 推荐 TTS | 推荐 ASR |
|---|---|---|
| Apple Silicon(M1–M4) | MLX-Audio · OmniVoice(MPS) | MLX Whisper · Parakeet MLX |
| NVIDIA GPU(8 GB+ 显存) | OmniVoice · CosyVoice 3 | WhisperX |
| 低显存 / 纯 CPU | PocketTTS · Sherpa-ONNX · KittenTTS | Moonshine · Faster-Whisper(int8) |
* 理由分别为:Apple Silicon 统一内存、macOS 上延迟最低;CUDA 侧高保真零样本克隆、词级时间戳与说话人分离;CPU 侧低内存占用与优化过的推理。
WhisperX 与 Faster-Whisper 在拿不到 float16 时会退回 int8;只有自动选择仍然失败时才需要手动固定 ASR_COMPUTE_TYPE。显存紧张时系统会按需把负载卸到 CPU,慢就慢一点,不至于直接不可用。
🌐 架构与网络边界
Architecture
桌面壳是 Tauri v2(Rust),UI 是 React + Vite,两者走 IPC;UI 再用 localhost:3900 上的 HTTP、SSE 与 WebSocket 打给 FastAPI 后端,状态落在 SQLite(Alembic 迁移)与 omnivoice_data/ 目录里。
Tauri v2 desktop shell (Rust)
│ IPC
React + Vite UI
│ HTTP · SSE · WebSocket on localhost:3900
FastAPI backend
├── TTS / ASR engine registries
├── dubbing / audio / long-form pipelines
├── OpenAI-compatible API and MCP server
└── SQLite + Alembic → omnivoice_data/
README 里「Network boundary」这一节值得逐条读,它是判断「本地」这个词含金量多少的依据:桌面端只与 localhost:3900 的回环后端通信;回环 API 调用不需要任何服务端密钥,而一旦要远程访问,就必须提供 share PIN 或 API key;远程 worker 与 OpenAI 兼容 ASR 都是显式开启的可选项,回环 ASR 可以走 HTTP 且音频留在机器上,非回环端点则强制 HTTPS 且不跟随重定向;分析统计在你同意之前一直是关闭的,即使开启也只发送白名单内、不含内容的用量元数据,绝不会发送文本、音频、文件名或项目。
接口层面,它同时是一台本地语音平台和一个 OpenAI 兼容端点:
文本转语音,输出 mp3、opus、aac、flac、wav、pcm;用 voice 选本地音色档位,用 model 选引擎。
语音转文字,返回 json、text、verbose_json、srt 或 vtt。
实时 PCM/WebM 转写,带 partial、utterance 与 session-final 三类事件。
发现接口,列出 HTTP、WebSocket、MCP 与原生听写控制这几种传输方式。
列出本机已保存的音色档位与可用引擎。
把 OpenAI 客户端的 base_url 从云端换成回环地址即可接管:
from openai import OpenAI client = OpenAI(base_url="http://localhost:3900/v1", api_key="local") with client.audio.speech.with_streaming_response.create( model="tts-1", voice="<profile-id>", # 音色档位与引擎分别由 voice / model 指定 input="Made on my own hardware.", response_format="wav", ) as response: response.stream_to_file("speech.wav")
# Quick test via cURL curl http://localhost:3900/v1/audio/speech \ -H "Content-Type: application/json" \ -d '{"model": "tts-1", "input": "Made on my own hardware.", "voice": "default", "response_format": "wav"}' \ --output speech.wav
完整 API 参考内置在应用里,路径是 Settings → OpenAPI Reference。如果要走局域网、Tailscale 或代理暴露后端,官方要求先读 API 认证文档再动手。
🤖 进阶:接进 Agent 生态
MCP & Agent Skills
VoiceStudio 在 http://localhost:3900/mcp 挂载了一个 MCP 服务,供 Claude Desktop、Cursor 及其他 AI agent 使用,暴露的工具是 generate_speech、clone_voice、transcribe,并支持不同的文件流式模式。多数客户端一段 URL 配置就够:
{
"mcpServers": {
"voicestudio": {
"url": "http://localhost:3900/mcp"
}
}
}
只接受 stdio 传输的客户端,可以用仓库自带的本地 shim(配置在 docs/mcp.json):
{
"mcpServers": {
"voicestudio": {
"command": "python",
"args": ["-m", "backend.mcp_shim"],
"cwd": "/path/to/VoiceStudio"
}
}
}
另一条入口是 skills:一条 npx skills add debpalash/VoiceStudio 就能把两个技能装进 Claude Code、Codex、Cursor 等兼容 skills.sh 的 agent——omnivoice 负责通过本地 VoiceStudio 合成语音与转写音频,oss-maintainer 是仓库自身的开源维护工作流。再往上一层是可选的远程 worker:带鉴权的远程算力与任务传输,模型可以安装到已注册的远程 worker 上并显示实时进度,算是给「本地控制 + 借别人的算力」留的一扇门。
✅ 验证与排错
Verification
装完先跑自检,别急着排错。README 的「If setup fails」给了固定顺序。
- 自检——Settings → About → Run self-check,或命令行走深度诊断。
- 查安装排错文档与引擎指南——重型引擎有各自独立的显存与平台限制,先看引擎指南再拉模型。
- 提 issue 前打包诊断信息——从应用里保存一份脱敏过的 diagnostic bundle。
- 生成太慢——对照官方实测 benchmarks 与 performance 设置调引擎,而不是盲目换硬件。
- 彻底清理——macOS/Linux 用
scripts/uninstall.sh,Windows 用scripts\uninstall.ps1,两者都会先显示一次 dry run 再删除。
uv run python backend/main.py --diagnose --deep
main 分支含最新修复且可能在版本之间变动。再往下是几个具体坑:Docker 镜像只有 linux/amd64;Intel Mac 跑不了本地后端;卸载脚本与安装文档中的平台路径差异建议逐条对照。🛡 常见问题解答
FAQ
Q1:真的要注册、买订阅或申请 API Key 吗?
本地工作流不需要账号、API Key、订阅或用量计量,回环 API 调用也不需要服务端密钥。只有当你主动要远程访问后端,才需要配置 share PIN 或 API key;应用没有付费档位,作者接受捐赠维持开发与基础设施。
Q2:646 种语言是不是每个引擎都能说?
不是。646 是语言目录的覆盖数,官方明确注明实际覆盖与质量取决于所选引擎。默认引擎标称 600+,但 CosyVoice 3 是 9 种语言加 18 种方言,GPT-SoVITS 只有 5 种,KittenTTS 仅英文,Supertonic 3 约 31 种且不支持克隆。选型时按引擎表格逐项核对,比看总数字靠谱。
Q3:没有 NVIDIA 显卡能用吗?
能,CPU 模式受支持,官方为低显存与纯 CPU 环境指定了组合:TTS 用 PocketTTS、Sherpa-ONNX 或 KittenTTS,ASR 用 Moonshine 或 int8 量化的 Faster-Whisper。有 Apple Silicon 就走 MLX/MPS;有 8 GB 以上显存的 NVIDIA 卡才上 OmniVoice 与 CosyVoice 3 这类高保真路线。
Q4:生成的音频能商用吗?
分两层看。应用许可本身不限制你对生成音频的售卖,但它不代为授予模型上游条款下的权利:默认 OmniVoice 仓库把预训练权重标为 CC-BY-NC,tokenizer 另有社区条款;IndexTTS 2.5 在超过 1 亿月活或 10 亿元年营收时需要 Bilibili 的单独书面许可;PocketTTS 是 gated 的 CC-BY-4.0。商用前逐个核对所选模型条款,官方也提供 VoiceStudio 自有代码的商业许可,但不涉及第三方模型的重许可。
Q5:它会不会把我的音频传出去?
默认不回传:音色、项目、设置与产出都留在本机,后端只监听回环地址,网络依赖型功能全是显式 opt-in。分析统计在你同意前保持关闭,开启后也仅发送白名单内、不含内容的用量元数据,不含文本、音频、文件名与项目。两个例外要自己心里有数:配置了远程 worker 或外部 ASR 端点时数据会离开设备;用官方 Colab 试用本身就是远程算力。
Q6:它现在能当生产环境用吗?
官方定位是 Active beta,并建议稳定使用取 latest release;同时桌面端正在做 Electron 重写、暂不接受桌面相关 issue 与 PR。也就是说能力面已经很宽(多引擎、配音、有声书、批量、MCP、OpenAI 兼容接口),但发布纪律与桌面壳仍在变动期。生产落地前先固定版本号,并按官方 benchmarks 自己压一轮性能。
◆ 项目信息
官网:voicestudio.sh;文档入口见 README 的 Documentation 一节(安装、引擎指南、性能、基准、MCP、API 认证)
下载:latest release(macOS · Windows · Linux)
最快上手:
docker run -d -p 127.0.0.1:3900:3900 -v omnivoice-data:/app/omnivoice_data --name voicestudio palashdeb/omnivoice-studio:stable

AI智汇具 - AI工具推荐与技能教程_好用的AI工具大全






