LattifAI 团队 ·

EdgeSpeak:端侧语音 AI 一应俱全——转录、播报、对齐、翻译、音乐、LLM

转录、播报、对齐、音乐生成、翻译,再加上说话人分离和实时语音对话,EdgeSpeak 把整套语音 AI 都放在端侧。一段 26 分钟、4 人轮流发言的发布会录音,在 Apple M5 上 33 秒完成转录、内存峰值约 1.0 GB。

能力不止于转录:346 种语言的强制对齐,38 种语言的本机翻译,11 款播报模型,YuE2 按歌词生成带人声和伴奏的完整歌曲;13 个 MCP 工具让 Claude Code 这类 Agent 直接调用。macOS(Apple Silicon)和 Windows 都有桌面版和 CLI,Linux 提供 CLI,音视频和转录稿都留在你的电脑上。

EdgeSpeak 博客封面:一段 26 分钟的录音进入电脑,33 秒转完

识别准、速度快、占用低

一台显示器旁放着秒表和内存条,屏幕上是整齐的文字行

我们做了大量优化,让本地模型在普通电脑上也能跑得快、识别准:把模型压缩量化到适合端侧的大小;推理引擎分别针对 Apple Silicon 的 Metal、NVIDIA 显卡的 CUDA 和通用的 Vulkan 做了加速,没有独立显卡的电脑也能用 CPU 运行。

开头那段 26 分钟的发布会录音,在 Apple M5 上的完整实测:

项目结果
识别准确率词错误率(WER)6.6%
转录速度33 秒转完,约 48 倍实时
对齐速度已有文稿对到音频,8.8 秒完成
内存占用转录进程峰值约 1.0 GB

在 Windows 上,用 NVIDIA RTX 3060 显卡转录,实时率约 0.04,相当于约 25 倍实时。配置较低的电脑可以选更轻的 Lattice-2 Lite。不同电脑上的耗时会不同。

模型阵容

能力模型
语音识别Lattice-2 Lite / Flash / Pro,三档按电脑配置和精度需求选
强制对齐Lattice-2,覆盖 346 种语言
本机翻译Lattice-2 Lite / Flash / Pro 翻译模型,支持 38 种目标语言,提供翻译 API
语音对话内置 Qwen 与 Gemma 0.6B–27B 多个模型,也可以导入兼容的 GGUF 模型
播报11 款:Qwen3-TTS(0.6B / 1.7B 的 Base、CustomVoice,以及 1.7B VoiceDesign)、FireRedTTS3(Instruct、Base)、OmniVoice、IndexTTS-2.5、VoxCPM2、Breeze-TTS-2,支持流式播报、音色克隆和按描述设计声音
音乐生成YuE2,把歌词生成为带人声和伴奏的完整歌曲,免费使用

模型在应用里按需下载,下载后离线可用。

多语言

EdgeSpeak 的模型从一开始就是多语言的,不只服务中文和英文:

能力语言覆盖
转录40 多种语言,包括中文、粤语、英语、日语、韩语、阿拉伯语、印地语、泰语、越南语和主要欧洲语言
强制对齐346 种语言,同一段文本里混着几种语言也能对齐
翻译38 种目标语言,包括繁体中文和维吾尔语
播报OmniVoice 覆盖语言目录中的全部语言并接受更多 ISO 639 语言;FireRedTTS3 支持 24 种语言和四川话等 21 种汉语方言;Qwen3-TTS 支持 10 种语言

每种语言具体支持哪些能力,见语言指南。

语音识别

一条人声波形流进纸张,纸上是三行带时间戳的转录文字

导入音频或视频,转成带时间的文字稿,支持 40 多种语言,具体范围见语言指南。可以导出纯文本、SRT、VTT 字幕或 JSON。人名、产品名和术语加进词典,转录时更容易识别对,翻译时按你设的写法输出。Lattice-2 分 Lite、Flash、Pro 三档:Lite 占用最少,适合轻薄本;Flash 是默认档,速度和准确率兼顾;Pro 准确率更高。111.7 秒的英文录音,Flash 约 2.6 秒转完。详见语音转文字。

强制对齐

五个长短不同的单词块,各用细线连到下方对应的一段语音波形

已经有台词稿、讲稿或歌词时,不用重新识别,直接把文本对到音频上,得到每个词、每句话的起止时间。对齐覆盖 346 种语言,中文、英文、日语、韩语、欧洲各主要语言以及许多小语种都能用。对齐的用途很多:给视频配上时间精准的字幕;把逐词时间做成卡拉 OK 字幕,每个词随声音高亮,适合歌词视频和语言学习;给有声书、播客和课程录音配上可以点句跳转的文稿;剪辑、配音时快速找到每句话在哪。对齐支持数小时长的音频和文本,整场会议、整本有声书也能直接对上。

对齐比重新识别快得多:20 秒左右的英文或中文录音,逐词对齐约 0.16 秒完成;26 分钟的发布会录音,374 句全部对上,用时 8.8 秒,起点误差的中位数是 40 毫秒。详见强制对齐。短句、60 分钟长音频和中文上的边界误差,以及与 MFA、ElevenLabs、Qwen3-ForcedAligner 的对比,见强制对齐与逐词时间戳评测。

用在视频剪辑里

转录和对齐给出的逐词时间,正好是视频剪辑需要的数据。口播、访谈、课程和播客视频可以按文字稿剪:在稿子里找到要删的口误、重复和长停顿,就知道该剪掉哪一段画面;挑出金句,按起止时间切成短视频。导出的 SRT 字幕可以直接导入 Premiere Pro、Final Cut Pro、DaVinci Resolve 等剪辑软件,不用逐句手动打轴。

说话人分离

圆桌旁三个人各有不同颜色的对话气泡,下方转录稿按颜色分段

会议、访谈和播客里,转录稿会标出每句话是哪位说话人说的,方便整理成对话稿。说话人分离和转录在同一次请求里完成,几乎不增加等待:111.7 秒的录音,加上说话人标注只比单纯转录多约 0.2 秒。详见说话人分离。

翻译

一张英文转录稿卡片分出三路,连到中文、日语、法语三张译文卡片

转录和对齐的结果可以直接在本机翻译,支持 38 种目标语言,包括繁体中文。翻译用的是专门训练的本机翻译模型 Lattice-2 Lite / Flash / Pro,下载后离线可用;它只做翻译,不改写、不总结。译文保留原文的时间轴,可以在原文、对照、译文三种视图间切换,导出时选择原文和译文的排布方式。常见用途:把外语视频、课程做成中文或双语字幕;会议和访谈稿翻给不同语言的同事;外语播客、发布会转录后翻成母语来读。翻译前可以用一两句话说明录音讲什么,选择自然、口语或忠实的翻译风格;词典里的人名、产品名按你设的写法译出。需要纠错、润色时,也可以换成你自己配置的商业模型服务。详见本地翻译转录稿和翻译要求怎么写。

本地网关同样提供翻译 API:在 Chat Completions 或 Responses 请求里加上 translation 参数,写明目标语言和翻译风格,就会调用本机翻译模型。MCP 工具和 Realtime 同声传译使用同一种写法。详见翻译 API 文档。

JSON
{
  "model": "EdgeSpeak/Lattice-2-Flash",
  "input": "欢迎来到今天的发布会。",
  "translation": { "target_language": "ja", "style": "natural" }
}

语音理解与对话

戴耳机的人对着麦克风说话,对面的音箱用语音回应,两条波形一来一回

对着麦克风说话,AI 模型听懂后用语音回答。可以选语言陪练、角色扮演等人设,比如选语言陪练后说:「请扮演咖啡店店员,用英语和我练习点单。」切到同声传译,说一种语言,听到另一种语言。

开发者也可以用同样的能力做自己的语音应用:本地网关提供 Realtime API(WebSocket),支持实时语音对话和插话打断,也可以只做实时转录。对话里的语言模型可以从 0.6B 到 27B 按电脑配置选,在 Windows 的 RTX 3060 上用 Vulkan 运行,生成速度约每秒 173 个 token。详见语音对话和 Realtime API 文档。

播报与音乐生成

文稿进入播报设备,面板上印着 OmniVoice、Qwen3-TTS 等六个播报模型名,喇叭向外放出声音

输入文字,生成语音,边生成边播放,也可以导出 WAV。播报接入了 11 款当前前沿的开源模型,来自 Qwen3-TTS、FireRedTTS3、OmniVoice、IndexTTS-2.5、VoxCPM2、Breeze-TTS-2 六个系列,各有所长,可以按语言、音色和速度挑选;新的优秀模型出现后,我们会持续接入。除了内置音色,选择支持相应能力的模型后,还可以用一段清晰的参考录音创建自己的音色,或者用文字描述想要的声音。

播报同样做了流式和加速优化:在 Apple M5 Ultra 上,Qwen3-TTS 0.6B 合成一段 31 个词的英文,约 60 到 90 毫秒就开始出声,约 2.1 秒生成完 11 秒左右的语音;在 NVIDIA 显卡上,FireRedTTS3 生成语音的耗时约为音频时长的 0.26 倍。详见播报。

用歌词生成歌曲

标着 Verse 和 Chorus 的歌词纸化作乐谱纸带,流进中心印着 YuE2 的唱片

播报页还内置了音乐模型 YuE2。写好带 [Verse]、[Chorus] 等段落标签的歌词,再用一句话描述曲风、人声和配器,就能在本机生成一首带人声和伴奏的完整歌曲,输出 48 kHz 双声道音频。生成前可以先让模型规划一份乐谱,查看、修改后再生成,也可以粘贴自己的 ABC 乐谱。用 YuE2 生成歌曲免费,不消耗额度。

我们为 YuE2 换了新的采样方法 AB3:默认 14 步,只需 15 次模型计算,生成的音频和 32 步参考结果几乎一致(信噪比约 29 dB)。在 Apple Silicon 上,声音生成和解码这一段的耗时从约 1.5 倍歌曲时长缩短到约 0.67 倍,接近实时(不含开头的旋律规划和模型加载)。在 NVIDIA RTX 4090 上,一首 22.3 秒的歌约 9.1 秒生成完。YuE2 权重沿用原作者的 CC BY-NC 4.0 许可,仅限非商业用途。

下面这首歌由 YuE2 在本机生成。生成后,我们用 EdgeSpeak 的强制对齐把歌词对到歌声上,得到每个词的起止时间,再导出逐词高亮的卡拉 OK 字幕,烧进视频。画面里的频谱和波形随音乐实时变化,标题区写的是这次使用的模型参数。一首歌从生成、对齐到字幕,都在同一台电脑上完成。

YuE2 本地生成的英文歌曲,逐词卡拉 OK 字幕由 EdgeSpeak 强制对齐生成。

本地网关:完备的语音文本能力

一台印着 127.0.0.1:1117 的网关设备,六根绿线连到转录、对齐、播报、LLM、翻译、实时语音六块牌子

打开桌面 App,本地网关就在 http://127.0.0.1:1117/v1 运行;也可以用 edgespeak-cli serve 单独启动,不需要桌面 App。网关沿用 OpenAI 的接口写法,转录、对齐、播报、LLM、翻译、实时语音都在同一个地址:

能力接口
转录、说话人分离/v1/audio/transcriptions、/v1/speaker/diarizations
强制对齐/v1/audio/alignments
播报、创建音色/v1/audio/speech、/v1/audio/voices
LLM 对话、翻译、看图/v1/responses、/v1/chat/completions、/v1/messages
实时语音对话/v1/realtime(WebSocket)
Agent 工具/mcp

这些能力平时往往要分别开通几家云服务、分别付费。有了本地网关,语音和 LLM 的基础能力都在本机,不必再为它们另外购买 API 服务;已有的 OpenAI SDK 代码,把基础地址换成本机地址就能调用。需要给局域网里其他可信机器用时,也可以启动 Headless 服务。网关能做什么、两种运行方式怎么选,见本地语音网关介绍;接口细节见 API 文档。

与 Agent 结合使用

屏幕上是 claude mcp add edgespeak 命令,桌上摆着 MCP、CLI、API 三块积木,一个小助手把录音磁带递过去

EdgeSpeak 提供 13 个 MCP 工具,覆盖转录、对齐、说话人分离、播报和本地语言模型。在 Claude Code 等支持 MCP 的 Agent 里注册一次,就能直接用自然语言让 Agent 处理录音:比如「把这个文件夹里的会议录音都转成文字,按说话人整理成纪要」,或者「给这段视频生成逐词字幕」。安装 EdgeSpeak Agent Skill 后,Agent 还能按完整流程完成转录、分句、对齐和字幕导出。

和 Claude Code 一起剪视频,是很顺手的组合:Claude Code 本身会调用 FFmpeg 处理视频,EdgeSpeak 补上「听懂视频」这一步,给它每个词的起止时间。你可以直接说「把这段访谈里的口误和超过两秒的停顿剪掉」「把讲到定价的几段切出来做成短视频,配上逐词字幕」,Agent 先用 EdgeSpeak 转录、对齐,再按时间戳剪辑、烧字幕,整个过程都在本机完成。

Shell
claude mcp add edgespeak -- edgespeak-cli mcp

详见 MCP 文档。

隐私

电脑屏幕显示 ON DEVICE 和盾牌,录音与文稿都放在本机的木托盘里,远处的云和电脑之间的线是断开的

语音识别、对齐、说话人分离和播报都由本机模型完成,音视频、转录稿和词典只保存在你的设备上,不会上传到任何服务器。适合处理客户录音、内部会议、访谈等敏感内容。联网只用于登录、激活 license 和下载模型;语音对话中如果选用云端模型,该部分会由对应服务处理。详见隐私说明。

开始使用

从下载页安装桌面版,登录后在应用里下载需要的模型。免费方案可以直接试用;也可以一次性买断 license,永久使用,包含后续模型和语音能力更新,最多可激活 4 台设备。各方案额度和价格见定价页。

← 全部文章