音乐生成

写好歌词,在本机生成一首完整的歌

在播报页选 YuE2,写歌词、描述曲风和人声,就能生成带人声和伴奏的歌曲。

直接答案

EdgeSpeak 内置音乐模型 YuE2:输入带 [Verse]、[Chorus] 等段落标签的歌词,再用一句话描述曲风、人声和配器,就能在你的电脑上生成 48 kHz 双声道的完整歌曲。用 YuE2 生成免费,不消耗额度;权重沿用原作者的许可,仅限非商业用途。

歌词加一句曲风

歌词里用 [Verse]、[Chorus] 等标签标出段落,演唱语言跟随歌词。曲风、人声特征和配器写成一句话,例如「独立民谣,温暖男声,带气声,木吉他伴奏」。

先看乐谱,再生成

生成前可以让模型先规划一份 ABC 乐谱(旋律,可附和弦),看过、改过再生成;也可以粘贴自己写的 ABC 乐谱。

生成要多久

在 Apple Silicon 上,声音生成和解码约为歌曲时长的 0.67 倍,不含开头的旋律规划和模型加载。在 NVIDIA RTX 4090 上,一首 22.3 秒的歌约 9.1 秒生成完。

配上逐词卡拉 OK 字幕

生成的歌可以直接用 EdgeSpeak 的强制对齐,把歌词对到歌声上,得到每个词的起止时间,再导出逐词高亮的卡拉 OK 字幕。

也能用本地 API 调用

本地网关的 /v1/audio/speech 接受 m-a-p/YuE2-3B,请求要带 buffered-speech: 1 请求头;也可以一次返回音频和乐谱。

curl http://127.0.0.1:1117/v1/audio/speech -H "Authorization: Bearer $EDGESPEAK_API_KEY" -H "Content-Type: application/json" -H "buffered-speech: 1" -d '{"model":"m-a-p/YuE2-3B","voice":"builtin:auto","instructions":"独立民谣,温暖男声,木吉他伴奏","input":"[Verse]\n沿着街灯慢慢走\n[Chorus]\n唱给我听","response_format":"wav"}' -o song.wav

常见问题

生成的歌可以商用吗?

不可以。YuE2 权重沿用原作者的 CC BY-NC 4.0 许可,仅限非商业用途。

要付费或消耗额度吗?

不需要。用 YuE2 生成歌曲免费,不消耗额度。

需要联网吗?

只有下载 YuE2 模型时需要。模型装好后,歌曲在你的电脑上生成。

证据链接