LattifAI チーム ·

強制アライメントの評価:短文、長時間音声、中国語の単語タイムスタンプを実測

強制アライメント(forced alignment)は、既存の原稿を録音に合わせ、各単語の開始・終了時刻を取得する処理です。改めて文字起こしをする必要はありません。次のような用途に使えます。

  • 講演原稿や校正済みの字幕原稿から SRT / VTT / ASS 字幕を作成する
  • 歌詞を歌声に合わせ、単語ごとにハイライトするカラオケ字幕を作成する
  • オーディオブック、講座、語学学習教材の原文を単語ごとにハイライトし、クリックした単語から再生する
  • テキストから音声や動画の該当箇所を見つけて編集する
  • 音声認識、音声生成、全二重モデルの学習データに単語単位のタイムスタンプを付ける

アライメントの評価では、数秒の英語の短文だけを扱うことがよくあります。一方、実際の字幕やオーディオブックは数十分に及ぶことが多く、複数の言語が混在するテキストも使われます。今回は TIMIT と標貝の手動アノテーションを使い、英語の短文、10〜60 分の長時間音声、中国語、英語と中国語が切り替わる音声で、EdgeSpeak、Montreal Forced Aligner(MFA)、ElevenLabs Forced Alignment、Qwen3-ForcedAligner を比較しました。

英語の短文では、EdgeSpeak の誤差は 23.0 ミリ秒でした。短文を 60 分に連結してまとめてアライメントすると、EdgeSpeak は 23.6 ミリ秒、ElevenLabs は 32.0 ミリ秒でした。37 分の中国語では、EdgeSpeak は 13.4 ミリ秒、ElevenLabs は 54.7 ミリ秒でした。EdgeSpeak はダウンロードページから、または pip install edgespeak でインストールできます。

下の 4 つは、EdgeSpeak でローカル合成したサンプル音声です。枠の 1 つ 1 つが EdgeSpeak でアライメントした単語で、枠の左右の端がその単語の開始・終了時刻です。単語をクリックすると、そこから再生します。

Forced alignment takes a script you already have and finds the moment each word is spoken. Subtitles, karaoke lyrics and audiobook highlights all start from these timestamps.

データセット:

  • TIMIT(LDC93S1):630 人の話者によるアメリカ英語の朗読音声で、各単語の開始・終了時刻が手作業で付与されています。
  • 標貝中国語標準女性音声コーパス(BZNSYP):スタジオで収録された普通話の 1 万文で、声母・韻母の境界が手作業で区切られています。中国語と英中切り替えの評価に使用し、文字単位で採点します。

単語タイムスタンプの境界誤差と対応言語

英語は TIMIT を使い、単語単位で評価します。

ツール短文の誤差短文 F1@20短文 F1@40連結 9.7 分連結 60 分
MFA 3.4.121.8 ミリ秒0.650.88対象外対象外
EdgeSpeak23.0 ミリ秒0.620.8623.3 ミリ秒23.6 ミリ秒
ElevenLabs31.9 ミリ秒0.170.3832.3 ミリ秒32.0 ミリ秒
Qwen3-ForcedAligner32.2 ミリ秒0.400.73非対応非対応

誤差は単語境界と手動アノテーションのずれの平均で、小さいほどよい値です。F1@20 は境界が手動アノテーションから 20 ミリ秒以内にあるかを評価し、F1@40 は許容幅を 40 ミリ秒に広げた指標です。いずれも高いほどよい値で、定義は評価方法をご覧ください。24 fps の動画では、1 フレームが約 42 ミリ秒です。EdgeSpeak のアライメントモデルの時間分解能は 20 ミリ秒のため、許容幅も 20 ミリ秒の F1@20 では有利になりません。40 ミリ秒に広げると、MFA に近い値になります。

中国語は標貝のテストセットの 487 文を使い、連結すると約 37 分になります。中国語は文字単位、英語は単語単位の評価なので、両者の表を直接比較することはできません。

ツール文ごとの誤差37 分に連結した場合の誤差
EdgeSpeak13.3 ミリ秒13.4 ミリ秒
ElevenLabs61.1 ミリ秒54.7 ミリ秒
Qwen3-ForcedAligner34.2 ミリ秒非対応

MFA は音声を文ごとに分割する必要があり、長時間音声をまとめて入力することはできません。Qwen3-ForcedAligner は最大 5 分の音声に対応しています。

対応言語(各社・各プロジェクトの公式ドキュメントに基づく):

ツール対応言語
EdgeSpeak346 言語。中国語と英語など、複数の言語が混在するテキストもアライメント可能
ElevenLabs29 言語
Qwen3-ForcedAligner11 言語
MFA使用する事前学習済みモデルによる

英語の短文:TIMIT core test

5 枚の単語カードの下に音声波形があり、手動アノテーションとアライメント結果の 2 列の目盛りがほぼ重なっている。ノギスが 20 ミリ秒を測っている

TIMIT core test の 192 文を使います。ノイズの少ない朗読音声です。

TIMIT core test の単語境界の誤差(小さいほどよい)
MFA 3.4.121.8 ミリ秒
EdgeSpeak23.0 ミリ秒
ElevenLabs31.9 ミリ秒
Qwen3-ForcedAligner32.2 ミリ秒

F1 の許容幅を段階的に広げた結果です。

ツールF1@20F1@40F1@50
MFA 3.4.10.650.880.92
EdgeSpeak0.620.860.90
Qwen3-ForcedAligner0.400.730.82
ElevenLabs0.170.380.47

10〜60 分の長時間音声

木製の軸から長い紙テープが伸び、連続した音声波形と単語の印が並ぶ。下の木製定規には 0、30 min、60 min と記されている

EdgeSpeak で 60 分の音声をまとめてアライメントした場合の誤差は 23.6 ミリ秒で、同じ文を 1 文ずつ処理した場合は 23.4 ミリ秒でした。60 分を 10 区間に分けると、各区間の単語開始時刻の平均誤差はすべて 18〜22 ミリ秒に収まり、後半ほどずれが大きくなる傾向は見られませんでした。60 分は今回評価した中で最も長い条件です。EdgeSpeak は数時間に及ぶ音声にも対応しているため、会議全体やオーディオブック 1 冊分をまとめてアライメントできます。

9.7 分の条件には core test の 192 文、30 分と 60 分には train の文を使い、決められた順序で隙間なく連結しました。音声全体を一度に入力し、結果を単語の順序に沿って元の文に分けてから採点します。

音声の長さによる英語の単語境界の誤差の変化:EdgeSpeak は文ごとに 23.0、4.5 分で 22.8、9.7 分で 23.3、30 分で 23.7、60 分で 23.6 ミリ秒。ElevenLabs は順に 31.9、34.0、32.3、31.7、32.0 ミリ秒。Qwen3-ForcedAligner は文ごとに 32.2、4.5 分で 44.2 ミリ秒で、それより長い音声は非対応。MFA は文ごとに 21.8 ミリ秒で、連結音声は非対応
ツール長さ誤差F1@20F1@40F1@50
EdgeSpeak9.7 分23.3 ミリ秒0.620.860.90
EdgeSpeak30 分23.7 ミリ秒0.620.840.89
EdgeSpeak60 分23.6 ミリ秒0.620.850.89
ElevenLabs9.7 分32.3 ミリ秒0.190.380.48
ElevenLabs30 分31.7 ミリ秒0.200.400.48
ElevenLabs60 分32.0 ミリ秒0.190.400.49

Qwen3-ForcedAligner の上限は 5 分のため、4.5 分の条件でも比較しました。英語は core test の先頭 90 文、中国語は標貝のテストセットの先頭 55 文を使います。

ツール英語 4.5 分中国語 4.5 分
EdgeSpeak22.8 ミリ秒 / 0.6214.3 ミリ秒 / 0.79
ElevenLabs34.0 ミリ秒 / 0.1954.9 ミリ秒 / 0.15
Qwen3-ForcedAligner44.2 ミリ秒 / 0.4144.3 ミリ秒 / 0.36

各セルは誤差 / F1@20 です。Qwen3-ForcedAligner の誤差は、文ごとに処理した場合は英語が 32.2、中国語が 34.2 ミリ秒で、4.5 分に連結すると、それぞれ 44.2、44.3 ミリ秒になりました。

別途、4 人が発言する 26 分の英語の発表会録音も評価しました。374 文に手作業でアノテーションを付け、複数人が同時に話す 28 文を除いたところ、EdgeSpeak の文開始時刻の誤差の中央値は 30 ミリ秒で、92.2% の文は開始・終了時刻の誤差がともに 0.2 秒以内でした。

中国語の文字単位アライメント:短文と 37 分の長時間音声

「你好世界」の 4 つの文字ブロックが、それぞれ下の波形の対応する区間に細い線で結ばれている

標貝のテストセットの末尾 500 文を使い、手作業で確認された声母・韻母の境界を基準に、文字単位で採点します。各文字の区間は声母の開始から韻母の終了までとし、声母のない文字は韻母の開始から数えます。文字数と音節数が一致しない児化音を含む 13 文を除き、487 文が残りました。

音声の長さによる中国語の文字境界の誤差の変化:EdgeSpeak は文ごとに 13.3、4.5 分で 14.3、37 分で 13.4 ミリ秒。ElevenLabs は順に 61.1、54.9、54.7 ミリ秒。Qwen3-ForcedAligner は文ごとに 34.2、4.5 分で 44.3 ミリ秒で、37 分は非対応
ツール文ごと37 分に連結37 分の処理時間
EdgeSpeak13.3 ミリ秒 / 0.8013.4 ミリ秒 / 0.8010.2 秒
ElevenLabs61.1 ミリ秒 / 0.1354.7 ミリ秒 / 0.1716.9 秒
Qwen3-ForcedAligner34.2 ミリ秒 / 0.34非対応—

各セルは文字単位の誤差 / F1@20 です。ElevenLabs は、文ごとに処理するよりも連結したほうがややよい結果でした。

文ごとに英語と中国語を切り替え:60 分

紙テープの上に EN と中国語の録音区間が交互に並び、上のミキサーが両方の音量を同じレベルにそろえている

英語の文(TIMIT)と中国語の文(標貝)を 1 文ずつ交互に連結して 60 分にし、言語を指定せずに処理します。EdgeSpeak の中国語の誤差は文ごとの処理とほぼ同じ(19.7 ミリ秒と 18.9 ミリ秒)で、英語は約 5 ミリ秒増えました。

ツール音声英語(単語単位)中国語(文字単位)
EdgeSpeak文ごと(比較用)23.6 ミリ秒 / 0.6018.9 ミリ秒 / 0.72
EdgeSpeak60 分に連結28.2 ミリ秒 / 0.6019.7 ミリ秒 / 0.72
ElevenLabs60 分に連結32.3 ミリ秒 / 0.24124.8 ミリ秒 / 0.20
Qwen3-ForcedAligner60 分に連結非対応(上限 5 分)非対応

歌詞のアライメントとカラオケ字幕

EdgeSpeak のアライメントモデルは歌声にも対応しています。歌詞を伴奏付きの歌声に合わせ、単語ごとにハイライトするカラオケ字幕を書き出せます。[Verse] や [Chorus] のマーカーが付いた歌詞は、実際の歌唱に合わせて、繰り返す箇所や歌われない箇所を反映した順序に展開します。詳しくは対応する入力をご覧ください。

YuE2 でローカル生成した英語の楽曲。単語ごとのカラオケ字幕は EdgeSpeak の強制アライメントで作成。

料金と 60 分の音声の実測処理時間

EdgeSpeak の料金は料金ページをご覧ください。処理時間は、60 分の英語音声を送信してから結果を受け取るまでの時間です。

ツール料金60 分の処理時間
EdgeSpeakプランにより 1 時間あたり 0.07〜0.20 ドル。無料プランは月に約 53 分(下表参照)20.5 秒
ElevenLabs文字起こしと同額の 1 時間あたり 0.22 ドル。無音区間も課金対象163 秒

EdgeSpeak は入力音声の長さに応じて課金し、1 時間の音声を 45,000 token として計算します。

プラン料金処理できる音声1 時間あたり
Free0月に約 53 分—
Basic・月払い月額 9 ドル月に約 44 時間約 0.20 ドル
Basic・年払い年額 59 ドル年に約 533 時間約 0.11 ドル
Pro・月払い月額 29 ドル月に約 222 時間約 0.13 ドル
Pro・年払い年額 179 ドル年に約 2,666 時間約 0.07 ドル
音声 1 時間あたりのアライメント料金(小さいほどよい)
EdgeSpeak Pro・年払い0.07 ドル
EdgeSpeak Basic・月払い0.20 ドル
ElevenLabs0.22 ドル
EdgeSpeak は単価の下限と上限に当たる 2 プランを、月ごとの利用枠を使い切る条件で換算しています。利用量が少ない場合、時間あたりの料金は上がります。ElevenLabs は公式サイトの時間単位の料金です。2026-11-10 確認。

オンデバイス処理とプライバシー

EdgeSpeak のアライメントはデバイス上で実行され、音声、原稿、結果はパソコン内に保存されます。プライバシーポリシーをご覧ください。

EdgeSpeak、MFA、Qwen3-ForcedAligner はパソコン上で動作します。ElevenLabs は音声と原稿をクラウドにアップロードする必要があります。

評価方法と指標の定義

ツールバージョンと呼び出し方法実行場所
EdgeSpeakedgespeak-cli、Python SDK align()、標準アライメントモデル Lattice-2ローカル
MFA3.4.1、english_us_arpa v3.0.0ローカル
ElevenLabsForced Alignment APIクラウド
Qwen3-ForcedAligner0.6B、qwen-asr 0.0.6ローカル

すべてのツールで同じ手動アノテーションと採点プログラムを使い、各設定で 1 回ずつ実行しました。まず文ごとに採点し、その後、すべての境界をまとめて集計します。出力のない文や一致しない単語も評価に含めます。

  • 誤差:手動で付与した各単語境界とシステムが出力した境界の差の絶対値を平均したものです。単位はミリ秒です。前の単語の終了と次の単語の開始は同じ境界として数え、文頭・文末の境界も含めます。
  • F1@20:境界が手動アノテーションから 20 ミリ秒以内にあり、その両側の単語も一致すれば正解とします。F1 は境界の適合率と再現率の調和平均で、文頭・文末の境界も含めます。

長時間音声の結果は、単語の順序に沿って元の文に分けてから、同じ採点プログラムに渡します。手動アノテーションをシステムの出力として採点プログラムに通すと、誤差は 0、F1 は 1.0 になります。また、短文の結果を分割処理に通してから採点しても、直接採点した場合と数値は完全に一致します。

TIMIT と標貝はいずれもノイズの少ない朗読音声で、歌声は採点に含めていません。

対応する音声・動画、字幕原稿、歌詞

入力詳細
音声・動画ファイルパソコン上で処理し、数時間に及ぶ録音にも対応。Python SDK はメモリ上の音声バイト列や NumPy 配列も受け付けます
原稿テキストを直接渡すか、.txt、.json、.srt、.ass、.ssa ファイルを指定。字幕ファイルの既存の時刻は無視し、再計算します
歌詞[Verse]、[Chorus] などのセクションマーカー付きの歌詞は、実際の歌唱順序を検出し、繰り返し、歌われない箇所、順序の入れ替わりを反映して展開してからアライメントします。この処理は無効にできます(CLI ドキュメントを参照)
言語標準アライメントモデルは 346 言語に対応。zh、en-US、haw などの言語コードで指定するか、省略して原稿のテキストから自動判定できます。中国語と英語が混在する原稿には und を渡します

AI エージェントとの連携:MCP、Skill、CLI、SDK

エージェントから EdgeSpeak を呼び出す場合も、音声はパソコン上で処理します。

インターフェース用途使い方
MCPClaude Code、Cursor などの MCP 対応クライアントclaude mcp add edgespeak -- edgespeak-cli mcp で登録。edgespeak_align など 13 個のローカルツールを提供
SkillClaude Code、Codex、Cursornpx skills add lattifai/EdgeSpeak で追加。アライメント、カラオケ字幕、文字起こし、文の区切り、翻訳、話者の名前付けなどの Skill を利用可能
CLIコマンドを実行できるエージェント、スクリプト、バッチ処理edgespeak-cli align … で呼び出し、JSON、SRT、プレーンテキストを出力
Python SDK独自のエージェントやデータパイプラインpip install edgespeak でインストールし、EdgeSpeak().align(...) で呼び出し。今回の評価もこの方法を使用

インストール後は、エージェントに「EdgeSpeak で talk.mp4 と talk.txt をアライメントして、SRT を書き出して」「この曲にカラオケ字幕を付けて」と依頼できます。

ダウンロードと使い始め方

ダウンロードページからデスクトップアプリをインストールし、「アライメント」ページで音声と原稿を読み込むと、SRT / VTT / ASS 字幕やカラオケ字幕を書き出せます。

CLI はデスクトップアプリと一緒にインストールされるほか、単独でもインストールできます。詳しくは CLI ドキュメントをご覧ください。

Python SDK は pip install edgespeak でインストールできます。使い方は Python SDK ドキュメントをご覧ください。

Python SDK の EdgeSpeak() は、パソコン上で edgespeak-cli サービスを起動します。結果の時刻は秒単位で、エラー時には EdgeSpeakError を送出します。

Python
from edgespeak import EdgeSpeak

with EdgeSpeak() as client:
    # 言語を指定
    a = client.align("speech.wav", text="His captain was thin and haggard and his beautiful boots were worn and shabby.", language="en")

    # 言語を省略:原稿のテキストから自動判定
    b = client.align("lecture.mp4", text="今天我们讲强制对齐。")

    # 字幕ファイルを原稿として使用。既存の時刻は再計算
    c = client.align("episode.m4a", text_file="episode.srt")

for segment in a["segments"]:
    for w in segment["words"]:
        print(w["start"], w["end"], w["word"])

返される結果です。時刻は秒単位で、score は信頼度スコア、source_start_byte と source_end_byte は原稿内での単語のバイト位置を表します。

JSON
{
  "task": "align",
  "duration": 4.9728125,
  "language": "en",
  "language_candidates": ["en"],
  "text": "His captain was thin and haggard and his beautiful boots were worn and shabby.",
  "segments": [
    {
      "id": 0,
      "start": 0.33,
      "end": 4.973,
      "text": "His captain was thin and haggard and his beautiful boots were worn and shabby.",
      "words": [
        { "word": "His", "start": 0.53, "end": 0.77, "score": 1.0, "source_start_byte": 0, "source_end_byte": 3 },
        { "word": "captain", "start": 0.77, "end": 1.27, "score": 1.0, "source_start_byte": 4, "source_end_byte": 11 },
        { "word": "was", "start": 1.27, "end": 1.49, "score": 1.0, "source_start_byte": 12, "source_end_byte": 15 },
        { "word": "thin", "start": 1.49, "end": 1.75, "score": 0.9742, "source_start_byte": 16, "source_end_byte": 20 },
        { "word": "and", "start": 1.75, "end": 1.85, "score": 0.7779, "source_start_byte": 21, "source_end_byte": 24 },
        { "word": "haggard", "start": 1.85, "end": 2.39, "score": 1.0, "source_start_byte": 25, "source_end_byte": 32 },
        { "word": "and", "start": 2.39, "end": 2.51, "score": 0.6644, "source_start_byte": 33, "source_end_byte": 36 },
        { "word": "his", "start": 2.51, "end": 2.73, "score": 0.9867, "source_start_byte": 37, "source_end_byte": 40 },
        { "word": "beautiful", "start": 2.73, "end": 3.19, "score": 0.9679, "source_start_byte": 41, "source_end_byte": 50 },
        { "word": "boots", "start": 3.19, "end": 3.65, "score": 0.9939, "source_start_byte": 51, "source_end_byte": 56 },
        { "word": "were", "start": 3.65, "end": 3.79, "score": 1.0, "source_start_byte": 57, "source_end_byte": 61 },
        { "word": "worn", "start": 3.79, "end": 4.19, "score": 1.0, "source_start_byte": 62, "source_end_byte": 66 },
        { "word": "and", "start": 4.19, "end": 4.33, "score": 0.67, "source_start_byte": 67, "source_end_byte": 70 },
        { "word": "shabby.", "start": 4.33, "end": 4.87, "score": 0.8857, "source_start_byte": 71, "source_end_byte": 78 }
      ]
    }
  ],
  "search_effort_used": "standard",
  "usage": { "type": "duration", "seconds": 4.9728125 }
}

CLI でも同様に実行でき、--language は省略可能です。

Shell
edgespeak-cli align speech.wav --text-file speech.txt --language en -o speech.srt
edgespeak-cli align lecture.mp4 --text-file lecture.txt -o lecture.json

詳しい使い方は、CLI、Python SDK、アライメント API のドキュメントをご覧ください。

← 記事一覧