字幕の抽出

OCRとASRは字幕作成における異なる出発点

画面上のテキストと話し言葉では、必要となる根拠、修正、タイミング調整の工程が異なります。

主な結論

• 動画OCRは、フレーム内にすでに表示されているテキストを読み取ります。
• ASRは音声トラックから音声を認識します。
• どちらの方法でも、タイミング調整、フィルタリング、レビューは必要です。

動画OCRは、元の映像に焼き付け字幕や、その他の画面上に表示された会話テキストが含まれている場合に役立ちます。実用的なパイプラインでは、各フレームからテキスト候補を検出し、時間の経過に沿って繰り返し検出された候補をグループ化し、シーン内のテキストや誤検出を除外してから、残った領域をタイミング付きの字幕キューに変換します。

ASRは音声から始まります。音声が明瞭で元のテキストがない場合に役立ちますが、分割、話者、ポーズ、アクセント、発話の重なり、字幕の読了速度にも対応する必要があります。その出力は、映像内に表示されているテキストと自動的に同等になるわけではありません。

適切な出発点は、元の映像によって異なります。整った字幕トラックが最適な入力になる場合もあれば、ハード字幕ならOCRが直接的な手段になる場合もあります。テキストのない音声にはASRが必要になることがあります。制作システムでは、これらの経路を明示しておく必要があります。そうすれば、何が観測されたのか、何が推測されたのか、何がまだレビューを必要としているのかをチームが把握できます。

ツールを選ぶ前に、根拠を選ぶ

素材に、整った字幕トラック、焼き付けテキスト、聞き取りやすい音声、音楽や効果音、話者の発話の重なり、シーン内のテキストがあるかを確認します。素材の状態によって、OCR、ASR、提供されたファイル、または複数の経路のうち、どれが適切かが決まります。

OCRは時間の経過に沿って、見えているテキストを追跡する

信頼性の高い動画OCRでは、テキスト候補を検出し、隣接するフレーム間で観測結果をグループ化し、ロゴやシーン内のテキストを除外し、認識エラーを修正して、タイミング付きのキューを生成します。領域と時間範囲は、レビューや映像のクリーンアップに役立つ根拠として引き続き利用できます。

1. 代表的なフレームでテキスト候補を検出する。
2. 繰り返し観測された結果を時間的なキューにまとめる。
3. シーン内のテキストと誤検出を除外する。
4. 文言を修正し、必要に応じて音声と比較する。
5. エクスポート前に、タイミング、区切り、字幕の読み取り速度を確認する。

ASRは映像ではなく、音声を追跡する

ASRは音声が利用できれば会話を再構成できますが、画面に表示されているどのテキストが会話に対応するかは判断できません。話者の交代、間、アクセント、音楽、重なった発話には、セグメンテーションとレビューが必要です。

• 音声の明瞭さと背景音の影響を確認する。
• 話者の交代と重なった発話を記録する。
• キューの長さ、間、字幕の読み取り速度を調整する。
• 名前や用語をシリーズの記録と比較する。

2つの方法を明確に区別する

OCRとASRは比較したり併用したりできますが、一方を他方の自動的な代替として説明すべきではありません。各キューの生成に使った根拠と、修正した内容を記録します。

よくある質問

OCRとASRは必ず組み合わせるべきですか？

いいえ。ソースに適した経路を使います。ハード字幕と明瞭な音声を相互チェックするには併用が役立ちますが、別途、照合の工程も必要になります。

OCRの結果はすぐに翻訳できる状態ですか？

通常はできません。シーン内のテキストを除外し、認識結果を修正し、タイミングと読み上げ速度を確認してから、まずソースのバージョンを確定します。

ASRは映像に一度も表示されないテキストを復元できますか？

利用できる音声から発話内容を復元できますが、画面外の発話、重なった発話、音楽、不明瞭な発音については、引き続きレビューが必要です。