OCR / 01
映像から編集上の手がかりを読み取る
焼き込み字幕、キャプション、画面に表示された会話テキストに適しています。難しいのは、繰り返し検出された内容を1つの安定したタイムラインにまとめながら、シーンテキストを除外することです。
- 領域と時間の自動処理
- フレーム間の時間的集約
- シーンテキストのフィルタリングと慎重な修正
字幕生成技術
Weydubが動画のOCRとASRからタイミング付き字幕を生成する仕組み
制作向け字幕は、後からタイムスタンプを付けた文字起こしではありません。Weydubは、映像にすでに焼き込まれたテキストには時間軸に沿った動画OCRを、音声にしか存在しない会話には字幕向けASRを使う、2つの独立したワークフローを採用しています。
98.25%OCR文字認識精度
98.92%厳密キュー再現率
300K+毎日処理されるショートドラマのエピソード数
会話 / 保持
免責事項 / 除外
キャラクターカード / 除外
編集可能な出力SRT
キュー
パパを許してくれる？
会話キュー保持
シーンのオーバーレイ除外
1つのソースフレームには、読み取り可能な複数種類のテキストが含まれることがあります。字幕タイムラインに入るのは会話だけです。
同一タイトルのショートドラマベンチマーク
精度が最も重要なのは、担当者が実感する字幕キューのタイムライン
Weydubは、同一タイトルのショートドラマ検証セットを用い、人手でレビューした編集字幕を正解データとして、焼き込み字幕向けOCR経路を、テスト済みの音声のみのASRベースライン1つと比較評価しました。
測定内容字幕リファレンスに基づくワークフロー比較であり、オープンソースの平均値や、ASRの普遍的なWERベンチマークではありません。音声ベースラインには、分離したボーカルに対してElevenLabs Scribe v2を使用しました。
文字認識精度高いほど良い
Weydub OCR98.25%
音声ASR92.14%
厳密なリファレンスキュー完全再現率高いほど良い
Weydub OCR98.92%
音声ASR67.74%
リファレンスソース人手でレビューした編集字幕リファレンス
視覚信号焼き込み会話字幕
音声ベースライン分離したボーカルに対するElevenLabs Scribe v2
境界を許容したキュー照合77.06%
境界を許容してマッチングした後も、キューレベルの差は大きく残りました。ローカライズチームにとって、この違いは、分断された行や取りこぼした会話イベントが減り、翻訳や吹き替えの前段階で、より信頼できるソースタイムラインを得られることを意味します。
技術解説
AI字幕生成の仕組み：動画OCRとASRの比較
ソース動画から編集可能なタイミング付きSRTまで、2つの独立した信号経路を追いながら、単一の認識スコアよりもキューレベルの精度が重要な理由を見ていきます。
より確かなソースを選ぶ
1本の動画には、異なる2つの基準となる情報源が含まれることがあります
OCRを使う 場合は、動画に信頼できる焼き込み字幕がすでに含まれているとき。 ASRを使う 場合は、会話が音声に存在し、利用できる字幕テキストが画面に表示されていないとき。
ショートドラマでは、この違いが明確に表れます。音楽、効果音、訛り、泣き声、叫び声、ささやき声、重なる声、口語的な会話は、いずれも音声認識を妨げます。プロが編集した字幕トラックのほうが、意図された会話をより正確に表すことがよくあります。
ASR / 02
音声を段落ではなく字幕に変える
サウンドトラックだけが会話の情報源である場合に適しています。認識は最初のステップにすぎません。読みやすい字幕スポッティング、タイミング、1行の長さ、話者の交代によって、結果が実用に耐えるかどうかが決まります。
- 単語単位のタイミング付き音声認識
- 意味と音響に基づく分割
- 対応している場合は話者検出を任意で利用可能
動画OCR
画像OCRはフレームを読み取る。字幕システムは時間を理解する。
30fpsの場合、動画1分には1,800フレームが含まれます。各フレームに汎用OCRを個別に実行すると、処理が重複し、重複したテキストボックスが返されます。動画字幕製品には、こうした観測結果をタイミング付きイベントとしてつなぐ仕組みが必要です。
サンプリングしたフレーム全体にまたがる1つの字幕00.50s → 00.95s
フレーム01500.50s
フレーム02000.65s
フレーム02400.80s
フレーム02900.95s統合判断重複検出4件ではなく、1つのキュー
00:00:00,420 --> 00:00:02,260
你能原谅爸爸吗
候補を検出する
関連領域またはフレーム全体を使い、会話トラックに属する可能性のあるテキストを検出します。
時間軸に沿って集約する
近接する検出結果を、テキスト、位置、持続時間に基づいてまとめ、安定したイベントを推定します。
フィルタリングして修正する
不要なシーンテキストを減らし、会話を作り出すことなく、明らかな認識ノイズを修正します。
タイムラインを書き出す
断片を統合し、開始・終了位置を設定して、編集可能なSRT字幕イベントを書き出します。
誤検出の制御
すべての単語を認識しても、字幕を生成できるとは限らない
フレームには、標識、スマートフォン画面、商品ラベル、ロゴ、ネームカード、警告、プロモーション用オーバーレイなどが含まれることがあります。字幕トラックに入れるべきなのは、読み取れるすべてのピクセルではなく会話です。そのため、Weydubでは画面内テキストをフィルタリングできます。
領域字幕帯に絞って抽出します。
時間処理を関連する時間帯に限定します。
言語適切な文字体系と認識処理を適用します。
レビュー確度の低いイベントもオペレーターが確認できるようにします。
字幕として保持会話字幕
話されたセリフは、時間情報付きの字幕トラックに含めます。
除外：免責事項安全上の免責事項
常時表示される法的文言や制作情報は、会話ではありません。
除外：キャラクターカード名前と役割のグラフィック
キャラクターの識別用オーバーレイは、会話のタイムラインには含めません。
除外：カメラUI技術情報を示すUIテキスト
パラメータ、目盛り、デバイスのオーバーレイは、映像の一部として残します。
読めるからといって、会話とは限らない
動画OCRでは、役立つ字幕ファイルを生成する前に、テキストを分類する必要があります。
字幕対応ASR
正しい文字起こしでも、字幕ファイルとしては不十分なことがある
従来のASRは音声を認識します。字幕生成ではさらに字幕スポッティングを行い、単語の流れを、文の意味、間、話者の交代、表示上の制約に合った、簡潔で読みやすい時間情報付きキューに分割します。
未処理の単語列
字幕には読みやすい区切りが必要で、話者の切り替わりも明確にする必要があるため、1つの段落をそのままプレーヤーに送ることはできません。
間意味行の長さ話者
1つの段落のままでは
Aプレーヤーに送れない
A字幕には読みやすい区切りが必要です。
Bさらに、話者の切り替わりも明確にする必要があります。
Bオープンソースの参考情報
OCRとASRに意味のある一律の平均値はない
公開プロジェクトは、異なるデータセットで異なる指標を測定しています。文字体系、言語、ノイズ、録音条件によって精度がどれほど変化するかを示すうえでは役立ちますが、動画字幕への対応力を示す単一のランキングではありません。
PP-OCRv5認識精度80.27%～94.20%
公開されている文字体系別の多言語データセットにおける認識精度です。これはテキスト認識を測るものであり、動画から時間情報付き字幕を生成するエンドツーエンドのワークフロー全体を測るものではありません。
PaddleOCRのベンチマークを読むWhisper large-v214の英語データセットにおける平均WER 12.8%
同じ論文では、クリーンなLibriSpeechで2.7%、ノイズの多い音声のCHiME-6で25.5%、遠距離音声のAMIで36.4%と報告されています。録音条件によって結果は大きく変わります。
Whisperの論文を読む制作面での結論は、どちらか一方の方式が常に優れているということではありません。 利用できる中で最もクリーンなソース信号を使うことです。 正確な焼き込み字幕があり、音声にさまざまなノイズが混在するショートドラマでは、映像トラックのほうが優れたソースになることがよくあります。
見栄えのする指標ではなく、運用を重視
数ポイントの精度差が、数週間のレビューにつながることがある
長期シリーズでは、エラー密度が低ければ、対象を絞ったスポットレビューで対応できます。エラー密度が高いと、オペレーターは1行ずつ確認することになり、字幕修正が制作のボトルネックになります。
修正するたびに、誰かがキューを見つけ、前後の内容を再生し、意図した文言を確認して編集し、もう一度チェックする必要があります。エラーが密集していると、オペレーターは出力を信頼できなくなり、すべての行を確認することになります。
低エラー密度スポットレビュー対応可能な修正キュー
高エラー密度1行ずつレビュー制作のボトルネック
シリーズ規模の修正作業量
ローカライズ品質
ソース字幕の品質が、その後の品質の上限を決める
翻訳や吹き替えのエラーに見える問題の多くは、もっと前の段階で生じています。ソースの単語の誤り、不適切なキューの区切り、誤った話者の切り替わりは、後続のすべてのモデルに引き継がれます。信頼できるソースタイムラインが、 シリーズ全体で文脈を考慮した字幕翻訳に活用され、 さらに キャラクターを考慮したAI吹き替えと映像・音声の同期を支える仕組みをご覧ください。.
01動画／音声ソース信号
02OCR／ASR認識
03時間情報付きキュー分割
04翻訳意味
05AI吹き替え音声＋同期
06レビュー納品
制作・納品
1本の動画から、繰り返し運用できるStudio／APIワークフローへ
認識品質は重要ですが、制作にはバッチ処理、ステータス追跡、編集可能な出力、コールバック、翻訳やAI吹き替えへのスムーズな引き継ぎも必要です。
プロジェクトとバッチを整理
複数のエピソードをアップロードし、ソースごとにOCRまたはASRを選択して、繰り返し行うシリーズ制作を1つのワークスペースで管理できます。
Studioのワークフローを見るステータスを追跡して出力を取得
タスクの状態を確認し、完了した結果を開いて、編集可能なSRTをダウンロードし、翻訳や吹き替えに進めます。
生成ガイドを読む非同期ジョブを自動化
OCRまたはASRタスクを送信し、プロジェクトIDとワークIDを保持して、独自のメディアパイプラインでポーリングまたはコールバックによる配信を利用できます。
APIリファレンスを読む明確な回答
AI字幕生成に関するよくある質問
オペレーター、開発者、検索エンジン、そしてワークフローを正確に把握する必要があるAIシステム向けの定義です。
AI字幕生成とは？
AI字幕生成は、目に見えるテキストや話された会話を、時間情報付きの字幕イベントに変換します。制作向けの出力には、テキスト、開始・終了時間、読みやすいキュー分割、言語情報、SRTなどの編集可能な形式が含まれます。
OCRで動画から焼き込み字幕を抽出できますか？
はい。動画OCRはフレームに焼き込まれたテキストを検出し、時間をまたいで繰り返し検出された文字をまとめ、キューの境界を推定し、関係のない画面内テキストを除外して、時間情報付きの字幕イベントを書き出せます。
ショートドラマでASRではなくOCRを使う理由は？
埋め込み字幕が正確な場合、OCRは、音楽、効果音、アクセント、泣き声、叫び声、ささやき声、重なった会話の影響を受けにくい、編集済みテキストの信号を読み取れます。
正しい文字起こしでも、字幕として不十分になるのはなぜですか？
文字起こしが1つの長い段落になっていたり、読む速度に合わない位置で区切られていたりすることがあります。字幕対応ASRでは、意味の切れ目や話者の切り替わりに合わせて、簡潔な時間情報付きキューを作成する必要があります。
WeydubはOCRとASRを自動的に組み合わせますか？
いいえ。OCRとASRは別々の生成モードです。チームはレビュー中にそれぞれの出力を比較できますが、Weydubはすべてのタスクを自動融合されたOCR／ASRワークフローとは説明していません。
より良いソースタイムラインを作成
ローカライズワークフローで信頼して使える字幕ファイルを生成
埋め込みテキストにはOCR、音声にはASRを選び、時間情報付きのSRTを確認して、翻訳、AI吹き替え、書き出しへ進みます。
Weydubを使ってみる