AI同時通訳の仕組み

Interpretwiseは、ステージからのクリアな音声を1つ受け取り、音声を認識し、コンテキストを考慮したAIで翻訳します。そして、すべてのターゲット言語で同時に自然なニューラル音声として出力し、各言語のライブ字幕も生成します。

パイプライン

すべては1つの音声入力から始まり、各言語ごとに並行してすべてのリスナーのデバイスに届きます。

  1. 1

    フロア音声

    サウンドコンソールからの1つの音声入力。マイク、パネル、再生ソースの数に関わらず、現在と同じようにエンジニアがミックスした音声を使用します。

  2. 2

    音声認識

    フレーズを認識するストリーミング音声認識は、フレーズが安定するまで待機します。これにより、翻訳エンジンは断片ではなく、確定した完全な文章を処理できます。

  3. 3

    AI翻訳

    コンテキストを考慮した翻訳により、会話の文脈を継続的に保持し、イベントの用語集や専門用語を正確に反映します。

  4. 4

    ニューラル音声

    自然なニューラル音声が、各ターゲット言語を並行して(1言語につき1チャンネル)読み上げます。

  5. 5

    配信

    音声とライブ字幕はWebRTC経由ですべてのリスナーに届きます。会場内のスマートフォン、リモートのブラウザー、会場のスクリーン、制作ツールなどで受信可能です。

発話から通訳音声までのエンドツーエンドの遅延は、通常約5秒です。プラットフォームはこれを継続的に測定しており、各セッション後に言語ごとの遅延レポート(中央値および99パーセンタイル)を提供します。これにより、感覚ではなくデータで品質を確認できます。

エンジンと音声

Interpretwiseは、バックグラウンドで複数の音声認識、翻訳、音声エンジンを実行し、言語ペアごとに最適な組み合わせを選択します。セッション中にエンジン間の自動フェイルオーバーも行われます。音声には2つのグレードがあります。

  • プレミアム音声 - 最も自然な音声で、ステージ上のコンテンツに推奨されます。
  • スタンダード音声 - 低価格で幅広い言語をカバーする豊富な音声カタログです。

通訳者との連携

同じイベント内で、チャンネルごとにAI通訳とプロの通訳者を組み合わせることができます。例えば、6言語をAIで、7言語目を通訳者が担当するといった運用が可能です。通訳者はブラウザーベースのコンソールを通じてどこからでも作業できます。インストールは不要で、イベントごとのアクセスコードによって保護されます。

参加者の体験

参加者はQRコードをスキャンし、言語を選択するだけで、自身のスマートフォンから音声とライブ字幕を視聴できます。アプリのインストールやアカウント登録は不要で、ヘッドセットを配布する必要もありません。参加者の詳細な手順については、ヘッドセットなしでの視聴をご覧ください。

ドイツ語の通訳音声とライブ字幕を再生しているスマートフォンのリスニングページ
参加者側の画面:自身のスマートフォンで通訳音声とライブ字幕を視聴できます。

ライブで体験

次のイベントでInterpretwiseをお試しください

80以上の言語にリアルタイムで対応。通訳ブースや専用の受信機は不要です。参加者はQRコードをスキャンし、自身のスマートフォンで音声を聴くことができます。セットアップは約15分で完了します。