ステージにはバックミュージシャンだけでステージ裏で、パフォーマーが自身の姿を隠し、モーションキャプチャ技術を用いてリアルタイムで動く3Dアバター(分身)として歌唱やパフォーマンスを競う。
アバターをあたかも実際のステージ上にいるように見せるには、スタジオ側の現実のカメラの動きと完全に連動させる必要があります。
stYpe トラッキング: 番組で使用された14台のカメラのうち、8台の主要カメラにstYpeと呼ばれる位置トラッキングシステムが搭載されました。
赤外線(IR)マーカーマップ: スタジオの天井には、数千個の小さな赤外線反射マーカーが銀河のように配置されています。カメラが動くと、天井のマーカーを読み取って「いまカメラがステージのどの位置から、どの角度で撮影しているか」を正確に算出します。
ゲームエンジン「Unreal Engine」による超高速描画
バーチャル映像の統合・レンダリングの心臓部として、Epic GamesのUnreal Engineが採用されています。
- ポスト処理なしのリアルタイム処理: 通常の映画VFXなどで行われる数日~数週間かけたレンダリングではなく、キャプチャされたパフォーマーのデータ、カメラの動き、そしてステージ上の実写映像を、ゲームのようにその瞬間に1フレーム(1/30~1/60秒)で合成して映像を出力します。
- 高度な物理シミュレーション: キャラクターの「髪の毛の揺れ」「衣装の布の質感」「リアルタイムの照明(ライティング)」、さらにはアバターから発せられる魔法のような特殊効果(エフェクト)までをすべて同時に遅延なく計算します。
4. 「Pixotope」によるリアルタイムAR合成とDMX連携
バーチャル映像を実写のテレビ番組として成立させるための役割を果たしたのが、バーチャルプロダクション・プラットフォームのPixotopeです。
- 8台のPixotopeエンジン: スタジオ内に8台のPixotopeシステムが並列配備され、リアルタイムでのAR(拡張現実)アセットの合成を管理しました。
- DMX(照明制御)との完全連動: 舞台照明をコントロールする「DMX」という規格とUnreal Engineがシームレスに連携しています。これにより、スタジオ側のリアルの照明が変わると、同時に画面の中のアバターに当たるバーチャルな光や影の色、さらにはアバターの髪や瞳のテクスチャ(質感)までが瞬時に連動して変化します。この技術によって、アバターと現実のバックダンサーが同じステージ上で違和感なく共演できました。
出演者や観客はどう見ていた?
アバターは現実のステージには立体ホログラムとしては出現していません。そのため、審査員や観客はステージ周辺に目線の高さで戦略的に配置された複数のモニターを通して、あたかもアバターがそこに実在しているかのように見て会話や審査を行っていました。


