わずが数時間で『完全3D映像』を撮影できる、ソフトバンクの最新スタジオに潜入（佐野正弘） - Engadget日本版

ソフトバンクは2020年2月、3Dビデオを作成する国内最大級のスタジオ「xRスタジオ」を開設していますが、2020年8月、その内部が初めて報道陣に公開されました。

xRスタジオはソフトバンクが2020年の5Gサービス開始に合わせて提供を開始した、5G時代の新しいコンテンツ視聴体験を実現する「5G LAB」のサービスの1つ、「AR SQUARE」で使用するコンテンツを作成している施設になります。AR SQUAREはその名前の通り、AR(拡張現実)の技術を用いたコンテンツで、スマートフォンをかざすと現実空間に人物やキャラクターなどが現れるというものです。

AR SQUAREでは単に人物などの動きを鑑賞して楽しむだけでなく、拡大・縮小したり、あるいは一緒に写真や動画を撮影し、SNSに投稿したりして楽しむことも可能。既にスポーツ選手やアイドル、お笑い芸人からキャラクターに至るまで、500以上のコンテンツが配信されており、その多くがxRスタジオで作成されているようです。

▲「5G LAB」のサービスの1つ「AR SQUARE」。AR技術を活用し、スマートフォンをかざすとアイドルやキャラクターなどが現れ、さまざまな動きを見せてくれるというものだ

xRスタジオはソフトバンクとリアライズ・モバイル・コミュニケーションズが設立した、国内最大規模となる3Dビデオの撮影スタジオです。ちなみにリアライズ・モバイル・コミュニケーションズはソフトバンクのグループ企業で、xRスタジオの運営以外にもXR映像の配信や演出等も手掛けているそうです。

▲「xRスタジオ」の概要。2Kカメラと4Kカメラの2つのスタジオが設置されている

そのxRスタジオの最大の特徴は、人物の動きを取り込んで3Dモデルを作成するだけでなく、等身大の3Dビデオを即日生成できる高いパフォーマンスにあるとのこと。米国の8iという企業が持つ高品質のボリュメトリックビデオ生成技術を採用しているとのことで、スタジオ内に設置した30台のカメラの映像を用いて3Dビデオを作成しているそうです。

ちなみにボリュメトリックビデオとは、実際の人やモノなどを3Dデータとして撮影し、取り込む技術。従来3Dコンテンツを作成するには、3Dのモデリングモーションキャプチャーなどの作業が必要なことから多くの時間とコストがかかっていましたが、xRスタジオではボリュメトリックビデオ技術を用いることで、数時間程度と短時間での生成を可能にしている訳です。

▲人物の動きをカメラで直接取り込むボリュメトリックビデオの技術により、従来数週間以上かかっていた3Dビデオの作成を、数時間にまで短縮できたという

xRスタジオ内には2つのスタジオが用意されており、1つは2Kのカメラを用いた「2K スタジオ」、そしてもう1つは4Kのカメラを用いた「4K スタジオ」です。4K スタジオの方が広いことから、より動きのある映像を撮影したり、複数人による動画の撮影などがしやすくなっていたりするそうです。

▲4K スタジオの内部。中央の黒いテープが貼られた部分に取り込む人物などを配置し、それを取り囲むように30台のカメラが設置されている

スタジオ内に入ると30台のカメラが中心を囲む形で設置されており、被写体となる人物などは中心に立って演技などをしながら撮影する形になるとのこと。カメラは側面にしか設置されていませんが、画角がかなり広いことから上部の撮影なども十分カバーできるのだそうです。

またカメラでは映像を撮影するだけでなく、ボリュメトリックビデオで必要な被写体との距離を測定するのにも用いられているとのこと。30のカメラで毎秒30回、約200万点の距離を測定することで、被写体を3Dデータ化しているとのことでした。

▲正面のカメラには表情などが映ることからより高精細なものを設置。他にも音声を取り込むためのマイクが設置されているほか、目線を合わせるための位置を示すシールなども貼られていた

カメラの台数を増やせば映像品質を向上させることも可能で、実際に100台のカメラを用いたシステムなども存在するそうです。ただxRスタジオでは等身大の人物を撮影することに重きを置いており、その品質と処理スピードを考慮すると、30台のシステムが現実的との判断に至ったとのこと。それでもタレント事務所から十分許諾が得られるくらい、十分高い品質を確保できているとしています。

なお、撮影した映像を3Dビデオにする処理は、スタジオ内に設置されたサーバーで実施しているとのこと。約100台のサーバーを用いて処理することにより、スピーディーな処理を実現しているそうです。

▲カメラの映像から3Dビデオ化処理をしているサーバーが設置されたサーバールーム。約100台のサーバーを用いて処理しているとのことだ

筆者も実際に4K スタジオで3Dビデオ撮影を体験してみましたが、演じる側は通常通りの動きをするだけと非常にシンプル。取り込まれた3Dデータを見ても、服のしわなど細部までしっかり表現されており、かなりリアルに3D化されていることが分かります。

▲3Dビデオ化処理中のデータを確認しているところ。リアルな品質を重視しているだけあって正面から見ると写真のように見える

▲もちろん3Dデータなので背面から見ることも可能。服のしわなどもしっかり再現されている

現在はAR SQUARE向けコンテンツ制作が主体のxRスタジオですが、スマートフォンにも「ARCore」「ARKit」といったAR関連技術が既に導入されており、ARコンテンツを再生可能なデバイスが増えていること、そして3DビデオはARだけでなく、VR(仮想現実)、MR(複合現実)などへの活用も可能なことから、今後3Dコンテンツを生成するニーズが高まり、利活用の幅も広がっていくと見ているようです。

またxRスタジオでは、現在AR SQUREで実施している、端末にデータをダウンロードしてからコンテンツを再生する方法だけでなく、顧客の環境に合わせて3Dビデオの画質やフレームレートを調整し、ストリーミング配信する「アダプティブストリーミング」という方式での配信にも対応できるとのこと。

さらに同社では、3Dビデオをその場で取り込みながらライブ配信する、リアルタイム配信が可能な仕組みもほぼ確立できているそうで、近い将来それをサービスとして提供していく考えも示しています。3Dビデオでライブができる環境が整い、なおかつ5Gが普及して高速大容量通信が一般的なものとなれば、自宅にアイドルやアーティストやって来て、目の前でライブしてくれるかのような体験が得られるようになるかもしれません。