Premiere Proを使って、VR動画に3Dオーディオを埋め込む
最近になってようやくVR180動画に3Dオーディオを挿入することが出来るようになりました。
VRカメラと3Dオーディオは非常に相性が良く、没入感が段違いです。
個人的には大分躓いてしまったので、やり方をまとめます。
参考にしたサイト
3Dオーディオのフォーマット「Ambisonics」について
下記のサイトが非常にわかりやすくAmbisonicsについて参考になりました。
大雑把に言えば、下記の
- Ambisonics Aフォーマット：4つのマイクが拾った実際の音。
- Ambisonics Bフォーマット （＝FuNaフォーマット）：Ambisonics Aフォーマットを扱えるようにしたもの。
- AmbiXフォーマット：Ambisonics Bフォーマットを拡張して、より多チャンネルにしたもの。
今からアンビソニックを始めるならアンビソニックといえば、AmbiX！！
https://qiita.com/niusounds/items/81170304c1e9c7c6af2a
ということで良いらしいです。
ここで、私が使っているマイクはZOOMのH3-VRというマイクです。
H3-VRはAmbiXで出力できますので、AmbiXで録音してしまえば問題なさそうです。
Ambisonics Bフォーマットについて、もっと詳しく知りたい場合は、下記のpdfを見ると、非常によく分かります。
H3-VRで録音した音のフォーマットの変換方法
さて、Premiere Proで3Dオーディオを実現するためには、「AmbiX」フォーマットにした方が良さそうです。
私の様にAmbisonics Aフォーマットなど、他のフォーマットで録音してしまった場合、「ZOOM Ambisonics Player」を使えば変換できます。
アプリを立ち上げて、WAVファイルを下記の図の赤枠の部分にドロップするか、「Add Files」をクリックして、ファイルを読み込みます。
音の方向はPremiere Proでも調整できるので、ここでは何も考えずに下の図の赤枠の「Convert to Ambisonics B…」をクリックします。
フォーマットに「AmbiX」を選んで、OKを押し、ファイルを出力します。
Premiere ProでAmbiXオーディオを使用する
まずは、Premiere Proを立ち上げ、動画と作成したAmbiXファイルをプロジェクトに突っ込みます。
シーケンス作成
プロジェクトパネルの「新規項目」をクリックして「シーケンス」を選択します。
プリセットの中から、「VR」の項目の内、「アンビソニックオーディオ」の記載があるプリセットを選び「OK」を押します。
Insta360 EVOやVuze XRの場合、5.7K画質の設定
先ほど新規に作成したシーケンスの設定を行います。
プロジェクトパネルの中の、先ほど作成したシーケンスを右クリックして、「シーケンス設定」を選びます。
5.7k画質では、「5760×2880」ですので、フレームサイズを変更します。
変更すると、下側のビデオプレビューの項目の値も自動的に更新されます。
また、この時、画面下側の項目「VRプロパディ」が
- 投影法：正距円筒
- レイアウト：立体視：並列
- 水平キャプチャされたビュー：180度
- 縦：180度
になっていることを確認します。
また、オーディオが4チャネルになっていることを確認しましょう。シーケンスを作るときに「アンビソニックオーディオ 」の記載がある物を選んでない場合、オーディオのチャネル数が選択できない場合があります。別途設定も出来ますが、この地点ならば、新たにシーケンスを作り直した方が早いように思います。
他に、問題が無ければ「OK」を押します。
シーケンスに動画とAmbiXファイルを挿入する
先ほど作成したプロジェクトパネルのシーケンスをダブルクリックして、タイムラインパネルにシーケンスを表示させます。プロジェクトパネルから、動画とAmbiXをドラッグ＆ドロップします。
動画とAmbiXファイルを同期させる
「シフト」を押しながら、動画とAmbiXファイルを同時に選択して、右クリックメニューを開きます。「中程に「同期」があるので、クリックします。
「クリップを同期」の選択項目から、「オーディオ」を選びます。トラックチャネルは動画の音声のチャネルを選んであげれば良いかと思います。
「OK」を押すと同期の処理が始まります。動画、AmbiXファイル共に、音の時間あわせが出来るような音が入っていないと、同期に失敗することがあります。その場合は、タイムラインを見ながら目測で合わせれば、一応なんとかなりますが、手間がかかりますので避けたいところです。
後は、普通（？）に編集を行っていきます。
メディアを出力
無事編集が終えた後、メディアを出力する時の注意事項です。
ファイル ⇒ 書き出し ⇒ メディア
と操作しメディアを書き出す設定の際に、 「オーディオ」の項目の中の「チャネル」を「4.0」に設定します。このように、「チャネル」を「4.0」に設定できない場合、書き出し設定の「形式」がAmbiXに対応していない可能性があります。
現状H.264以外にAmbiXに対応した形式は無いようです。H.264を選んでください。
「オーディオ」の項目を更に下げて「オーディオはアンビソニックスです」にチェックを入れます。
後は、「書き出し」か「キュー」を選べば終了です。
私が躓いてしまった点
Premiere Pro公式サイトがわかりにくい
下記のPremiere Proの「アンビソニックスオーディオの組み立て」が非常に分かりにくいです。
4のオーディオトラックミキサーでのエフェクト適用、この操作は絶対必要というわけではありません。映像と方向が合っていないときに、揃えるための機能です。無視してもかまいません。
「Cinegy Daniel2」が3Dオーディオに対応していない
現状では、Adobe Premiere Proの出力形式で3Dオーディオに対応しているものは、H.264以外にありません。
下記の記事にて書いていますように、私は3D動画を作る際に「Cinegy Daniel2」というプラグインを使っています。
5.7k画質の動画を扱っていると、このプラグインの有無ではエンコード時間に雲泥の差があります。
ところが、この「Cinegy Daniel2」、音声の出力がモノラルとステレオの2択しかありません。
「ステレオ」を選んでしまっているのに気が付かず、3Dオーディオにならないと、悩んでいました。
「そもそも項目がない」というのは、盲点でした。
イマーシブ環境で3Dオーディオにならない
私の設定がおかしいだけのような気もしますが、編集中はAmbiXファイルの出力が左チャネルだけの出力になっています。Adobeイマーシブ環境で3Dオーディオになりません。
まとめ
今回、やっと3Dオーディオ付きのVR180動画を出力できるようになったので、まとめました。
Daniel2が使えないので、ファイルのエンコード時間がものすごいことになってしまっている点が課題です。
作った動画は、例えば下記の記事に載せた動画がこれに当たります。Oculus等のHMDを使って見ると、映像と音が頭の動きに合わせて動くので、没入感が違います。
360度動画や180度3D動画を撮影されている方は、マイクにこだわってみるのも面白いのではないでしょうか。