AR Foundation に追加され新機能は以下のとおりです。
- 自動環境オクルージョン
- 深度画像
- シーン再構築
目次
自動環境オクルージョン
ARKit 4 を実行している iPad Pro では、フレームごとに深度画像が生成されます。深度画像では、デバイスと現実世界のオブジェクトとの距離がスキャンされ、その距離が各ピクセルによって示されます。
AR Foundation 4.1 には、背景をレンダリングするときにこの深度情報を取り込む、AR Occlusion Manager が含まれています。画像の背景をレンダリングする際、背景のレンダラーは、スキャンされた深度画像のデータに基づいてデプスバッファーを更新します。バーチャルコンテンツが現実世界のコンテンツよりもカメラに近い場合、レンダリングされた仮想シーンでは、仮想オブジェクトが現実世界の前面に表示されます。同様に、バーチャルコンテンツが遠くにあり、現実世界のオブジェクトよりも後ろにある場合は、バーチャルコンテンツはピクセル上にレンダリングされません。つまり、物理的なオブジェクトによってバーチャルコンテンツが隠されます。
このビデオでは、自動環境オクルージョンによって、バーチャルコンテンツと現実世界のコンテンツの視覚的統合がどのように改善されるかを説明しています。
深度画像
開発者は、生データを取得して、追加的に CPU ベースの処理を行うこともできます。AR Foundation 4.1 では、深度画像を構成しているピクセルデータに直接アクセスして、カスタムのアプリケーション動作に使用したり、コンピュータービジョンアルゴリズムに入力したりすることができます。
カラー画像（左）と深度画像（右）の比較
シーン再構築
ARKit のシーン再構築機能では、Apple の新しい iPad Pro に搭載されている LiDAR センサーを使って環境をスキャンし、現実世界の環境を表すメッシュジオメトリを作成することができます。さらに ARKit では、スキャンされたメッシュ内の各三角形を分類するオプションも提供されています。三角形ごとの分類を行うと、その三角形の現実世界での位置に対応する平面のタイプを特定することができます。
ARKit 3.5 と AR Foundation 4.0 で導入されたシーン再構築は、ARMeshManager を介して動作します。環境がスキャンされると、ARMeshManager はバーチャルシーン内にメッシュジオメトリを構築します。このメッシュジオメトリは、物理演算用の衝突ジオメトリを提供するなど、複数の用途に使用できます。
このビデオでは、メッシュの分類機能によって平面をタイプごとに色分けして表示している様子が示されています。また、バーチャルコンテンツとの物理的な相互作用のための衝突ジオメトリとして使用される、メッシュの様子も示されています。
AR Foundation でこれらの機能をすべて使おう
AR Foundation と ARKit XR プラグインパッケージの 4.1 バージョンには、開発を始めるために必要なものがすべて含まれています。これらは Unity 2019 LTS 以降に対応しています。自動オクルージョンの設定方法を示すサンプルは、GitHub の AR Foundation Samples にあります。
ご質問があれば、いつものように、Unity Handheld AR フォーラムにお気軽にお問い合わせください。
AR Foundation を通じて ARKit の最新機能をお届けできることを嬉しく思います。また、皆さんが創り出す新しいコンテンツに出会えるのを楽しみにしています。
フォーラムの投稿を参考に、まずは始めてみてください。
