Quest 3 × Geminiで実現！空間が“いま”を語りだすAR体験

こんにちは、D2C ID IMG SRC STUDIO デザインエンジニアの加島です。

Horizon OS v74 よりMeta Quest 3 /3S向けにパススルーカメラ映像へのネイティブアクセスが解放されました。
画面に重ねるだけだった以前と違い、リアルタイムでカメラ映像を取得して任意の処理に使えるという点で、HMD（ヘッドマウントディスプレイ）を「目」として活用できる新たな可能性が開かれました。

HMDでカメラ映像を使えるようになった意義

これまでHMDでは、パススルー映像をそのまま表示することはできても、アプリケーション側で映像データを直接取得して処理することはできませんでした。

今回、カメラ映像へのネイティブアクセスが解禁されたことで、HMDは実空間を「見るだけでなく、理解して応答する」ことが可能になります。

たとえば、現実の映像をAIに送信して解釈させることで、ユーザーの目の前の出来事や物体に合わせた反応を生成する――そんな未来が現実味を帯びてきたのです。

今回は、その新機能とGoogle Geminiを組み合わせて、「空間そのものがユーザーに語りかけてくる」プロトタイプを作成しました。その具体的な内容と可能性について、ご紹介します。

まずは実際の動画をご覧ください！

まずは、今回作成したプロトタイプの実際の動作動画をご覧ください。

ご覧いただいたように、ユーザーがリアルタイムに見ているものに対して、「大阪のおばちゃん」のように関西弁で一言いれていきます。

プロトタイプの具体的なフロー

今回作成したプロトタイプは以下のフローで動作しています。

1. Quest 3のカメラで空間の映像を撮影（5秒ごと）
2. 取得した映像から静止画（JPEG形式）を生成し、Base64エンコードしてGeminiに送信
3. Gemini（gemini-2.0-flash:generateContent）が画像を解析し、プロンプトに沿った短い関西弁の一言を生成
4. 生成されたテキストを浮遊するオブジェクトとして表示

使用した技術スタック

開発環境: Unity 2022.3.58f1

HMDデバイス: Meta Quest 3

AI（画像認識・テキスト生成）: Google Gemini（モデル：gemini-2.0-flash:generateContent）

Gemini APIに対しては以下のようなプロンプトを与えています。

「あなたは、大阪のおばちゃん。歳は58歳です。大阪のおばちゃんらしく、元気で明るく振る舞ってください。画像を見てお節介な一言を返してください。ただし、句読点なしの10文字以内の関西弁で返してください。」

このように、AIに具体的な役割や表現方法を与えることで、空間がユーザーと自然で面白いコミュニケーションを行えるようになりました。

XR・AIの活用可能性

Quest 3で取得したリアルタイムカメラ映像をAIに解析させることで、「今この瞬間」「今この場所」の状況に反応する演出や体験が可能になります。これにより、体験の文脈や意味がより深く、現場に即したものになります。

例えば、カメラ映像で自己位置を推定するVPSと今回のようなAIを活用すれば、特定の場所に合わせたその瞬間限りの「パーソナルな空間演出」に進化します。

モールを歩けば欲しいセールの情報が飛び交う、観光地では目の前の建物や風景に合わせて解説やストーリーが立ち上がる、そんな「その場の文脈に応じた没入体験」が実現できます。

ロケーションベースXR

D2C IDでは、地域や旅行地、訪問空間と連動するロケーションベースのXRにも力を入れており、「体験者の情報拡散 → 集客支援」のループを実現するためのソリューションを提供しています。

これまでにも、スマートフォンを使ったVPS AR技術を用いて、IPコンテンツを現地の風景と重ね合わせる体験や、地方の特定スポットで展開されるARガイドなど、ロケーションに特化した多様なXR体験を開発してきました。

MONSTER HUNTER WILDS AR Tokyo Metropolitan Government Attack

SENGOKU XR - DATE MASAMUNE IN SENDAI

 今回のプロトタイプでは、そうした空間体験にAIの視点を加えることで、より文脈的で知的な「インテリジェント現実」への発展を模索しています。

おわりに

現実を「見る」だけのデバイスではなく、「理解して反応する」デバイスへ。

パススルーカメラのネイティブアクセスは、XRによる現実拡張を、もう一歩前に進める技術でした。

今後もD2C IDは、このような新技術も選択肢にいれながら「現実を利用した体験」を実装していきます。