PIC

「PIC」は、実空間の色データを取り込みリアルタイムにWeb上に反映させるAR体験ができるプロトタイプです。tensorflow.jsによる機械学習物体検出と8thWallによるWebARの技術を使っています。実空間に存在する色情報をAR上のキャラクターが読み込み、その色に合わせて変化する、リアルとバーチャルを連動させたAR体験が可能です。
今回はAR上のバーチャルキャラクター「PIC」と、実空間に「PIC」のお皿のオブジェクトを用意し、そこに載せた果物の色に合わせて「PIC」の体の色が変化するという演出をお愉しみいただけます。スポイトで吸い取った物体の陰影も細かく読み取ることが可能。また専用のアプリは不要でWeb上でARを体験することができます。
このプロトタイプはデザイナーが新しいキャラクター「PIC」を制作したことをきっかけに、エンジニアとアイデアを出し合い、キャラクターの特性を活かした表現の探究と、社会実装に向けたプロセスの中でWebARの作品として昇華させました。