Japan Association for the 2025 World Exposition

Physical Twin Symphony -Harmonizing Humanity and Technology-

人とテクノロジーが共創する実験的ライブエンターテイメント

OUTLINE

プロジェクト概要

#Digital Installation
#Event
#Live Interaction

「Physical Twin Symphony」は、万博の幕開けを飾るオープニングプログラムとして、まだ、誰も見たことの無いライブパフォーマンスの未来を観客と出演者が共に体感出来る世界初となるライブエンターテイメントです。テクノロジーによって、人間が身体・脳・空間・時間の制約から解放され、「自分ではないもう一つの身体」を現実世界に出現させ、自身の能力を最大限に発揮したり、多様な人々の多彩な技能や経験を共有できる技術の総称を「Physical Twin Symphony」と名付けられています。 　

「Physical Twin Symphony」は、すべての人がクリエイターになれる未来、例えどんな環境にいながらも多様な人々の多彩な技能や経験を共有できる技術、人とテクノロジーが共創する実験的ライブエンターテイメント。   D2C ID IMG SRC STUDIOでは、Physical Twin Symphonyのサウンド生成AIシステム構築、楽器開発を担当しました。

DATE：
2025.4

EXPERIENCE

体験設計

「Physical Twin Symphony」のステージ演出の中で、実際にAI※と共創しながら作曲やアレンジを行える「PT2030」を使ったライブパフォーマンスを実施。 紙に「詩」を書き、カメラで取り込みAIにデータを送ると、AIは書かれている言葉の意味・筆跡から「感情」を読み解き、それを元に曲のベースとなるマスタールール※が決まり、音楽の符号データ（MIDIノートデータ）をAIで生成します。
そして書かれた詩に含まれるエレメント（雨や風など）を抽出しサウンドエフェクトを選択します。 さらにPT2030のノブやフェーダーを操作することで、AIの生成した音楽に対して、スピードや音階などの調整を直感的にフィードバックできる。言語化が難しい「気持ちよさ」などのフィーリングによる感覚をAIとの共創に持ち込め、途切れることなくAIと一緒に音楽を生み出し続けることができる。 ステージ上で人とAIが共創する姿は、まだ誰もみたことがない初めての試みであり、「AIに命令することで作らせる」「AIにリードしてもらって作る」ものではなく、人とAIがクリエイティブな関係性をもった世界を描くことで、AIとの向き合い方を提案しています。

※AI 
テキストを書いた画像を読み込みマルチモーダルLLM（テキスト、画像など複数のモダリティを統合的に処理・生成できるモデル）で内容を解析し感情や雰囲気やエレメントを分類。それを元に音楽の符号データ（MIDIノートデータ）を生成する。生成される音楽の符号データは誰かの音楽を模倣したものではなく、一般的な音楽の教養やオープンになっている音楽理論もとに生成している。 使用しているAIモデル：GPT-4O, O1をAzure Open AI Service経由で利用  

※マスタールール
感情（positiveなど、5パターン）、ムード（happyなど、20パターン）、キー（ E majorなど）、テンポ（120 BPMなど）、小節数（4小節など）、コード進行（C#m7 | F#m7 | B7 | Emaj7 |など）

だれでも演奏に参加できるPT2030と連動している楽器型デバイス（ギター、ストリングス、ブラス）では、リズムを刻むシンプルな操作だけで音楽の知識やスキルがない人でも、その場ですぐにステージに立ってプロのミュージシャンと並んで緊張感を持ちながらセッションして自らの表現で音楽を生み出すことに参加できます。