XR・AI技術で拡張する未来の体験デザイン。D2C IMG SRC STUDIO×SoVeCが挑むプロトタイピング展示の裏側（2）

自分のスケッチが3Dの惑星となり、空間に浮かぶ体験

——では次に、生成AIを活用した『Drawn Planets』について教えてください。

田中：体験者が手描きしたラフなスケッチを生成AIが即座に3Dの惑星へ変換し、空間に浮かぶ宇宙を構築していく参加型インスタレーションです。ひとつのシステムの中で複数のAIが同時に走っており、スケッチの2Dイラスト化、3Dモデル化、そして惑星の名称とショートストーリーの自動生成までをわずか数分で行います。

——ディスプレイ上の描画のみならず、仮想の宇宙を鑑賞するところまで含めた展示の方法も立体的でユニークでした。

田中：見せ方の工夫として、知覚を統合するようなアプローチを意識しました。今回は大きなモニターをひとつ置くのではなく、複数のディスプレイを分散配置して、断片的な小窓のように演出しています。

『Drawn Planets』

田中：小窓間の何もない空間を人間の脳に補完させることで、VRゴーグルなどのデバイスを装着せずに、その場に巨大なXR空間（小宇宙）を立ち上げました。さらに、鑑賞者がディスプレイのまわりを歩き回ることで、物理的な空間を共有しながらも、視点の差異によって体験者ごとに異なる世界が見える、多層的な共有体験となるよう、バーチャルな空間性を補填する動線設計を図っています。

——この作品でもソニーの技術が使われていますね。

森： 体験者の手元でスケッチが立体化するインプット側のデバイスに、研究開発中である小型の視線認識型ライトフィールドディスプレイが取り入れられています。

田中：この視線認識型ライトフィールドディスプレイの存在は大きかったです。自分が手描きした絵が、手元のディスプレイでリアルな立体になって浮かび上がる。このパーソナルな驚きがあるからこそ、自分が描いた星に対する愛着が湧く。そして、その星が大きな宇宙空間へと放たれていき、最大12個の惑星が回る太陽系の中で自分の星を探して没入していくという感情の導線をつくることができました。

まず最初に惑星のもとになる絵を描く

自分が描いた絵を、生成AIが即座に3Dの惑星へ変換してくれる

——当日は数多くの方が体験されましたが、来場者とのコミュニケーションで工夫されたことはありますか？

田中：3日間の会期中、来場者の反応を見ながら、作品を解説する私たち社員の言葉や、アテンドのアプローチを変化させていきました。最初は「惑星のスケッチを描いてください」と案内していたのですが、途中から「好きなものを何でも描いていいですよ、丸だけでもいいですよ」という声かけに変えました。AIのチューニングで何を描いても惑星になるよう調整していたので、その方がみなさんの発想が広がり、立体になったときの驚きも大きかったからです。

また、体験前に頭でっかちにコンセプトを説明すると没入しづらいため、インプット時の案内役はシンプルな操作説明にとどめ、体験後に「これどうなってるの？」と興味を持ってくれた方に対して、別のフォローアップ担当が深く解説するという役割分担へと、コミュニケーションのかたちが現場でアップデートしていきました。

複数のソースを解析してリアルタイムに音へと変換する音楽体験

——3つ目の作品『DAITON』は、視覚ではなく「音」によるアプローチですね。

菅野悟史さん（以下、菅野）：『DAITON』は、目の前にある言葉や物、風景をAI（LLM）で読み取り、複数のソースを共通のものさしで解析してリアルタイムに音へと変換する、新しい音楽体験のプロトタイプです。

菅野悟史　株式会社D2C　 IMG SRC STUDIO プロデューサー、ディレクター。ライブイベントや共創空間、インスタレーション、Webなどさまざまなタッチポイントでの体験を企業と伴走して作ることを得意とする。時に自身もエンジニアとしてプロトタイプを行いながら新しい技術を使ったものづくりを行う

菅野：これは元々、2025年の大阪・関西万博のオープニングプログラム「Physical Twin Symphony」で披露された、人とAIが共創する新しい楽器のシステムをベースに発展させた作品です。昔の音楽制作ではレコードをサンプリングしていましたが、それを現代の「データとAIによるサンプリング」にアップデートするというメタファーを込めて、ターンテーブルのような装置にしました。

『DAITON』

——具体的にはどのように体験するのでしょうか？

菅野： まず、体験者が紙に書いたテキスト（そのときの気分や好きな言葉など）をカメラで読み取り、さらに目の前にあるオブジェの形状や色、そして空間の盛り上がりなどの周辺環境も同時に取り込みます。

その場で紙に書いた好きな文字が、音を生成するソースのひとつになる

菅野：こだわったのは、単にAIに「曲をつくって」と指示するのではなく、体験者の文脈や思いを乗せることです。マルチモーダルなLLMを用いて、入力されたテキストの意味だけでなく、筆跡や線の太さ、そして一緒に読み込んだオブジェクトの要素などを解釈します。

今回、『DAITON』の制作チームは基本的に私とAIだけなんです（笑）。AIを単なるツールとしてではなく、一緒にシステムやコンセプトをつくり上げる相棒のように捉えました。『DAITON』という名前には「データ」×「AI」×「音（トーン）」という由来があるのですが、これもAIと一緒に相談しながらアイデアを出して決めました。アウトプットのときだけAIを使うのではなく、つくるプロセスそのものからAIと共創したんです。

音が完成した際の画面。手書きの文字や葉っぱなど、取り込まれたソースも映されている

——体験者の反応はいかがでしたか？

菅野：お子さんの名前を書いて装置に読み込ませると、AIがその言葉から受ける印象を解釈して音楽を生成します。AIが「こういう理由でこの音にしました」という解釈を添えることで、体験者は強い納得感と感動を覚えてくれました。テキストひとつを入力して完成品が出てくるだけのAIではなく、非言語的な情報も含めた五感のデータを数値化して音楽に結びつける、新しい可能性を提示できたと思います。

——今回の「TOKYO PROTOTYPE」では、3日間で約44,500人という記録的な集客規模となりました。技術を提供する立場として、ソニーの森さんとしてはどのような反響を感じられましたか？

森：研究開発の人間にとって、これほど多くの方々がコンテンツを通して自分たちの技術にどう反応するかを直接見られたことは、代えがたい大きな収穫でした。例えば『Gate 03』で高精細な3Dの人物モデルを空間に出現させたとき、多くの人がまず「人の顔（目や鼻）」にぐっと近づいてじっくり観察するんです。

『Gate 03』まるでその場に人がいるかのようなリアルさを感じられる

森：この行動特性は「今後のアルゴリズムの改善では、顔の部分だけをより高精細に処理し、ボディは少し間引くことでさらにデータ容量を最適化できる」といったヒントに直結します。今回、研究開発中の「視線認識型ライトフィールドディスプレイ」を組み込んでいただいたり、新しい3D表現に挑戦できたことは、技術の強みや改善点を一般のユーザーの反応からダイレクトに知ることができる素晴らしい機会でした。

吉原：技術を単体で出すのではなく、IMG SRC STUDIOのようなクリエイティブチームと組んで「体験」に落とし込むことで得られるフィードバックは計り知れません。SoVeCとしても、最新技術をただのデモで終わらせず、一般の方が純粋に楽しめるエンターテインメントに昇華できたことは大きな成果でした。製品化の縛りがないからこそ、「やってみてダメなら直せばいい」というポジティブな姿勢で、限界までクオリティを高めることができたのだと思います。

技術が拡張する未来の体験を、都市の中でいち早く形にする

——最後に、IMG SRC STUDIO単体として、そしてSoVeC・ソニーとの協業という観点から、今後目指したい体験づくりについて教えてください。

田中：常にマーケットのニーズと最新技術をキャッチアップし続けるという「IDEATIONS」の姿勢は変わりません。今後は、スマートフォンの画面越しだけでなく、ウェアラブルグラスのような次世代デバイスを取り入れた表現にも挑戦していく可能性があります。

私たちIMG SRC STUDIOの強みはCXを最大化するクリエイティブの力ですが、ゼロから技術開発そのものをしているわけではありません。だからこそ、今回のようにソニーやSoVeCといった、最先端の技術を持つパートナーと一緒にモノづくりをするアプローチは不可欠なものです。

また、本年よりD2CグループはCARTA HOLDINGSのグループとして、NTTドコモの膨大なデータ資産によるマーケティングの強みを持つようになりました。今後は、そうした個人のライフログやインサイトといったデータと、IMG SRC STUDIOのクリエイティブ、そしてSoVeCやソニーの最先端技術を掛け合わせることで、ユーザーにとって最適なタイミングと場所で、よりパーソナルな体験を創出していきたいと考えています。

今回の「TOKYO PROTOTYPE」では、実験的なプロトタイプそのものがエンターテインメントとして成立することが証明されました。これからも、技術が拡張する未来の体験を、都市の中でいち早く形にしていきたいです。

■株式会社D2C
https://www.d2c.co.jp/
■IMG SRC STUDIO：PROTOTYPING LAB
https://www.d2cid.co.jp/lab/
■SoVeC株式会社
https://www.sovec.net/

取材・文：長谷川智祥　写真：井手勇貴　編集：石田織座（JDN）