FUTURE CREATIVE MODELING STUDY
未来創造型研究 FUTURE CREATIVE MODELING STUDY
Digital Twin（以下DT）上で人を中心とした AI、VRI、ロボットの研究を行います。例えば平生先生のAIアバターを生成し、人と互助をするAIアバターを実現します。これにより学生にとって研究が身近になると共に研究にワクワクできる環境を構築してゆきます。
AI バーチャル平生
RAGを用いた生成AIにより甲南学園の創設者である平生釟三郎（1866-1945）のフィロソフィーを含んだ祝辞（スピーチ）生成を行い、その祝辞を生成AIによる平生釟三郎の音声＋3DCGにより生成したAIバーチャル平生です。実際に2025年の甲南大学の卒業式と入学式で実演しました。
4つのサブ研究からなるAIバーチャル平生の生成
平生釟三郎の声の再現
音声データが残っていない甲南大学の創設者「平生釟三郎」の音声を合成音声で再現するプロジェクト。甲南OBの方の証言をもとに、声の印象に近い俳優の音声データを活用し、平生らしい音声を作り上げた。
3Dモデル
平生先生の現存する白黒写真を、生成AIを用いてカラー化しました。3次元の形状データは、甲南大学1号館および図書館前に設置されている胸像をレーザースキャンし、3D化しました。最終的にその3Dデータにカラー化した写真を貼り付けることで、よりリアルな三次元データを作成しました。
バーチャル平生のジェスチャ
演説における自然で印象的なジェスチャを生成するため、全身の動きを計測できるモーションキャプチャシステムを用いてデータ収集を行いました。VR空間での視認性を高めるため、実際の演説よりも動作を大きめに計測し、視覚的な効果が伝わるよう工夫しています。収録したモーションは3Dモデルに反映され、言語と動作が連動した臨場感ある表現を実装しました。
AI 平生ロボット·VR
平生先生のロボットやバーチャル平生と対話をしたり、肩をトントンと叩いたり、握手をしたりして平生先生に励ましてもらったりできます。また、透明スクリーンにより、あたかも目の前に平生先生がいるような映像を投影します。
6つのサブ研究からなるAI平生ロボット・VR
ロボット・アバターの動きと印象
ロボットやアバターの「しぐさ」や「動き方」が、見る人にどんな印象を与えるかを研究しています。たとえば、おじぎの角度や手の振り方ひとつで、親しみやすさや真面目さの感じ方が変わります。ロボットやCGキャラクターとの自然な対話の実現をめざしています。図のように、大きな姿勢はpositive、小さな姿勢はnegativeな印象を与えることなどがわかっています。
バーチャル平生とのインタラクション
ロボットアームとＨＭＤ（頭部装着型ディスプレイ）などを用いて、VR/AR空間において人があたかもバーチャル平生先生とのタッチ（触覚）を含めた対話が可能となる、クロスモーダルインタラクション技術を開発します。
平生ロボット
顔を持つコミュニケーションロボットを電動車椅子と統合し、甲南大学の創設者「平生釟三郎」の姿を再現するプロジェクト。平生釟三郎の思想を現代に継承し、学生の教育に貢献する「動く伝記」としてのロボットを開発する。
視覚×触覚×動作相互作用による時空間超越身体接触
人間の手の感触（柔軟性、体温、指の動作）を再現するロボットハンド（メタハンド）を開発しています。HMD（ヘッドマウントディスプレイ）で仮想空間に平生先生の3Dモデルを表示し、実空間に設置したメタハンドと重畳することで、平生先生との時間・空間を超えた握手を再現します。
簡易な透明スクリーンを用いた立体像表示
二度と会うことができないはずの人物やアニメやゲームなどのキャラクターが、その場に居るかのように目の前に現れる。原理は鏡とほぼ同じですが、透明スクリーンに光学的機能を付加、サイズや配置などを工夫すれば、立体的な像が効果的に浮かびあがります。
AIカメラを用いたスポーツ映像の自動配信システム
本研究では、近年ますます進化するAI技術と知能ロボットなどの制御で培った技術を利用して、安価で簡単にスポーツ中継を実現するAIカメラ自動配信システムを構築します。また、野球だけでなく、様々な大学スポーツにも活用できるようなシステム構築もめざします。
