武蔵野大学 データサイエンス学部 中村研究室 Musashino University / Faculty of Data Science / Nakamura Lab Musashino University / Faculty of Data Science / Nakamura Lab

Curiosity, Truth & Beauty
for Growing AI

XR Interaction & Immersive Data Science Lab
AIを育てる
― 因果構造を空間に外部化する ― Growing AI
― Externalizing Causal Structures into Space ―
scroll
Research Direction

「AIを育てる」 Growing AI Growing AI

現在のAIは、大量のデータから統計的なパターンを学習することには成功しています。しかしそれは、世界の描写を圧縮しているに過ぎず、「なぜそうなるのか」という因果構造そのものを扱っているわけではありません。

私たちの研究は、知識を固定された重みに圧縮するのではなく、因果構造を空間上に外部化し、介入と検証を通じて構造を明示的に扱う枠組みを構築することを目的としています。このアプローチを Immersive Data Science（IDS） と呼びます。

Current AI succeeds at learning statistical patterns from large datasets — but that amounts to compressing descriptions of the world, not handling causal structure itself.

Our research aims to build a framework that externalizes causal structure into space rather than compressing knowledge into fixed weights, and treats structure explicitly through intervention and validation. We call this approach Immersive Data Science (IDS).

具体的な研究テーマ

Research Themes

以下は、Immersive Data Science が適用可能な応用例であり、因果構造の外部化と介入設計という共通原理に基づいています。

The following are application areas where Immersive Data Science can be applied, grounded in the shared principles of externalizing causal structure and designing interventions.

  • バーチャル空間における人間の活動を観察・データ化し、人間の行動や社会的相互作用を学習するアルゴリズムを設計する。
  • Observe and record human activity in virtual spaces; design algorithms that learn human behavior and social interaction.
  • 観察と分析を通じて、「人間とは何か」「人間社会の真実とは何か」という本質的な問いに向き合う。
  • Through observation and analysis, engage with fundamental questions: "What is a human?" and "What is the truth of human society?"
  • 人間や社会そのものを研究対象とし、それに対して好奇心を持ち続けるAIの構造や学習過程を探究する。
  • Take humans and society as the subject of study; explore the architecture and learning processes of AI that maintains curiosity toward them.
  • 人間社会、とりわけ日本文化に内在する価値観や感性を扱い、「美」をどのように表現・評価・学習できるかをアルゴリズムとアプリケーションの両面から探る。
  • Engage with values and sensibilities embedded in human society — particularly Japanese culture — and explore how "beauty" can be expressed, evaluated, and learned through both algorithms and applications.

おそらく、これからAIと共存していくためには、上記のことをAIに理解させる必要がある。そのためには、データの規模を拡大するだけでなく、AIが因果を捉えられるような認識の仕組みそのものを問い直す必要がある。

To truly coexist with AI going forward, we likely need to make AI understand the above. That requires not just scaling data, but fundamentally rethinking the cognitive mechanisms by which AI can grasp causality.

Research Framework

Immersive Data Science IDS

Immersive Data Science (IDS)
没入環境における因果構造の外部化と継続的蓄積
Externalizing and Accumulating Causal Structures in Immersive Environments
没入観測レイヤー
Immersive Observation Layer
環境そのものが実験システム
Environment as Experimental System
VR HMDPC / モバイルPC / Mobile
位置・空間レイアウトPosition & Spatial Layout
視線・注意Gaze & Attention
身体動作・ジェスチャーBody Motion & Gesture
インタラクション・同期行動Interaction & Sync Actions
時系列データTemporal Sequences
＊ログではなく，一次的な構造データ
* Primary structural data, not logs
人間（構造設計者）
Human (Structural Designer)
判断者ではなく，設計者
Not a judge — a designer
問題の定式化Problem Formulation
制約の設計Constraint Design
目的の設計Objective Design
介入の承認Intervention Approval
「構造は人間が設計し，データが洗練する」
"Structures are designed by humans, refined by data"
観測
Observation
構造の蓄積
Structure Accumulation
介入
Intervention
検証
Validation
外部化された
世界モデル
Externalized
World Model
因果グラフ
Causal Graph
状態遷移構造
State Transition Structure
介入ポイント
Intervention Points
ドメイン横断パターン
Cross-domain Patterns
↕ モデル更新 ↕ ↕ Model Update ↕
因果推論エンジン
Causal Inference Engine
do計算法 / 反事実推論
do-calculus / Counterfactual
介入効果（do演算子）Intervention Effect (do-operator)
反事実シーン生成Counterfactual Generation
交絡因子の検出Confounder Detection
構造の検証Structure Validation
行動Action → 結果Outcome
LLM（補助ツール）
LLM (Auxiliary Tool)
拡張機能 — 主役ではない
Augmentation — not the core
仮説の生成Hypothesis Generation
言語による解釈Language Interpretation
計画立案の支援Planning Support
細い矢印で世界モデルと接続thin link to World Model
「LLMは構造を補助するが，定義しない」
"LLM augments structure, does not define it"
⬡ 構造的メモリレイヤー — IDSの核心
⬡ Structural Memory Layer — The Core of IDS
過去の因果モデル
Past Causal Models
これまでのドメイン・実験から蓄積された因果グラフ
Accumulated causal graphs from previous domains and experiments
ドメイン横断的な構造の再利用
Cross-domain Structure Reuse
異なる問題領域に転用できる抽象的な因果パターン
Abstract causal patterns transferred across different problem domains
制約ライブラリ
Constraint Library
人間の構造設計者によって検証済みの再利用可能な制約
Reusable structural constraints validated by human designers
因果構造は重みに閉じ込めず，外部化する
Causal structures are externalized, not compressed into weights
構造には介入・検証ができる
Structures can be intervened and validated
知識はドメインを横断して蓄積される
Knowledge accumulates across domains
LLMは補助ツール
LLM is auxiliary
人間は構造設計者
Humans are structural designers
∞ 継続的介入  ·  パラメトリック圧縮を超えて
∞ CONTINUAL INTERVENTION  ·  Beyond Parametric Compression

Immersive Data Science（IDS）は、人が行動する「空間そのもの」を実験環境として扱い、観察・解釈・介入・検証を連続的に行うデータサイエンスの枠組みである。VRや3D空間における人の位置、視線、動作、発話といった身体に結びついたデータを直接取得し、因果の構造を浮かび上がらせることを目指す。

Immersive Data Science (IDS) treats the "space itself" where people act as an experimental environment, continuously performing observation, interpretation, intervention, and validation. It directly captures embodied data — position, gaze, movement, and speech in VR and 3D space — to surface causal structure.

Read more →
Project 2025

未来創造プロジェクト発表会 Future Creation Project 学部1年生の作品 | 2026.01.30 1st-year student works | 2026.01.30

Baseball5初心者の導入障壁を解消するVRシステムの開発と評価

富井 祐莉奈

VR, Baseball5, 体験型学習, ルール習得, スポーツ支援


VR空間を用いてBaseball5未経験者へのルールの複雑さやプレー成功体験の欠如を取り除くための体験型システムを開発・評価

没入型3D空間における視覚・聴覚情報の制限および不一致がバドミントン選手の予測反応に及ぼす影響

網倉 悠真

VR, バドミントン, 視覚・聴覚情報, 予測反応, 知覚トレーニング


VR空間を用いてバドミントンのレシーブにおける視覚・聴覚情報の役割を定量的に分析・解明する。

没入型3D空間における照度可視化を用いた家具配置支援システムの開発

浦本 美紗

VR, 照度可視化, 家具配置, ゲーミフィケーション, インテリアデザイン


VR空間の採光分布を視覚化し、用途に応じた家具の最適配置をゲーム形式で導き出す支援システム。

非没入型3D空間における物体認識とデジタルプロキシ生成に向けた基礎検討

DONG XINLIN（トウ キンリン）

WebXR, 物体認識, YOLO, Object Proxy, 仮想環境


WebXRを用いた仮想環境において、物体認識技術を活用した空間理解およびインタラクション拡張の可能性について検討。

音声の感情および意味内容を植物形態へ動的に反映するプロシージャル生成手法

滑川 裕里瑛

LLM, フィロタキシス, 感情分析, プロシージャル生成, 3D植物モデル


音声の感情や文脈をLLMで解析し、植物の成長法則であるフィロタキシスを用いて3D植物形態へ動的に反映する手法を提案。

行動情報に基づくパーソナライズXR旅行体験システム

ZHANG ZIBIN（チョウ シヒン）

XR旅行, AI分析, 3Dガウシアンスプラッティング, パーソナライズ


ユーザーの興味や行動をAIで分析し、その結果に応じて表示内容が変化するXR旅行体験の試作。

受講者の躓き可視化と動的グルーピングを用いたWeb3D講義支援システムの開発

松尾 明柊

Web3D, オンライン講義, 躓き可視化, 動的グルーピング, 学習支援


Web3D技術による仮想教室空間を構築し、受講者の躓きレベルを可視化するシステム。

身体的操作によるメタパラダイム的操作設計と因果連鎖探究シミュレーションへの展開

桐山 夢叶

メタパラダイム, 身体操作, インタラクション, 時間操作, 体験型シミュレーション


「時間」や「力」といった世界の法則そのものを身体動作によって直接操作できる「メタパラダイム的操作」を提案。

マルチモーダル生成AIによる協調作業チャット支援

ZHU YIFAN（シュ イチボン）

Slack, マルチモーダルAI, 画像生成, 翻訳, 要約, 協調作業


Slackチャンネル上で情報交換をより簡単に行い、従来は複数のプラットフォームで作成していた内容をSlack内で直接完結させる。

五十嵐 彩花

単眼カメラ映像を用いたバスケットボールのディフェンス動作の定量的評価

五十嵐 彩花

単眼カメラ, MediaPipe, バスケットボール, ディフェンス評価, 骨格推定


単眼カメラとMediaPipeによる骨格推定を用い、バスケットボールのディフェンス動作を定量的に評価する手法を検討。

姿勢推定を活用したラグビーのディフェンス動作品質可視化システムの構築

望月 惺斗

姿勢推定, ラグビー, ディフェンス動作, AI可視化, スマートフォン


スマートフォンで撮影された映像のみを入力とし、AIを用いて選手の動作を数値化・可視化するシステム。

二層式リアルタイム翻訳を用いた多言語対応仮想コミュニケーション空間の研究

WAN HENG（バン コウ）

リアルタイム翻訳, 多言語対応, 仮想空間, 音声認識, コミュニケーション


二層式リアルタイム翻訳システムを用い、翻訳の即時性と精度を両立させた多言語対応の仮想コミュニケーション空間の構築を目的とする。

← スワイプして他の発表を見る Swipe to see more presentations →
Student Output

ゼミ生アウトプット Student Output Student Output

HMDを用いたバーチャル空間におけるマルチユーザ型チア練習システム

大西 力登, 神寶 結美子

DICOMO2021

VR, チアダンス, マルチユーザ, WebXR, モーションデータ

バーチャル展示会における視聴行動自動測定システム

杉山 諒馬

DICOMO2021

VR展示会, WebXR, マルチユーザ, 視聴率自動測定

バーチャル時空間再生システム

中込 くるみ

DICOMO2022

VR展示会, WebXR, マルチユーザ, モーションデータ, 3D空間再生

XRハイフレックス型グループワークシステム

中舘 澪男

DICOMO2022

VR, MR, WebXR, オンラインディスカッション, ハイフレックス

静的観光地コンテキストに基づいたインタラクティブVR旅行ツアー自動生成システム

阿部 広夢

DICOMO2022

VR旅行, WebXR, 趣味嗜好推定, 360°パノラマ

MRHMDを用いた購買促進ショート動画提示システムの開発

赤嶺 佳名子

HCI研究会2022

MR, 商品購入支援, MRHMD, ショート動画

パーソナルカラーに基づいた被服マッチングMRHMDシステムの開発

米津 舞優

HCI研究会2022

MR, HMD, パーソナルカラー, ファッション

MRHMDを用いた重畳表示型通知テキストに対する補色を考慮した視認性調整機能の提案

木村 志織

HCI研究会2022

MR, HMD, 画像認識, 視認性向上, 補色

物体検知と拡散モデルを用いた360°パノラマ画像音響効果システム

外崎 未空

DICOMO2023

VR, 音生成, 拡散モデル, 物体検知, 360°パノラマ

拡散モデルを用いたVR情景描画システム

瀧澤 琴萌

DICOMO2023

VR, 読書支援, 画像生成, 拡散モデル, 360°パノラマ

VRObjFinder:VR空間制作支援のためのLLMを用いた3DCGオブジェクト自動選択手法

阿部 広夢

DICOMO2023

VR, 空間制作支援, LLM, 3DCGオブジェクト自動選択

3次元Web空間におけるバーチャル展示会の来場者行動分析

古田 藍夏

IPSJ第86回全国大会2024

VR展示会, マルチユーザ, WebXR, データビジュアリゼーション

3次元Web上の学習環境におけるマルチユーザの行動分析

窪田 すみれ

IPSJ第86回全国大会2024

VR教室, 学習環境, マルチユーザ, WebXR

MRHMDと物体認識を用いたメディア広告におけるエンゲージメント強化手法

槇本 瑛太

IPSJ第86回全国大会2024

MR, HMD, マーケティング, メディア広告

3次元Web空間におけるユーザの動きに応じたガイド自動表示手法の提案

岡田 呼想

IPSJ第86回全国大会2024

VR, ナビゲーション, ディープラーニング, モーションデータ

バーチャルイベントにおける来場者対話フィードバックシステムの提案

渡邊 はるな

IPSJ第86回全国大会2024

VR展示会, 視聴データ, フィードバックシステム

MRHMDと物体認識を活用した日常環境における自然な外国語学習手法の提案

石川 花美

IPSJ第86回全国大会2024

MR, 学習支援, 外国語, 物体認識

オンライン骨格診断システムのためのデータ収集手法の提案

細川 明鈴

IPSJ第86回全国大会2024

骨格診断, 調査, データ取得・分析

オンラインコミュニティにおけるユーザ属性に基づくグループ分けシステムの試作と評価

呉 祖熙, 単 詩軒

CN・SPT合同研究発表会2024

VR, オンラインディスカッション, マルチユーザ, WebXR

画像解析とLLMとの対話によるAI画像生成プロンプトエンジニアリング支援

阪田 琴美

第42回DCC合同研究発表会

プロンプトエンジニアリング, Human-AI Interaction, 画像生成AI

発散と収束の可視化による議論構造の最適化

山本 瑞希

第127回CN合同研究発表会

グループディスカッション, AIファシリテータ, 発散・収束

非言語情報の可視化によるオンラインディスカッションの質向上支援

吉岡 万里奈

第127回CN合同研究発表会

ディスカッション, 非言語情報, コミュニケーション

自律対話型アバタとVR環境を用いた地震災害時行動評価システムの開発

濱川 桜子

第42回DCC合同研究発表会

防災教育, VR, 自律対話型エージェント, 行動評価

ライブ映像の周辺トーン抽出に基づく空間的照明演出モデルの構築

野宮 彩羽

第42回DCC合同研究発表会

バーチャル空間, 色抽出, 自動照明システム

グループディスカッションにおける可視化ツールを用いた振り返りの効果分析

鷲巣 かなは

第127回CN合同研究発表会

グループディスカッション, リフレクション, 可視化ツール

← スワイプして他の研究を見る Swipe to see more research →