Research - Augmented/Mixed Reality

 


複合現実感(Mixed Reality)

遮蔽処理

画像処理

  • オプティカルフロー・奥行画像推定

    2枚の連続した画像から変分法によってモーションステレオ問題を解く手法を提案している。 奥行画像をオプティカルフローから直接計算するのではなく、それぞれ異なる項に分離して エネルギー関数を定義し、異なる拘束条件のもとで最適化を行うことで、モーション推定に エラーが含まれていても安定的に解を求めることが可能である。

  • ビデオ補完

    画像の奥行推定に基づく全方位ビデオの補完フレームワークを提案している。 カメラ位置姿勢が与えられた場合に、各画素のフレーム間の動きを推定して、仮想カメラから の奥行を推定する。 得られた奥行画像は形状を考慮した補正手法によって高精度化される。 そして奥行画像をもとに損失画素に色情報を伝搬させることで補完を行う。

レンダリング

  • 視認性ブレンディング

    透過型ディスプレイや、X-rayビジョンなど半透明表現を必要とする例が数多くある。 このような場合に、表示される仮想物体の視認性を時空間に渡って均一に保つ必要がある。 本研究では、仮想物体の視認性を人間の知覚モデルに基づいて推定し、描画にフィードバック することで、安定した視認性を実現する手法を提案している。

  • 大気混濁表現

    屋外環境においては、遠方にある仮想物体は大気混濁の影響を強く受ける。 本研究では、環境光から大気混濁係数を推定し、さらに実時間で高精度な大気混濁効果を 描画する手法を提案している。

トラッキング

  • 合成画像によるカメラのグローバル位置姿勢推定

    事前に取得した3次元モデルを用いてロバストなカメラトラッキングを実現する手法を提案している。 実環境のモデル化では、形状モデルに加えて色情報=アルベドを取得する。 そして現在の光源環境をもとに、実世界の見えを生成し、入力画像とマッチングすることによって カメラの位置姿勢をロバストに推定することが可能となる。

文化財仮想展示