Research - Augmented/Mixed Reality

 

複合現実感(Mixed Reality)

レンダリング

遮蔽処理

画像処理

  • オプティカルフロー・奥行画像推定

    2枚の連続した画像から変分法によってモーションステレオ問題を解く手法を提案している。 奥行画像をオプティカルフローから直接計算するのではなく、それぞれ異なる項に分離して エネルギー関数を定義し、異なる拘束条件のもとで最適化を行うことで、モーション推定に エラーが含まれていても安定的に解を求めることが可能である。

  • ビデオ補完

    画像の奥行推定に基づく全方位ビデオの補完フレームワークを提案している。 カメラ位置姿勢が与えられた場合に、各画素のフレーム間の動きを推定して、仮想カメラから の奥行を推定する。 得られた奥行画像は形状を考慮した補正手法によって高精度化される。 そして奥行画像をもとに損失画素に色情報を伝搬させることで補完を行う。

トラッキング

  • 合成画像によるカメラのグローバル位置姿勢推定

    事前に取得した3次元モデルを用いてロバストなカメラトラッキングを実現する手法を提案している。 実環境のモデル化では、形状モデルに加えて色情報=アルベドを取得する。 そして現在の光源環境をもとに、実世界の見えを生成し、入力画像とマッチングすることによって カメラの位置姿勢をロバストに推定することが可能となる。

文化財仮想展示