複合現実感(Mixed Reality)
レンダリング
-
画像ブレンディングの際、従来の視認性モデルでは元画像の閾値超過領域のコンテンツの見えを考慮することができなかった。
そこで元画像の見えに応じて適応的に重みを推定し、各画像特徴(空間周波数や色など)に対する見え方を統合する、
コンテンツ適応的特徴集約機構を持つ視認性モデルを提案した。
-
透過型ディスプレイや、X-rayビジョンなど半透明表現を必要とする例が数多くある。
このような場合に、表示される仮想物体の視認性を時空間に渡って均一に保つ必要がある。
本研究では、仮想物体の視認性を人間の知覚モデルに基づいて推定し、描画にフィードバック
することで、安定した視認性を実現する手法を提案している。
-
屋外環境においては、遠方にある仮想物体は大気混濁の影響を強く受ける。
本研究では、環境光から大気混濁係数を推定し、さらに実時間で高精度な大気混濁効果を
描画する手法を提案している。
-
M. Carlos, T. Oishi, K. Ikeuchi,
"Real-time rendering of aerial perspective effect based on turbidity estimation,"
IPSJ Transactions on Computer Vision and Applications (TCVA), vol. 9, no. 1, 2017.
M. Carlos, T. Oishi, K. Ikeuchi,
"Turbidity-based Aerial Perspective Rendering for Mixed Reality,"
in Proc. 12th IEEE International Symposium on Mixed and Augmented Reality (ISMAR2014),
pp. 283-284, Munich, Sept. 2014.
遮蔽処理
-
単画像と不正確な奥行マップから実時間で遮蔽処理を実現する手法を提案している。
本手法ではCNNベースのセマンティックセグメンテーションによって得られたラベルをもとに
仮想物体の明るさを適切に調整することで、実世界と仮想物体の遮蔽関係を表現することが
可能となっている。
-
複合現実感において、実物体と仮想物体間の遮蔽矛盾を解決することは、仮想物体の奥行知覚に
大きく影響する。
しかし屋外においてはシーンの奥行を正確に推定することは困難である。
そこで人間の知覚モデルを用いて、実世界と仮想世界の境界を半透明ブレンディングすること
によって正しい前後知覚を生じさせる手法を提案している。
-
T. Fukiage, T. Oishi, and K. Ikeuchi,
"Reduction of contradictory partial occlusion in mixed reality by using characteristics of transparency perception,"
Proc. 10th IEEE International Symposium on Mixed and Augmented Reality (ISMAR 2012), pp. 129-139, , 2012.
-
T. Fukiage, T. Oishi, and K. Ikeuchi,
"A simple photometric factor in perceived depth order of bistable transparency patterns,"
Journal of Vision, 14(5): 2, May 5 2014.
-
屋外における前景抽出は予測不可能な光源変化のため難しい問題である。
そこで光源変化をモデル化し、いくつかの拘束条件を加えることでロバストに前景抽出を行い
遮蔽処理を実現する手法を提案している。
また影の検出、再投影によって実世界・仮想世界の自然なインタラクションを表現する手法
を提案している。
-
L. B. Vinh, T. Kakuta, R. Kawakami, T. Oishi, K. Ikeuchi,
"Foreground and Shadow Occlusion Handling for Outdoor Augmented Reality,"
Proc. 9th IEEE International Symposium on Mixed and Augmented Reality (ISMAR 2010),
pp. 109-118, 13-16 Oct. 2010, Seoul.
-
T. Kakuta, , L. B. Vinh, R. Kawakami, T. Oishi, K. Ikeuchi,
"Detection of Moving Objects and Cast Shadows Using a Spherical Vision Camera for Outdoor Mixed Reality,"
Proc. ACM Symp. on Virtual Reality Software and Technology (VRST 2008), Oct. 2008, pp. 219-222.
画像処理
-
2枚の連続した画像から変分法によってモーションステレオ問題を解く手法を提案している。
奥行画像をオプティカルフローから直接計算するのではなく、それぞれ異なる項に分離して
エネルギー関数を定義し、異なる拘束条件のもとで最適化を行うことで、モーション推定に
エラーが含まれていても安定的に解を求めることが可能である。
-
画像の奥行推定に基づく全方位ビデオの補完フレームワークを提案している。
カメラ位置姿勢が与えられた場合に、各画素のフレーム間の動きを推定して、仮想カメラから
の奥行を推定する。
得られた奥行画像は形状を考慮した補正手法によって高精度化される。
そして奥行画像をもとに損失画素に色情報を伝搬させることで補完を行う。
トラッキング
-
事前に取得した3次元モデルを用いてロバストなカメラトラッキングを実現する手法を提案している。
実環境のモデル化では、形状モデルに加えて色情報=アルベドを取得する。
そして現在の光源環境をもとに、実世界の見えを生成し、入力画像とマッチングすることによって
カメラの位置姿勢をロバストに推定することが可能となる。
文化財仮想展示
-
いにしえの飛鳥京を複合現実感技術によって復元展示するプロジェクトを推進している。
このプロジェクトでは、実光源環境に合わせた仮想物体の陰影付け手法の提案や、
仮想展示による教育効果の検証など、基礎技術から応用まで幅広い研究を行っている。
-
T. Kakuta, T. Oishi, K. Ikeuchi,
"Development and Evaluation of Asuka-Kyo MR Contents with Fast Shading and Shadowing,"
Proc. Int. Society on Virtual Systems and MultiMedia (VSMM 2008),
pp.254-260, Oct. 2008.
-
T. Kakuta, T. Oishi, K. Ikeuchi,
"Virtual Kawaradera: Fast Shadow Texture for Augmented Reality,"
Proc. the Tenth International Conference on Virtual System and Multimedia (VSMM 2004),
pp. 141-150, November 2004.