LiDAR-カメラ融合

• LiDAR-Camera Calibration with 2DGS

  INFと同様に、LiDARデータから生成した2D Gaussian Splattingをジオメトリ情報として、 カメラ画像群の見えの整合性を最適化することによって、ロバストなLiDAR-カメラ間較正を実現している。
  
  

  • S. Zhou, S. Xie, R. Ishikawa, and T. Oishi, "Robust LiDAR-Camera Calibration With 2D Gaussian Splatting," IEEE Robotics and Automation Letters, vol. 10, no. 5, pp. 4674-4681, May 2025. [code] [bib]
    
    

  INF: Implicit Neural Fusion

  異なるセンサによって撮影されたデータをニューラル表現を用いて融合する手法を提案している。 この手法では、LiDARデータから得られたニューラル密度場を共通のジオメトリ情報として、 NeRFと同様にカメラ画像群の見えを生成する色場を学習することで、センサ間較正、データ融合を実現している。
  
  

  • S. Zhou, S. Xie, R. Ishikawa, K. Sakurada, M. Onishi, and T. Oishi, "INF: Implicit Neural Fusion for LiDAR and Camera," 2023 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Detroit, MI, USA, 2023, pp. 10918-10925. arXiv:2308.14414 [project]

ニューラル表現

• G²fR

  本論文では、インプリシットニューラル表現における周波数正則化の基本的なメカニズムを明らかにし、 グリッドベース特徴符号化（GFE）を用いたNeRFの表現能力について包括的に議論している。 またNeRFにおけるカメラポーズの最適化と少数ショット再構成の問題に対して、一般化された周波数正則化戦略 を提案する。
  
  

  • S. Xie, S. Zhou, K. Sakurada, R. Ishikawa, M. Onishi, and T. Oishi, "G²fR: Frequency Regularization in Grid-based Feature Encoding Neural Radiance Fields," The 18th European Conference on Computer Vision (ECCV), pp. 186-203, 2024. [sup] [bib]
    
    

  Ref²-NeRF

  ガラスケース内の物体など、ガラス越しに物体を３次元モデル化することは難しい。 提案手法では、複数方向から撮影した画像列からガラス面および屈折をモデル化し、さらに視点依存の 反射成分と、視点非依存の物体形状、表面色を分離してニューラル表現として学習することによって、 これらの成分、パラメータを推定することが可能となっている。
  
  

  • W. Kim, T. Fukiage, and T. Oishi, "REF² NeRF: Reflection and Refraction-aware Neural Radiance Field," International Conference on Intelligent Robots (IROS), pp. 7196-7203, 2024. [project] [code] [bib]
    
    

  FIR NeRF

  遠赤外線カメラおよび可視光カメラから得られた画像列を用いて、ニューラル表現によって ガスなどの不可視成分を３次元モデル化する手法を提案している。 この手法では可視光の色場、密度場を事前に学習し、ジオメトリ情報である同密度場を利用することによって 遠赤外線カメラ画像列から不可視成分を３次元モデル化することが可能となった。
  
  

  • X. Li, S. Xie, K. Sakurada, R. Sagawa, and T. Oishi, "Implicit Neural Fusion of RGB and Far-Infrared 3D Imagery for Invisible Scenes," International Conference on Intelligent Robots (IROS), pp. 12501-12508, 2024. [bib]
    
    
    

センサーシステム

• 地上型センサ

  ローバや、レール上を移動する地上型レーザレンジセンサシステムを開発している。 本システムはレーザプロファイラと全方位カメラから構成されている。 ３次元モデル再構成のためにカメラ画像と奥行データのフュージョンによる 高精度なカメラープロファイラ校正手法や位置姿勢推定手法を提案している。
  
  

  • R. Ishikawa, S. Zhou, Y. Sato, T. Oishi, K. Ikeuchi, "LiDAR-camera Calibration using Intensity Variance Cost," 2024 IEEE International Conference on Robotics and Automation (ICRA), Yokohama, Japan, 2024, pp. 10688-10694.
  • R. Ishikawa, T. Oishi, K. Ikeuchi, "LiDAR and Camera Calibration using Motion Estimated by Sensor Fusion Odometry," International Conference on Intelligent Robots (IROS 2018), pp. 7342-7349, 2018., arXiv:1804.05178, 2018. [src]
  • R. Ishikawa, M. Roxas, Y. Sato, T. Oishi, T. Masuda, K. Ikeuchi, "A 3D Reconstruction with High Density and Accuracy using Laser Profiler and Camera Fusion System on a Rover," International Conference on 3D Vision (3DV), pp. 620-628, Oct 27, 2016, Palo Alto. [video]
  • B. Zheng, T. Oishi, K. Ikeuchi, "Rail Sensor: A Mobile Lidar System for 3D Archiving the Bas-reliefs in Angkor Wat," IPSJ Transactions on Computer Vision and Applications (CVA), Vol. 7, pp. 59-63, July 27, 2015.

• 空中型センサ

  大型建造物の上部構造などを３次元計測するため、空中浮遊型レーザレンジセンサシステムを 開発している。 高精度なレーザレンジセンサは計測に時間がかかるため、計測データが歪んで得られるという 問題がある。 そこで、画像ベースおよびモデルベースの歪み補正手法を提案している。
  
  

  • B. Zheng, X. Huang, R. Ishikawa, T. Oishi, K. Ikeuchi, "A New Flying Range Sensor: Aerial Scan in Omini-directions," In Proc. International Conference on 3D Vision (3DV), pp. 623-631, Oct. 19-22, 2015, Lyon, France. [video]
  • R. Ishikawa, B. Zheng, T. Oishi, K. Ikeuchi, "Rectification of Aerial 3D Laser Scans via Line-based Registration to Ground Model," IPSJ Transactions on Computer Vision and Applications (CVA), Vol. 7, pp. 89-93, July 27, 2015. [video] [video]
  • A. Banno, T. Masuda, T. Oishi, and K. Ikeuchi, "Flying Laser Range Sensor for Large-Scale Site-Modeling and Its Applications in Bayon Digital Archival Project," International Journal of Computer Vision (IJCV), Vol. 78, No. 2-3, pp. 207-222, Jul. 2008.