ニューラル表現

• G²fR

  本論文では、インプリシットニューラル表現における周波数正則化の基本的なメカニズムを明らかにし、 グリッドベース特徴符号化（GFE）を用いたNeRFの表現能力について包括的に議論している。 またNeRFにおけるカメラポーズの最適化と少数ショット再構成の問題に対して、一般化された周波数正則化戦略 を提案する。
  
  

  • S. Xie, S. Zhou, K. Sakurada, R. Ishikawa, M. Onishi, and T. Oishi, "G²fR: Frequency Regularization in Grid-based Feature Encoding Neural Radiance Fields," The 18th European Conference on Computer Vision (ECCV), 2024. (to appear)
    
    

  Ref²-NeRF

  ガラスケース内の物体など、ガラス越しに物体を３次元モデル化することは難しい。 提案手法では、複数方向から撮影した画像列からガラス面および屈折をモデル化し、さらに視点依存の 反射成分と、視点非依存の物体形状、表面色を分離してニューラル表現として学習することによって、 これらの成分、パラメータを推定することが可能となっている。
  
  

  • W. Kim, T. Fukiage, and T. Oishi, "REF² NeRF: Reflection and Refraction-aware Neural Radiance Field," International Conference on Intelligent Robots (IROS), 2024. [project] [code] (to appear)
    
    

  FIR NeRF

  遠赤外線カメラおよび可視光カメラから得られた画像列を用いて、ニューラル表現によって ガスなどの不可視成分を３次元モデル化する手法を提案している。 この手法では可視光の色場、密度場を事前に学習し、ジオメトリ情報である同密度場を利用することによって 遠赤外線カメラ画像列から不可視成分を３次元モデル化することが可能となった。
  
  

  • X. Li, S. Xie, K. Sakurada, R. Sagawa, and T. Oishi, "Implicit Neural Fusion of RGB and Far-Infrared 3D Imagery for Invisible Scenes," International Conference on Intelligent Robots (IROS), 2024. (to appear)
    
    
    

  INF: Implicit Neural Fusion

  異なるセンサによって撮影されたデータをニューラル表現を用いて融合する手法を提案している。 この手法では、LiDARデータから得られたニューラル密度場を共通のジオメトリ情報として、 NeRFと同様にカメラ画像群の見えを生成する色場を学習することで、センサ間較正、データ融合を実現している。
  
  

  • S. Zhou, S. Xie, R. Ishikawa, K. Sakurada, M. Onishi, and T. Oishi, "INF: Implicit Neural Fusion for LiDAR and Camera," International Conference on Intelligent Robots (IROS), 2023. , arXiv:2308.14414 [project]

センサーシステム

• 地上型センサ

  ローバや、レール上を移動する地上型レーザレンジセンサシステムを開発している。 本システムはレーザプロファイラと全方位カメラから構成されている。 ３次元モデル再構成のためにカメラ画像と奥行データのフュージョンによる 高精度なカメラープロファイラ校正手法や位置姿勢推定手法を提案している。
  
  

  • R. Ishikawa, S. Zhou, Y. Sato, T. Oishi, K. Ikeuchi, "LiDAR-camera Calibration using Intensity Variance Cost," International Conference on Robotics and Automation (ICRA 2024), 2024.
  • R. Ishikawa, T. Oishi, K. Ikeuchi, "LiDAR and Camera Calibration using Motion Estimated by Sensor Fusion Odometry," International Conference on Intelligent Robots (IROS 2018), pp. 7342-7349, 2018., arXiv:1804.05178, 2018. [src]
  • R. Ishikawa, M. Roxas, Y. Sato, T. Oishi, T. Masuda, K. Ikeuchi, "A 3D Reconstruction with High Density and Accuracy using Laser Profiler and Camera Fusion System on a Rover," International Conference on 3D Vision (3DV), pp. 620-628, Oct 27, 2016, Palo Alto. [video]
  • B. Zheng, T. Oishi, K. Ikeuchi, "Rail Sensor: A Mobile Lidar System for 3D Archiving the Bas-reliefs in Angkor Wat," IPSJ Transactions on Computer Vision and Applications (CVA), Vol. 7, pp. 59-63, July 27, 2015.

• 空中型センサ

  大型建造物の上部構造などを３次元計測するため、空中浮遊型レーザレンジセンサシステムを 開発している。 高精度なレーザレンジセンサは計測に時間がかかるため、計測データが歪んで得られるという 問題がある。 そこで、画像ベースおよびモデルベースの歪み補正手法を提案している。
  
  

  • B. Zheng, X. Huang, R. Ishikawa, T. Oishi, K. Ikeuchi, "A New Flying Range Sensor: Aerial Scan in Omini-directions," In Proc. International Conference on 3D Vision (3DV), pp. 623-631, Oct. 19-22, 2015, Lyon, France. [video]
  • R. Ishikawa, B. Zheng, T. Oishi, K. Ikeuchi, "Rectification of Aerial 3D Laser Scans via Line-based Registration to Ground Model," IPSJ Transactions on Computer Vision and Applications (CVA), Vol. 7, pp. 89-93, July 27, 2015. [video] [video]
  • A. Banno, T. Masuda, T. Oishi, and K. Ikeuchi, "Flying Laser Range Sensor for Large-Scale Site-Modeling and Its Applications in Bayon Digital Archival Project," International Journal of Computer Vision (IJCV), Vol. 78, No. 2-3, pp. 207-222, Jul. 2008.

カメラトラッキング、画像処理

• イベントカメラトラッキング

  ロボットによる物体マニピュレーションのためのイベントカメラトラッキング手法を提案している。 本手法では、様々なレンズに対応したカメラプロジェクションモデルを採用し、モーションブラーを考慮した誤差関数と最適化手法を用いている。
  
  

  • Y. Kang, G. Caron, R. Ishikawa, A. Escande, K. Chappellet, R. Sagawa, T. Oishi, "Direct 3D model-based object tracking with event camera by motion interpolation," International Conference on Robotics and Automation (ICRA), 2024.

  RINDエッジ検出

  本研究では、２次元画像中の異なる４つのタイプのエッジを検出する学習ベース手法を提案している。 ネットワークアーキテクチャはSWIN Transformerをベースにし、Diceロスの導入によって細線を抽出可能である。
  
  

  • L. Miao, R. Ishikawa, and T. Oishi, "SWIN-RIND: Edge Detection for Reflectance, Illumination, Normal and Depth Discontinuity with Swin Transformer," British Machine Vision Conference (BMVC), 2023. [video] [code]

ロボットシステム

• 農業支援ロボット

  農作物の育成には農薬散布は欠かせないが、食の安全やコストの問題が大きい。 そこで不整地移動が可能な四足歩行ロボットを用いて、害虫を検出、除去するシステムを開発した。
  
  

  • S. Balasooriya, Y. Sato, T. Oishi, "Autonomous Robotic Platform for Proximal Data Collection Amongst Foliage Utilizing an Anisotropically Flexible Manipulator," The 2024 16th IEEE/SICE International Symposium on System Integration (SII), Ha Long, Vietnam, 2024.
    
    
  • H. Hansen, Y. Liu, R. Ishikawa, T. Oishi, Y. Sato, "Quadruped Robot Platform for Selective Pesticide Spraying," 18th International Conference on Machine Vision Applications (MVA), Hamamatsu, Japan, 2023.
    
    

  ドローン協調システム

  広い視野を持つドローンの特性を活かすため、地上移動体からのドローンの姿勢推定システムを開発しました。 このシステムでは、LiDARによる直接計測と、カメラによる消失方向の間接計測によって相対位置姿勢を求めています。
  
  

  • J. Hausberg, R. Ishikawa, M. Roxas. T. Oishi, "Relative Drone - Ground Vehicle Localization using LiDAR and Fisheye Cameras through Direct and Indirect Observations," arXiv:2011.07008 2020. [video]

  ヒューマノイドロボット遠隔操作システム

  災害地域など遠隔地にいるヒューマノイドロボットをネットワークを通して操作するシステムを提案している。 本システムでは、遠隔操作における遅延や、人間とロボット間の円滑な動作伝達のために、 仮想空間によるインタフェースとタスクモデルによる操作伝達、動作生成手法を用いている。 またロボットが環境とインタラクションするために、作業対象の動作（関節）モデルを 人間の手の動きと点群の位置合わせを用いて推定する手法を提案している。
  
  

  • L. Fu, R. Ishikawa, Y. Sato and T. Oishi, "CAPT: Category-level Articulation Estimation from a Single Point Cloud Using Transformer," International Conference on Robotics and Automation (ICRA 2024), 2024.
  • R. Hartant, R. Ishikawa, M. Roxas, T. Oishi, "Hand-Motion-guided Articulation and Segmentation Estimation," The 29th IEEE International Conference on Robot and Human Interactive Communication (RO-MAN), Naples Italy, 2020, arXiv:2005.03691, 2020. [src] [video]
    
    
  • M. Ogawa, K. Honda, Y. Sato, T. Oishi and K. Ikeuchi, "Development of interface for teleoperation of humanoid robot using task model method," 2016 IEEE/SICE International Symposium on System Integration, Dec. 2016, Sapporo, Japan.
    
    M. Ogawa, K. Honda, Y. Sato, S. Kudoh, T. Oishi, K. Ikeuchi, "Motion Generation of the Humanoid Robot for Teleoperation by Task Model," In Proc. 24th IEEE International Symposium on Robot and Human Interactive Communication, pp. 71-76, Sept. 1, 2015, Kobe Japan.

SLAM

• 自由空間を考慮した頑健なループクロージング

  本研究では、球面調和(SH)に基づく高速構造表現(SH-FS)を提案している。 SH-FSは、疎な点群から構造情報を1つのベクトルとして抽出することで、疎な点群を用いた視覚的SLAMに適用することができる。 またSLAMシステムのロバスト性を向上させるために、視覚的SLAMにおける構造を考慮したループクロージング法を提案した。
  
  

  • S. Xie, R. Ishikawa, K. Sakurada, M. Onishi and T. Oishi, "Fast Structural Representation and Structure-aware Loop Closing for Visual SLAM," IEEE/RSJ International Conference on Intelligent Robots (IROS), 2022. [video]

  SLAMデバイスによるロボットナビゲーション

  カメラやスマートフォン、HMDといったSLAMデバイスをロボットに取り付けることによって簡易にナビゲーションを実現する手法を提案しています。 このナビゲーションを実現するために、ロボットの自由度に応じたモーションベースの校正手法を提案しました。 さらにロボットと環境の整合性を保つように実時間で校正パラメータを補正することで安定したナビゲーションを実現しています。
  
  

  • R. Ishikawa, T. Oishi, K. Ikeuchi, "Dynamic Calibration between a Mobile Robot and SLAM Device for Navigation," The 28th IEEE International Conference on Robot and Human Interactive Communication, 2019. [src (HoloLensRobotNav)] [src (HoloLens Robot ROSPackage] [video(long)] [video(short)]

デプス画像処理

• 奥行推定

  LiDARデータは高精度である一方、遠方ではデータが疎であるという問題がある。 そこで単画像或いはステレオ画像を用いてLiDARデータを高密度化する手法を開発している。
  
  

  • Y. Yao, R. Ishikawa, S. Ando, K. Kurata, N. Ito, J. Shimamura, T. Oishi, "Non-Learning Stereo-Aided Depth Completion Under Mis-Projection via Selective Stereo Matching," in IEEE Access, vol. 9, pp. 136674-136686, 2021.

  • M. Roxas and T. Oishi "Variational Fisheye Stereo," IEEE Robotics and Automation Letters, vol. 5, no. 2, pp. 1303-1310, April 2020. - arXiv:1909.07545 [src] [video]

  • Y. Yao, M. Roxas, R. Ishikawa, S. Ando, J. Shimamura, and T. Oishi, "Discontinuous and Smooth Depth Completion with Binary Anisotropic Diffusion Tensor," IEEE Robotics and Automation Letters, vol. 5, no. 4, pp. 5128-5135, Oct. 2020. arXiv:2006.14374
  • A. Hirata, R. Ishikawa, M. Roxas, T. Oishi "Real-Time Dense Depth Estimation using Semantically-Guided LIDAR Data Propagation and Motion Stereo," IEEE Robotics and Automation Letters, vol. 4, no. 4, pp. 3806-3811, Oct. 2019. [video] [src (MATLAB for accuracy comparison)]

都市モデリング

• 都市環境における位置観測

  高層ビル間など都市環境においては正確な位置を計測することは困難である。 そこで周囲の３次元データを用いて、衛星の観測可能性を判別し、GPS測位の精度を 向上させる手法を提案している。 この手法では、GPSアンテナと衛星間に遮蔽物があるかを判別し、観測不可能な 衛星を測位計算から除外することで測位の高精度化を図っている。
  
  

  • A. Kumar, Y. Sato, T. Oishi and K. Ikeuchi, "Identifying Reflected GPS Signals and Improving Position Estimation Using 3D Map Simultaneously Built with Laser Range Scanner," 13th ITS Asia-Pacific Forum, Auckland, New Zealand, April 2014.

• 大規模構造物のモデル化

  GPS測位が不可能なトンネルなどの地下構造物をモデル化するフレームワークを提案している。 本フレームワークでは、LiDARによって重なりを持つ部分形状データを多数取得し、GPSデータと紐づけ られた出口付近のデータと同時に位置合わせすることによって、整合性の取れた地球座標系での ３次元モデル取得を実現している。
  
  

  • L. Xue, S. Ono, A. Banno, T. Oishi, Y. Sato, K. Ikeuchi, "Global 3D Modeling and its Evaluation for Large-Scale Highway Tunnel using Laser Range Sensor," In Proc. 19th ITS World Congress Vienna, Oct. 2012, Austria. (Best Paper Award)

• 物体認識

  トンネル内では、照明やインディケータなど繰り返しの構造物を検出、トラッキングすることが 車両の挙動を決定するためには重要である。 本手法では構造物の見えと動きの両方を情報を用いて安定したトラッキングを実現している。
  
  

  • Z. Wang, M. Kagesawa, S. Ono, A. Banno, T. Oishi, K. Ikeuchi, "Detection of Emergency Telephone Indicators in a Tunnel Environment," International Journal of Intelligent Transportation Systems Research, Jan. 2014.

• ITSの歴史的考察

  • K. Ikeuchi, T. Oguchi, M. Kuwahara, S. Ono, T. Oishi, S. Kamijo, A. Mitsuyasu, K. Koide, R. Horiguchi, M. Iijima, H. Hanabusa, M. Yoshimura, Y. Kameda, K. Mori, A. Tanaka, T. Matsunuma, H. Goto, M. Hasegawa, M. Suda, S. Sasaki, K. Kishi, S. Yorozu, H. Ichiawa, D. Oshima, Y. Tamura: "8% Reduction of CO2 Emission by Raising Awareness of Citizens: Development and Evaluation of Regional Transport Information System for Promoting Eco-Friendly Travel Behavior", ITS World Congress, 2015.10
  • K. Koide, T. Oishi and K. Ikeuchi, "Historical Analysis of the ITS Progress of Japan," International Journal of Intelligent Transportation Systems Research, pp. 1-10, 2015.