3D e-Heritage / サイバー考古学

仮想復元

• クフ王の太陽の船の仮想復元

  変形する物体の部分データから物体の元の形状を仮想的に復元する手法を提案している。 この手法では物体の素材の物理的特性から得られる制約を用いてパラメトリック表現による変形を行う。 本手法をクフ王の第一の太陽の船の形状回復に用いて、手法の有用性を示している。
  
  

  • T. Nemoto, T. Kobayashi, M. Kagesawa, T. Oishi, H. Kurokochi, S. Yoshimura, E. Ziddan, M. Taha, "Virtual Restoration of Ancient Wooden Ships Through Non-rigid 3D Shape Assembly with Ruled-Surface FFD," International Journal of Computer Vision (IJCV), 2023.

  ツタンカーメン王の戦車

  • N. Kawai, Y. Okada, T. Oishi, M. Kagesawa, A. Nishisaka, H. Kamal, "The Ceremonial Canopied Chariot of Tutankhamun (JE61990 and JE60705) A Tentative Virtual Reconstruction," CIPEG Journal: Ancient Egypt & Sudanese Collections and Museums, No. 4, 2020.

動作復元

• 舞踊譜からの踊りの復元

  バレエの舞踊譜の一つであるステパノフ譜からCGモデルを用いて踊り動作の再現を試みた。 この動作の再現過程からステパノフ譜の表現力、正確性を検証した。
  
  

  • M. Sato, R. Hakoda, A. Murakami, N. Wake, K. Sasabuchi, M. Nakamura, T. Oishi, T. Itoh, K. Ikeuchi, "Digital Reconstruction of Ballet Movements from Dance Scores: A Focus on Stepanov's Music Note System and Labanotation," The 32nd conference of the International Council of Kinetography Laban/Labanotation, July 17-23, 2022.

３次元モデリング

• 位置合わせ・統合・テクスチャリング

  大規模文化遺産を３次元デジタル化するためには、データ取得、位置合わせ、統合、テクスチャリングという 過程を経る必要がある。 本研究では、このパイプラインにおける各手法（高速な位置合わせ、並列化による大規模データに対応した全体位置合わせ、 距離データの高精度化）の開発を行っている。
  
  

  • M. Tsuji, R. Shitomi, Y. Fujimura, T. Funatomi, Y. Mukaigawa, T. Morimoto, T. Oishi, J. Takamatsu, and K. Ikeuchi, "Pigment Mapping for Tomb Murals Using Neural Representation and Physics-Based Model," Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV) Workshops, , pp. 1671-1679, 2023.
  • R. Shitomi, M. Tsuji, Y. Fujimura, T. Funatomi, Y. Mukaigawa, T. Morimoto, T. Oishi, J. Takamatsu, and K. Ikeuchi, "Unsupervised learning with physics-based autoencoder for estimating thickness and mixing ratio of pigments," Journal of the Optical Society of America. A, Optics, image science, and vision, , 40(1), 116–128, 2023.
  • K. Ikeuchi, T. Oishi, J. Takamatsu, R. Sagawa, A. Nakazawa, R. Kurazume, K. Nishino, M. Kamakura and Y. Okamoto, "The Great Buddha Project: Digitally Archiving, Restoring, and Analyzing Cultural Heritage Objects," International Journal of Computer Vision (IJCV), Vol. 75, No. 1, pp. 189-208, Oct. 2007. [video]
  • T. Oishi, A. Nakazawa, R. Kurazume and K. Ikeuchi, "Fast Simultaneous Alignment of Multiple Range Images using Index Images," Proc. The 5th International Conference on 3-D Digital Imaging and Modeling (3DIM 2005), pp. 476-483, 2005. [video]
  • T. Oishi, R. Sagawa, A. Nakazawa, R. Kurazume and K. Ikeuchi, "Parallel Alignment of a Large Number of Range Images," Proc. The 4th International Conference on 3D Digital Imaging and Modeling (3DIM 2003), pp. 195-202, 2003.
  • T. Oishi, R. Sagawa, A. Nakazawa, R. Kurazume and K. Ikeuchi, "Iterative Refinement of Range Images with Anisotropic Error Distribution," Proc. IEEE/RSJ Int'l Conf. Intelligent Robots and Systems, pp.79-85, 2002.

  形状解析

  • 地理的解析

    • M. Kamakura, H. Ikuta, B. Zheng, Y. Sato, M. Kagesawa, T. Oishi, K. Sezaki, T. Nakagawa, K. Ikeuchi, "Preah Vihear Project: Obtaining 3D point-cloud data and its application to spatial distribution analysis of Khmer temples," In 3rd ACM SIGSPATIAL International Workshop on Geospatial Humanities (GeoHumanities’19), Article No. 5, pp. 1-9, Nov. 5, 2019, Chicago, IL, USA.

    彫像の解析

    美術品や文化財のデジタルコピーを３次元データを用いて評価する手法を提案している。 本手法では、形状差分の可視化や、自動的な形状特徴分割・形状分類によって アウグストゥス像の分類や、ギリシャ彫刻の作者同定などを実現している。
    
    

    • K. Sengoku-Haga, M. Lu, S. Ono, T. Oishi, T. Masuda, K. Ikeuchi, "Polykleitos at Work: How the Doryphoros Was Used," Artistry in Bronze. XIXth International Congress on Ancient Bronzes, Nov. 1 2017.
    • M. Lu, Y. Zhang, B. Zheng, T. Masuda, S. Ono, T. Oishi, K. Sengoku-Haga, and K. Ikeuchi, "Portrait Sculptures of Augustus: Categorization via Local Shape Comparison," International Congress on Digital Heritage, Vol. 1, pp. 661-664, Marseille, France, Oct. 28-Nov. 1 2013.
    • Y. Zhang, M. Lu, B. Zheng, T. Masuda, S. Ono, T. Oishi, K. Sengoku-Haga and K. Ikeuchi, "Classical Sculpture Analysis via Shape Comparison," International Symposium on Culture and Computing 2013, Kyoto, Japan.

  • 構造解析

    １２世紀に建造されたカンボジア・バイヨン寺院は多数の石材によって構成されている。 その中でも中央塔の劣化は激しく、石材の落下により複雑な構造となっている。 本研究では、レーザ計測による３次元データから３次元プリンタによって模型を製作し、 この模型を用いた風洞実験の結果と、石材の負荷試験の結果から中央塔の構造安定性を評価した。
    
    

    • S. Yamada, M. Araya, A. Yoshida, T. Oishi, "Structural stability evaluation study applying wind tunnel test and monitoring of Bayon main tower, Angkor Thom in Cambodia," Structural Studies, Repairs and Maintenance of Heritage Architecture XV, WIT Transactions on The Built Environment, 171, 287-296, 2017.

  • 尊顔の分類

    カンボジアバイヨン寺院は１２世紀に建立され、尊顔を配した複数の塔からなる構造物である。 日本国政府アンコール遺跡救済チームの研究によると、計１７３の尊顔は３つのグループに分類できると されている。 本研究では、３次元デジタルデータから生成した距離画像を用いて、教師有り・無しの分類手法によって これらの尊顔が３つのグループに分類できるかを検証した。
    
    

    • M. Kamakura, T. Oishi, J. Takamatsu and K. Ikeuchi, "Classification of Bayon Faces Using 3D Model," Proc. 11th International Conference on Virtual Systems and Multimedia (VSMM 2005), October 2005. (Paper Award in the category Heritage)

  可視化

  • クラウドレンダリング

    クラウド上に保存された大規模３次元メッシュデータを、ネットワーク経由で実時間レンダリングする手法を開発した。 この手法では、モデルベースとイメージベースの手法を組み合わせることで負荷を分散し、効果的なレンダリング速度と品質の バランスを実現している。 階層的なメッシュ構造によりモデルベースのLODを実現し、Grid-Lumigraphによって生成された画像を 視線方向に応じてブレンディングしながらマッピングすることで、品質が高い描画を実時間で実行することが可能である。
    
    

    • Y. Okamoto, T. Oishi, and K. Ikeuchi, "Image-Based Network Rendering of Large Meshes for Cloud Computing," International Journal of Computer Vision (IJCV), Vol. 94 No. 1, pp. 12-22, Aug. 2011.

• 陰多項式（IP）位置合わせ / 超音波画像への応用

  陰多項式を用いた高速且つ高精度に３次元データを位置合わせする手法を提案している。 この手法では、低次元から高次元に陰多項式モデルを適応的に変化させることによってロバストで 高精度な位置合わせを実現している。 また距離場から勾配を直接計算するため、対応点探索を必要とせず、効率的な計算が可能である。
  
  

  • B. Zheng, R. Ishikawa, J. Takamatsu, T. Oishi and K. Ikeuchi, "A Coarse-to-fine IP-driven Registration for Pose Estimation from Single Ultrasound Image," Computer Vision and Image Understanding (CVIU), Vol.117, No. 12, pp. 1647-1658, 2013.
  • B. Zheng, R. Ishikawa, T. Oishi, J. Takamatsu and K. Ikeuchi, "A Fast Registration Method Using IP and Its Application to Ultrasound Image Registration," IPSJ Transactions on Computer Vision and Applications (CVA), Vol. 1, 209-219, 2009.