Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
中村 啓太; 羽成 敏秀; 松本 拓; 川端 邦明; 八代 大*
Journal of Robotics and Mechatronics, 36(1), p.115 - 124, 2024/02
During the decommissioning activities, a movie was shot inside the reactor building during the investigation of the primary containment vessel by applying photogrammetry, which is one of the methods for three-dimensional (3D) reconstruction from images, to the images from this movie, it is feasible to perform 3D reconstruction of the environment around the primary containment vessel. However, the images from this movie may not be suitable for 3D reconstruction because they were shot remotely by robots owing to limited illumination, high-dose environments, etc. Moreover, photogrammetry has the disadvantage of easily changing 3D reconstruction results by simply changing the shooting conditions. Therefore, this study investigated the accuracy of the 3D reconstruction results obtained by photogrammetry with changes in the camera angle of view under shooting conditions. In particular, we adopted 3D computer graphics software to simulate shooting target objects for 3D reconstruction in a dark environment while illuminating them with light for application in decommissioning activities. The experimental results obtained by applying artificial images generated by simulation to the photogrammetry method showed that more accurate 3D reconstruction results can be obtained when the camera angle of view is neither too wide nor too narrow when the target objects are shot and surrounded. However, the results showed that the accuracy of the obtained results is low during linear trajectory shooting when the camera angle of view is wide.
馬場 啓多*; 渡部 有隆*; 中村 啓太*; 松本 拓; 羽成 敏秀; 川端 邦明
Proceedings of 29th International Symposium on Artificial Life and Robotics (AROB 2024) (Internet), p.751 - 756, 2024/01
This study proposes a partial-to-partial point cloud registration method based on estimated parameters in photogrammetry and QR code. Some research and development on Generating a 3D map of the workspace by photogrammetric methods have been proposed for the decommissioning work at the Fukushima Daiichi Nuclear Power Plant. Photogrammetry is a method for 3D reconstruction of the location and shape of target objects from many images, and the processing time depends on the number of images. Considering the reconstruction of a large area, the number of images increases, and processing time also increases significantly. To reduce such computational time, this study considers applying SfM-MVS (Structure from Motion and Multi-View Stereo), which is one of the photogrammetry methods, to each segmented image group, aligning each obtained result, integrating them, and creating a model of the entire space. This alignment is called partial-to-partial registration and it is difficult to find the correspondence points for registration. Therefore, we place markers such as QR codes in the target reconstruction space to make it easy to find the correspondence points. We adopt the QR code as a 2D code because it is easy to reconstruct by photogrammetry. In this paper, we discuss the validity of this approach by comparing it with the integrated model using all images applying SfM-MVS. We verify the validation of the proposed method by simulation due to the large number of images and the ease of modifying the environment. The experiment about varying the number of image divisions shows that the reconstruction result from all images is more accurate than the integrated result. However, all of these models have high reconstruction accuracy. Moreover, the accuracy of the integrated model does not depend on the number of divisions.
松本 拓; 羽成 敏秀; 川端 邦明; 八代 大*; 中村 啓太*
Proceedings of 2023 IEEE International Conference on Robotics and Biomimetics (IEEE ROBIO 2023) (Internet), 7 Pages, 2023/12
This paper describes an automatic system that performs three-dimensional (3D) modeling from image sequences acquired from a camera during a survey to understand the state of the environment sequentially. The developed system sequentially generates local 3D models from image sequences acquired from a camera by the Structure from Motion and Multi-View Stereo (SfM-MVS) and integrates the models. This system, consisting of a camera, a computer, and storage, handles streaming, image acquisition, 3D modeling, and integration processes. The system is designed to perform each process in parallel while performing image acquisition. Local 3D models are integrated based on the similarity of camera trajectories, which correspond to overlapped images in each sequence, estimated from SfM. Our experiments verified the operation of the developed system from the image acquisition to the integration of local 3D models in two cases. Consequently, we confirmed that an integrated model could be generated by automatically executing each process in the system through experiments.
松本 拓; 羽成 敏秀; 川端 邦明; 八代 大*; 中村 啓太*
Proceedings of 22nd World Congress of the International Federation of Automatic Control (IFAC 2023) (Internet), p.12107 - 12112, 2023/07
This paper describes a method that integrates Three-Dimensional (3D) environment models reconstructed from image sequences to reduce the computation time of 3D environment modeling that estimates camera poses and simultaneously reconstructs a 3D environment model from images based on photogrammetry. However, 3D environment modeling is time-consuming when using many images because it finds correspondence points between them by feature matching. Therefore, we assume that the computation time is reduced by reconstructing 3D environment models from image sequences divided from an image sequence because the number of images used in 3D environment modeling becomes less. However, it is difficult to integrate the 3D environment models because the scale between them may not be the same, and overlapping regions between 3D environment models are small for integrating the models. In this paper, we propose a method that integrates 3D environment models based on camera trajectories corresponding to overlapped images between image sequences used in 3D environment modeling. To integrate them, transformation parameters are calculated from poses of camera trajectories between 3D environment models. After that, the transformed camera trajectory is aligned using coarse and fine registration. Consequently, compared with 3D environment modeling that processes an image sequence in batch, the proposed method could reduce the computation time and reconstruct a comparable integrated model.
羽成 敏秀; 川端 邦明; 中村 啓太*
Proceedings of 22nd World Congress of the International Federation of Automatic Control (IFAC 2023) (Internet), p.11597 - 11602, 2023/07
本論文では、時系列画像に基づく立体復元の計算効率を向上させるための多峰性検出による画像選択手法について述べる。立体復元にかかる計算時間を低減するためには、時系列画像から適切な画像を選択する必要がある。そのため、画像選択過程において統計的な検定による多峰性検出を導入し、カメラから取得した画像間のオプティカルフローに基づく変位の健全性評価に適用した。その結果、立体復元の計算時間を低減するために、時系列画像から適した画像を抽出可能であることが示唆された。このことから、提案手法によって選択された画像群は、立体復元計算の効率的な実行に寄与できることを確認した。
中村 啓太; 羽成 敏秀; 川端 邦明; 馬場 啓多*
Artificial Life and Robotics, 28(2), p.352 - 360, 2023/02
In photogrammetry, when each image captures the features of the target object for 3D reconstruction, a more highly accurate 3D reconstruction can be obtained in a shorter time from a small number of images. For this reason, effective images for 3D reconstruction must be selected. We generate test images by constructing a virtual environment and changing the shooting conditions based on the simulation for this image selection. In particular, we focus on linear trajectory shooting, in which the camera moves on a straight rail and obtains images. We verify the 3D reconstruction considering the calculation time reduction based on effective image selection. The experimental result shows that the camera pose estimation can be improved by using images obtained at multiple shooting angles in the case of linear trajectory shooting. The additional experimental result reveals that the calculation time for the reconstruction result is reduced by applying the images selected at regular intervals.
松本 拓; 羽成 敏秀; 川端 邦明; 八代 大*; 中村 啓太*
Proceedings of 28th International Symposium on Artificial Life and Robotics (AROB 28th 2023) (Internet), p.768 - 773, 2023/01
This paper reports on an automatic process for 3D environmental modeling from acquired image sequences. We have studied methods of 3D environment modeling to understand unknown environments. However, 3D environment modeling using acquired image sequences is a time-consuming task. When 3D environment modeling is performed using image sequences acquired in an unknown environment, the generated models do not always produce the expected result. Therefore, we consider that the quality of the generated 3D environment models could be quickly verified by realizing the sequential presentation of the generated models. To verify the effectiveness of the automatic process, we implemented it under different execution environments. Consequently, the automatic process could generate a 3D environment model from acquired image sequences.
羽成 敏秀; 川端 邦明; 中村 啓太
Proceedings of 2022 IEEE/SICE International Symposium on System Integration (SII 2022) (Internet), p.1041 - 1045, 2022/01
被引用回数：3 パーセンタイル：87.14(Computer Science, Interdisciplinary Applications)本稿では、時系列画像からの立体復元計算を効率に行うための画像選択法について述べる。立体復元計算の効率を向上させるためには、時系列画像から適切な画像を選択する必要がある。そこで本研究では、遠隔操作ロボットに搭載されたカメラから得られた画像間の変位に基づくしきい値を検討した。その結果、提案手法は時系列画像からオプティカルフローに基づくしきい値を設定することで、効率的な立体復元のために適切な画像を選択できることが確認された。これにより、重複画像や類似度の高い画像を除外して効率的な立体復元を行うことで、計算コストを削減できることが示唆された。
中村 啓太; 羽成 敏秀; 川端 邦明
Proceedings of 27th International Symposium on Artificial Life and Robotics (AROB 27th 2022) (Internet), p.771 - 775, 2022/01
画像からの三次元復元において、画像枚数が少なくても、各画像が三次元復元の対象物の特徴を捉えていれば、短時間で高精度な三次元復元を実現できることが知られている。そこで、三次元復元に有効な画像を選択するために、シミュレーションによる仮想環境の構築と撮影条件の変更により、画像選択のためのテストデータを生成することが考えられる。本研究では、直線レール上をカメラが移動して画像を撮影する場合に着目し、この場合における、三次元復元にかかる計算時間短縮を考慮した有効な画像選択条件をシミュレーションにより調査・検証する。
羽成 敏秀; 川端 邦明; 中村 啓太*; 成瀬 継太郎*
Proceedings of International Workshop on Nonlinear Circuits, Communications and Signal Processing (NCSP 2020) (Internet), p.242 - 245, 2020/02
本発表では、遠隔操作ロボットによって収集された時系列画像から効率的な立体復元を実現するための画像選定手法を提案する。提案手法は、画像間で求められるオプティカルフローに基づいて立体復元の計算に適した画像を選択する。この提案手法を用いて、移動と停止を繰り返す遠隔操作ロボットによって記録された時系列画像から立体復元に適切な画像を選択できることを確認した。その結果、提案手法で選択された比較的少数の画像で立体復元を効率的に実行できることを実証した。
羽成 敏秀; 川端 邦明; 中村 啓太*; 成瀬 継太郎*
no journal, ,
福島第一原子力発電所の廃炉作業に資する遠隔操作ロボットにより収集された時系列画像からの構造物の立体復元技術の開発を進めている。廃炉作業に用いられる遠隔操作ロボットは、作業環境の調査のために移動と停止を繰り返す間欠的な動作を頻繁に行うことが過去の事例から確認されている。そのため、停止時に得られる画像は重複することとなり、立体復元に寄与せず計算負荷が増加する傾向がある。本発表では、間欠的な動作を行う遠隔操作ロボットにより収集された時系列画像に対してオプティカルフローに基づいた画像選定手法を導入し、選択された画像からの立体復元について検証を行った。その結果、提案した画像選定手法により、間欠的な移動を含む時系列画像に対して計算負荷を低減した効率的な立体復元を行うことができる可能性が示された。
羽成 敏秀; 川端 邦明; 中村 啓太*; 成瀬 継太郎*
no journal, ,
福島第一原子力発電所の廃炉作業のために遠隔操作機器で取得した時系列画像に基づいて、構造物の立体復元技術の開発を進めている。本発表では、オプティカルフローを用いて時系列画像から抽出間隔を決定する画像選択方法を提案し、選択された画像からの立体復元について検証を行った。立体復元結果から、遠隔操作機器の停止時間中の重複画像が時系列画像からほぼ削除され、提案手法が計算コストの削減に寄与できることを確認した。
羽成 敏秀; 川端 邦明; 中村 啓太*; 成瀬 継太郎*
no journal, ,
福島第一原子力発電所(1F)の廃炉作業では、原子炉建屋内調査等に多くの遠隔機器が投入されているが、遠隔機器の操作は主に搭載カメラからの映像をもとに行われており、作業空間の十分な把握が難しい場合がある。このため、我々は遠隔機器操作者の支援を目的として時系列画像から構造物を立体復元する手法の研究開発を行っている。本発表では、公開されている1F調査動画に対して開発手法を適用し、構造物の立体復元が効率的に実現できることを確認した。
羽成 敏秀; 川端 邦明; 中村 啓太*; 成瀬 継太郎*
no journal, ,
福島第一原子力発電所の廃炉作業における操作者支援のための時系列画像からの構造物の立体復元技術の開発を進めている。本発表では、立体モデルの欠損箇所を補完する手法の開発を目的として、時系列画像の欠落箇所を特定する手法の検証結果について報告する。提案した手法により、カメラ軌道の推定結果から時系列画像の欠落箇所を特定できることを確認した。これにより、時系列画像の欠落箇所を特定することで立体モデルの補完を効率的に行うことができる可能性が示された。
川端 邦明; 中村 啓太; 羽成 敏秀; 阿部 文明; 鈴木 健太
no journal, ,
本稿では、原子炉内の構造物の状態を推定、把握するために軌道上を走行するカメラで取得された画像から立体復元を行う手法開発の一環として構築した、画像収集条件(照明,カメラ軌道,画像選択等)と立体復元精度の関係を検証するためのシミュレータについて報告を行う。
羽成 敏秀; 川端 邦明; 中村 啓太
no journal, ,
福島第一原子力発電所の廃炉作業に向けて、時系列画像からの構造物の立体復元技術の開発を進めている。本発表では、オペレータ支援に向けて立体復元計算を効率化するための基盤研究として、立体モデルの復元精度を定量的に評価する手法について検証を行った。別計測で取得したデータを基準とした評価手法を導入することにより、生成された立体モデルの復元精度を定量的に判断できる可能性が示された。
羽成 敏秀; 川端 邦明; 中村 啓太
no journal, ,
現在PCVからの安全、着実な燃料デブリ取り出し推進に貢献するための、遠隔で原子炉内の状況把握を行うシステムの研究開発プロジェクトを進めている。本講演では、廃炉作業における原子炉内の状況把握および空間認識支援を目的とした画像からの作業空間立体復元処理を逐次的に行うために開発しているオンライン画像管理システムについて報告を行う。カメラ画像の収集,蓄積,立体復元処理等の各プロセスを統合的に実行するためのROSベースのシステムを開発し、そのプロトタイプを用いて画像の取得から立体復元処理、生成された立体復元モデルの描画までの一連のプロセスを統合的に実行した基礎的な確認実験の結果を紹介する。
中村 啓太; 馬場 啓多*; 羽成 敏秀; 川端 邦明
no journal, ,
In three-denominational (3D) reconstruction from a group of images, we verify whether scaling the result of 3D reconstruction according to the size of the objects for 3D reconstruction by adding a two- denominational (2D) code whose size is known in advance to the objects. The experimental result showed the accuracy of the scaled reconstructed result was high based on the size of the reconstructed 2D code.
松日楽 信人*; 小松 廉*; 中島 慎介*; 山下 敦*; 福井 類*; 高橋 浩之*; 島添 健次*; Woo, H.*; 田村 雄介*; 高橋 隆行*; et al.
no journal, ,
This research aims to develop human resources in the field of remote technology for the decommissioning of the Fukushima Daiichi Nuclear Power Plant (1F). We conduct research on a monitoring platform for fuel debris removal. We expect to develop research personnel through participation in projects, lectures, and facility tours.
馬場 啓多*; 渡部 有隆*; 中村 啓太*; 松本 拓; 羽成 敏秀; 川端 邦明
no journal, ,
In this paper, we research whether the reconstruction model integrated based on the 2d code is as valid as the model reconstructed from the whole image group. We investigated the difference in accuracy between the whole reconstruction model and integrate the reconstruction model in simulation. At first, we generate images assuming four linear orbits. We reconstruct three models using different three image groups, four linear orbits, two linear orbits, and another two linear orbits. We integrate two models based on 2d code. We evaluate the accuracy of the reconstruction model. We align the reconstruction model and reference model and count the points of the reference model where the distance to the nearest point of the reconstruction model is less than or equal to the threshold. We compare the whole model and the integrated model in the percentage of that point. The result shows high accuracy demonstrated with 15mm error.
