Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
今渕 貴志; 羽成 敏秀; 川端 邦明
Proceedings of 2025 IEEE/SICE International Symposium on System Integration (SII2025), p.1416 - 1421, 2025/01
This paper describes a 3D reconstruction based on grouping similar structures for the aim of generating 3D information for understanding the workspace from the images acquired inside the Primary Containment Vessel (PCV) of the Fukushima Daiichi Nuclear Power Station. In the decommissioning works, preliminary surveys are carried out in the PCV, and the workers need to understand the workspace from a large amount of camera images, which requires a great deal of effort. We are currently working on 3D reconstruction from camera images of the PCV, however, one of the challenges is to improve the visibility of reconstructed model containing noise and artifact. In this study, we propose a method of grouping similar structures on the image and utilizing predicted group labels for 3D reconstruction process to highlight structures shapes and to refine 3D modeling. Our key idea is to perform unsupervised segmentation for grouping similar structures that are suitable for images acquired in the PCV because they are difficult to assign correct semantics for unclear structures and the few learning resources. We show on the reasonable performance of our method by validating it by video images of a typical plant environment and survey videos of the PCV taken under adverse conditions such as radiation noise.
羽成 敏秀; 中村 啓太*; 今渕 貴志; 川端 邦明
Journal of Robotics and Mechatronics, 36(6), p.1537 - 1549, 2024/12
本稿では、時系列画像から3次元モデルを効率的に生成するための画像選択法を導入した立体復元処理について述べる。効率的な立体復元に適した画像を得るために、時系列画像中の冗長画像を除去する画像選択法の適用を試みた。提案手法では、オプティカルフローと固定しきい値に基づいて、時系列画像から適切な画像を選択する。その結果、提案手法により、カメラで取得した時系列画像に基づく立体復元処理の計算量を削減することができた。その結果、立体復元精度を一定に保ったまま、立体復元処理の計算量を削減できることを確認した。
中村 啓太*; 馬場 啓多*; 渡部 有隆*; 羽成 敏秀; 松本 拓*; 今渕 貴志; 川端 邦明
Artificial Life and Robotics, 29(4), p.546 - 556, 2024/09
This paper describes a method for integrating multiple dense point clouds using a shared landmark to generate a single real-scale integrated result for photogrammetry. It is difficult to integrate high-density point clouds reconstructed by photogrammetry because the scale differs with each photogrammetry. To solve this problem, this study places a QR code of known sizes, which is a shared landmark, in the reconstruction target environment and divides the reconstruction target environment based on the position of the QR code that is placed. Then, photogrammetry is performed for each divided environment to obtain each high-density point cloud. Finally, we propose a method of scaling each high-density point cloud based on the size of the QR code and aligning each high-density point cloud as a single high-point cloud by partial-to-partial registration. To verify the effectiveness of the method, this paper compares the results obtained by applying all images to photogrammetry with those obtained by the proposed method in terms of accuracy and computation time. In this verification, ideal images generated by simulation and images obtained in real environments are applied to photogrammetry. We clarify the relationship between the number of divided environments, the accuracy of the reconstruction result, and the computation time required for the reconstruction.
川端 邦明; 今渕 貴志; 白崎 令人*; 鈴木 壮一郎; 伊藤 倫太郎; 青木 勇斗; 大森 崇純
ROBOMECH Journal (Internet), 11, p.11_1 - 11_11, 2024/09
This paper describes a measuring unit to realize the synchronous collection of air dose rate and measurement position for efficient dosimetry survey and data logging in a working space. The developed prototype comprises a three-dimensional light detection and ranging-based mapping part and a dosimetry part, which are integrated into a single measurement unit through an embedded computer that installs a ROS (Robot Operating System) framework. The unit can function as a standalone system with embedded batteries. Since it is portable, on-line data gathering in the workspace can be realized, thereby maintaining consistency between the air dose rate and the measurement position. In this paper, we describe the prototype system configuration and the experimental results obtained in the mockup test space and nuclear facility to discuss its performance.
中村 啓太*; 羽成 敏秀; 今渕 貴志; 川端 邦明
Proceedings of 2024 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM 2024), p.7 - 8, 2024/07
写真測量法は、対象物を撮影した複数の画像から3次元的に復元する技術である。実際の撮影では、対象物を撮影するカメラの画角に振動が発生し、写真測量に適した画像を撮影できず、対象物を復元できない場合がある。そこで、この振動をシミュレーション上で乱数を用いて実装し、振動の大きさが写真測量法で得られる復元結果に与える影響を検証した。検証の結果、振動の大きさと3次元復元の成功率との関係が示された。
今渕 貴志; 川端 邦明
Journal of Robotics and Mechatronics, 36(1), p.63 - 70, 2024/02
In the decommissioning of Fukushima Daiichi Nuclear Power Station, radiation dose calculations using a 3D model of the workspace are performed to determine appropriate measures to reduce exposure. However, constructing a 3D model from 3D point cloud is costly. In order to separate the geometrical shape regions on 3D point cloud, we have been developing the structure discrimination method by 3D and 2D deep learning for contributing to 3D modeling automation technology. In this paper, we describe a method for transferring and fusing labels to handle 2D prediction label in 3D space. We propose an exhaustive label fusion method for plant facilities with intricate structures. In evaluation, we applied the method to a mock-up plant dataset and confirmed that it works effectively.
今渕 貴志; 川端 邦明
Proceedings of 2024 IEEE/SICE International Symposium on System Integration (SII2024) (Internet), p.141 - 146, 2024/01
This paper describes a method for volumetric-based semantic 3D modeling from 3D point cloud obtained in a plant environment. In order to calculate a radiation dose distribution of the workspace in decommissioning, the shape, arrangement, materials, and thicknesses of structures are essentially required in addition to dose values. However, it is costly to create such enriched 3D models from 3D point cloud. In this study, we propose a method to create 3D models with structural category and material thickness by combining 2D image-based deep learning and volumetric reconstruction method. To discriminate structures, structural category labels are predicted by a pre-trained 2D semantic segmentation network on projected image created from 3D point cloud. Then, a triangular mesh is generated from the integrated Truncated Signed Distance Function (TSDF) according to prediction labels. In addition, we optimize the TSDF thickness assignment function to reduce surface distance error. Our evaluation reports thickness and surface distance errors when generating meshes with three different structural categories in a mock-up plant environment.
高橋 弘毅*; 加藤 徹*; 山下 圏*; 土井 章男*; 今渕 貴志
Proceedings of 29th International Symposium on Artificial Life and Robotics (AROB 29th 2024) (Internet), p.1093 - 1096, 2024/01
When performing shape recognition using machine learning from point cloud data, data expansion can be expected to improve accuracy. In this research, we developed a virtual 3D scanner, VCC (Virtual Cloud Creator), that automatically generates data with a distribution close to actual measurement from large-scale point clouds. VCC can generate labeled point cloud data with an appropriate point cloud density from any viewpoint using 3D measured point cloud data and CAD data created from the point cloud data. It was confirmed that shape recognition accuracy was improved by using the augmented data generated by VCC for learning.
加藤 徹*; 高橋 弘毅*; 山下 圏*; 土井 章男*; 今渕 貴志
Proceedings of 29th International Symposium on Artificial Life and Robotics (AROB 29th 2024) (Internet), p.1097 - 1100, 2024/01
We have researched and developed a point cloud processing system on the Unreal Engine that recognizes changes between large time-series point cloud data measured by a laser scanner and performs structured data extraction. When associating time-series point cloud data with structural information (pipes, tanks, etc.) of each point cloud, CAD data (structural data) is currently created interactively by humans. Unreal Engine is a game engine that excels in visualization of 3D information and is suitable for checking updated data and automating procedures. We developed a user interface that automatically performs a series of update procedures at the touch of a button, and evaluated the effectiveness of the interface.
加藤 徹*; 高橋 弘毅*; 山下 圏*; 土井 章男*; 今渕 貴志
Artificial Life and Robotics, 10 Pages, 2024/00
We have developed a point cloud processing system within the Unreal Engine to analyze changes in large time-series point cloud data collected by laser scanners and extract structured information. Currently, human interaction is required to create CAD data associating with the time-series point cloud data. The Unreal Engine, known for its 3D visualization capabilities, was chosen due to its suitability for data visualization and automation. Our system features a user interface that automates update procedures with a single button press, allowing for efficient evaluation of the interface's effectiveness. The system effectively visualizes structural changes by extracting differences between pre- and post-change data, recognizing shape variations, and meshing the data. Difference extraction involves isolating only the added or deleted point clouds between the two datasets using the K-D tree method. Subsequent shape recognition utilizes pre-prepared training data associated with pipes and tanks, improving accuracy through classification into nine types and leveraging PointNet++ for deep learning recognition. Meshing of the shape-recognized point clouds, particularly those to be added, employs the Ball Pivoting Algorithm (BPA), which was proven effective. Finally, the updated structural data is visualized by color-coding added and removed data in red and blue, respectively, within the Unreal Engine. Despite increased processing time with a higher number of point cloud data, down sampling prior to difference extraction signific reduces the automatic update time, enhancing overall efficiency.
今渕 貴志; 川端 邦明
Proceedings of 20th International Conference on Ubiquitous Robots (UR 2023), p.632 - 633, 2023/06
This paper describes a feasibility study of a deep learning-based structure discrimination using data sources measured by different sensor from the sensor used when training the network for automatic creation of 3D spatial information in working environment for decommissioning. In previous work, we have developed a method for estimating geometrical shape regions and category information of structures from high-density 3D point cloud data measured in nuclear facilities. In this paper, we report the discrimination accuracy on low-density 3D point cloud data measured in a testing plant environment using the discriminator trained on high-density and high-precision 3D point cloud data measured in the same space. In addition to this, we verify the improvement of accuracy by removing noise on the surface of the structure caused by the sensor's measurement error range.
今渕 貴志; 川端 邦明
Proceedings of 2023 IEEE/SICE International Symposium on System Integration (SII 2023) (Internet), p.396 - 400, 2023/01
This paper describes a method for discrimination of structures in a plant facility by deep learning based on projected images created from a colored 3D point cloud data using a virtual camera system. In order to promote safe and secure decommissioning works, it is important to recognize a radiation condition in the workspace via calculation based on the measured sensor data. In our previous work, we proposed a structure discrimination method by 3D semantic segmentation network to obtain clues required for radiation dose simulation: shape regions for creating 3D shape model and structural category labels for assigning material information. However, in the evaluation, we confirmed that the network trained based on point geometric patterns had limited discrimination performance. In this paper, we introduce deep learning based on projected images created from colored 3D point cloud data to improve the accuracy of our structure discrimination method. The projected images are created by a virtual camera system, and after discrimination, predicted pixel-wise labels are back-projected into the 3D point cloud. In evaluation, we reported the discrimination performance and 2D-3D back projection result of our proposed method.
今渕 貴志; 谷藤 祐太; 川端 邦明
Proceedings of 2022 IEEE/SICE International Symposium on System Integration (SII 2022) (Internet), p.1036 - 1040, 2022/01
本稿は、3次元点群データに基づいた深層学習による原子力プラント内構造物の識別手法について報告するものである。安全かつ着実な廃炉作業の推進のためには、取得した作業空間情報に基づいて状態の推定や想定を行うことが重要である。特に空間内の放射線量に関わる情報をシミュレーション等の計算で正確に推定することができれば作業計画の立案等が容易になる。正確な放射線量に関する計算を行うためには、作業空間内に存在する物体の空間形状と材質のデータが必要不可欠であるが、その推定は容易ではない。そこで我々は、原子力プラント内の構造物の種別から材質を推定しうることに着目し、深層学習による構造物識別手法の研究開発に取り組んでいる。本稿では、学習データとして既存プラントの3次元点群データに基づき作成されたCADデータの属性ラベルをボクセルグリッドサンプリングによって当該点群データへ付与する手法を提案し、Hold-out学習による学習精度を示すことでその有用性についての考察を述べる。
堀田 健仁*; Prima, O. D. A.*; 今渕 貴志; 亀田 昌志*
画像電子学会誌, 50(3), p.392 - 401, 2021/07
視野異常とは、視野の一部が欠けたり、狭く見えたり、歪んで見えたりすることであり、充填知覚によって自覚することが難しい疾患である。GoldmannやHumphreyなどの視野計では、被験者の主観申告による視認可否をもとに視野の広さや視力感度が判断されるため、検査精度の信頼性に課題がある。一方、アクティブ視野計はスクリーンに提示した視標を探索した際の不随性のある眼球運動の特徴から客観的に視認判定を試みたが、視野異常の患者に対して視線キャリブレーションを行うことが難しい、検査可能な視野が60
と狭い、そして頭部固定による身体的負担が大きいという課題がある。本研究では、ヘッドマウントディスプレイ(HMD)型高速眼球運動計測システムを開発してアクティブ視野計を改良し、高性能視野計を提案する。提案の視野計には、頭部の固定が不要、90の視野範囲で検査が可能、高精度の瞳孔抽出、一点視線キャリブレーション,サッケードの潜時と回数による視認判定などの特徴がある。検証実験では、視覚健常者10名を被験者として、90の視野内に配置された76検査視標の視認判定を自動判定することができた。なお、被験者1名当たり約14分で検査を終えることができ、身体的負担が少ないことも確認した。
羽成 敏秀; 今渕 貴志; 中村 啓太*; 川端 邦明
no journal, ,
福島第一原子力発電所の廃炉作業における原子炉格納容器内からの安全かつ着実な燃料デブリ取り出し作業を支援するために、作業空間を迅速に3次元モデリングするための研究開発を進めている。本発表では、福島第一原子力発電所の廃炉に向けて原子炉の内部状態を把握するための3Dモデリングによる画質評価について紹介する。原子炉格納容器内部や原子炉建屋の調査で得られた映像や画像を定量的に評価し、効率的な3次元再構築を試みる。最終的には、画質評価に基づいた迅速な3次元モデリング手法の開発を目指す。
今渕 貴志; 川端 邦明
no journal, ,
本発表では、プラント施設を対象とした3次元点群に基づく深層学習による構造物識別における未学習種別に対する識別性能および判別可能性について報告する。我々は、廃炉作業現場の3次元モデル生成効率化のために、点群が持つ形状特徴を種別毎に学習する構造物識別手法の開発を行っており、現場適用に向けては、未学習対象の判別が必要である。そこで、点群を入力とした際に識別器が出力する信頼度および低次元空間における特徴量を可視化することで、既知種別と未知種別の関係性について示す。また、その結果から未学習種別の構造物に対する判別可能性について考察する。
山田 大地; 今渕 貴志; 川端 邦明
no journal, ,
This paper introduces the development of a 3-D information representation method to assist remote robot operators in the Fukushima Daiichi Nuclear Power Station (FDNPS). This research aims to make remote robot operation easier and improve the safety and efficiency of FDNPS decommissioning. The proposal method is to overlay grid lines on the camera image. This method helps the operator's spatial awareness without increasing workload because its usage is the same as using camera images. The experiment evaluates the implementation of this method for ground robot moving operation, and its results show that this method improves operator distance awareness and reduces workload.
川端 邦明; 今渕 貴志; 白崎 令人*; 伊藤 倫太郎; 鈴木 壮一郎
no journal, ,
本稿では、現在我々が取り組んでいる空間線量率と計測位置を併せて収集するための基盤技術およびシステム開発の現状について紹介する。
羽成 敏秀; 川端 邦明; 今渕 貴志
no journal, ,
本発表では、福島第一原子力発電所の廃炉作業における遠隔操作のために、多峰性検出によるロバストな画像選択手法を導入した画像に基づく3次元復元の結果について報告する。我々は、廃炉作業において遠隔操作ロボットのオペレータの空間認識能力を向上させるため、画像に基づく3次元復元手法の開発を行っている。オペレータの要求に応じて3次元復元モデルを提示するためには、3次元復元プロセスの計算コストの低減が必要である。そこで、3次元復元プロセスに画像選択プロセスの導入を試みた。我々は、時系列画像に対して提案手法を導入した3次元復元の検証を行った。その結果、時系列画像から適切な画像を選択することで3次元復元プロセスの計算量を低減し、オペレータの要求に応じて3次元モデルを提示するための3次元復元プロセスの高速化が実現可能であることを示唆している。
土井 章男*; 山下 圏*; 高橋 弘毅*; 加藤 徹*; 今渕 貴志; 羽成 敏秀; 谷藤 祐太; 伊藤 倫太郎
no journal, ,
廃炉作業を安全かつ効率的に行うために、被ばく低減を目的とした環境・線源分布のデジタル化技術の開発を進めている。作業環境のデジタル化のために環境内の構造物の状態は3D計測ロボットにより取得し、得られたデータはデータベースに蓄積されている過去のデータとの同期により2時刻間の差分情報を抽出することで効率的なデータの更新・蓄積を行う。データ更新の際、環境中に新たに追加された点群データは深層学習を用いて形状からの構造物の認識・分類を行う。また、新たに追加された点群データは必要に応じて3角形メッシュ、ボクセルデータに自動変換(3Dモデル化)され、線源推定のためのシミュレーションの構造モデルとして利用される。現在、我々は作業環境のデジタル化技術として、この工程を自動化するための研究を進めている。本発表では、環境データの更新・蓄積作業を効率的に実施するために、深層学習を用いた点群データの自動認識および点群データからの3Dモデル化を試みた結果について報告する。
