HBase/Hadoopを利用したJ-PARC運転データアーカイビング用ツールの開発

Development of tools for the J-PARC operation data archiving using HBase/Hadoop

菊澤 信宏 ; 池田 浩; 吉位 明伸*; 加藤 裕子; 大内 伸夫 

Kikuzawa, Nobuhiro; Ikeda, Hiroshi; Yoshii, Akinobu*; Kato, Yuko; Ouchi, Nobuo

J-PARCのLINAC, RCSから得られる制御に必要な大量なデータは現在PostgreSQLに格納しているが、データ量が日々増え続ける運転データベースの容量は10TBを超え、2020年には30TBから100TBに増えると予想されており、これらを安定的に管理する問題に直面している。これを解決するため、HadoopおよびHBaseを利用したデータアーカイビングシステムの開発を進めている。HBaseはHadoopの分散ファイルシステム上で構築され、複数のマシンで構成するクラスタを使用し、障害時の自動復旧や容量増設の容易性が利点として挙げられる。また、検索時間は旧システムと比較して最大で1/5程度まで短縮化された。現在までに基本的なシステムの構築を終え、過去データの移行および長期運用を始めている。本件は、これらのデータベースシステム用ツールの作成上の問題点、および、新しいHBase/Hadoopのバージョンへの対応に関する問題点と、その検討・解決方法について報告するものである。

no abstracts in English