HBase/Hadoopを利用したJ-PARC運転データアーカイバの改良

Improvement of the J-PARC operation data archiver using HBase/Hadoop

池田 浩; 菊澤 信宏 ; 吉位 明伸*; 加藤 裕子

Ikeda, Hiroshi; Kikuzawa, Nobuhiro; Yoshii, Akinobu*; Kato, Yuko

J-PARCのLINAC, RCSから得られる制御に必要な大量なデータは、現在PostgreSQLに格納しているが、これをHBaseに格納する計画を進めている。HBaseはいわゆるNoSQLと呼ばれるデータストアで、大量のデータをスケーラブルに扱うことが可能である。HBaseはHadoopの分散ファイルシステム上で構築され、複数のマシンで構成するクラスタを使用し、障害時の自動復旧や容量増設の容易性が利点として挙げられる。前回の発表では、Hadoopのバージョンアップによって単一障害点であったマスタノードを冗長化し、この新しいバージョンに対する我々のツールの対応と課題について述べたが、同時に、クラスタの構成そのものに対しても幾つかの問題点も述べた。今回の発表では、この問題への対応を含みクラスタの再構築で行ったことについて述べる。具体的には、マスタノード用ハードウェアの強化やノード構築の自動化スクリプトの作成、ノードのモニタリングの導入が挙げられる。また、新規ハードウェアや構成の変更から必要に応じてHadoop/HBaseの設定を調整し、システムのパフォーマンスの測定を行い、その結果と検討を報告する。

The Linac and the RCS in J-PARC provide enormous operation data and we have been stored them into PostgreSQL. We are planning to replace it with HBase, a data store specialized for big-data and is on a distributed file system provided by Hadoop, using a cluster with advantages including automatically recovering and easily extending the capacity. In the previous presentation we reported we updated HBase/Hadoop in our test system and we showed issues to fix our tools in the new system, while we also mentioned issues about the construction of our cluster itself. In this presentation we are reporting we have re-designed and re-constructed the cluster with resolving the issues, including enhancing hardware of master nodes, creating automatic scripts to construct nodes, and introducing monitoring tools for nodes. Having accordingly adjusted the configurations of HBase/Hadoop and measured the performance of our new system, we are also reporting its results and considerations.