J-PARC運転データアーカイバにおけるHBase/Hadoopのバージョンアップ対応及びZooKeeperを使ったデータ収集ツールの冗長化

Updating HBase/Hadoop in the J-PARC operation data archiver with making the data collection tool redundant by ZooKeeper

池田 浩; 菊澤 信宏 ; 吉位 明伸*; 加藤 裕子

Ikeda, Hiroshi; Kikuzawa, Nobuhiro; Yoshii, Akinobu*; Kato, Yuko

J-PARCのLINAC, RCSから得られる制御に必要な大量なデータは、現在PostgreSQLに格納しているが、これをHBaseに格納する計画を進めている。HBaseはいわゆるNoSQLと呼ばれるデータストアで、大量のデータをスケーラブルに扱うことが可能である。HBaseはHadoop上で構築され、両者ともZooKeeperを利用した冗長性の管理が行われている。本格的な運用に先立って、我々のクラスタのHBase/Hadoopのバージョンアップを再度行った。これは、旧バージョンが既にサポート外であること、HBaseのAPIに関する後方互換性の明示的表明、運用開始後はバージョンアップが困難になることが理由として挙げられる。これに伴い、キックスタートや監視スクリプトの修正、これまで作成したツールのアップデートを行った。一方、HBase/Hadoopはデータを堅固に保護するが、そもそもデータを格納できなければこの堅固性は意味を失う。このため、HBase等と同様にZooKeeperを用いてデータ収集ツールを冗長化し、複数ノードに配備することで障害発生時に自動的に対応できるようにした。本発表では、バージョンアップの対応の内容、及び、データ収集ツールの冗長化とその過程で判明した問題について報告する。

no abstracts in English