Hadoop・HBaseを利用したJ-PARC運転データアーカイビング

J-PARC operation data archiving using Hadoop and HBase

吉位 明伸; 菊澤 信宏 

Yoshii, Akinobu; Kikuzawa, Nobuhiro

J-PARCにおいては多数の機器により制御されており、Linac, RCSに関して約64000点にも及ぶEPICSレコードのデータを収集している。現状では、RDBMSのPostgreSQLを利用したシステムにてデータを格納しているが、性能や容量,拡張性の面で決して十分とは言い切れず、将来的なデータ量増加に対応できる新たなシステムアーキテクチャが求められてきている。この課題に対応するために、分散処理フレームワークのHadoopと分散データベースのHBaseの利用について検討を行った。1台のMasterNodeと9台のSlaveNodeという構成で、約50TBのHDFSファイルシステムを構築し、このうえでHBaseを稼働させ、現行データをさまざまなデータ構造で投入し、性能や挙動について検証を行った。その結果、システムに適したデータ構造と適切なパラメータチューニングを施した場合に、現行システムと比較してデータ検索の応答時間が1/5程度にまで短縮され、書込みについても性能向上が確認できた。ただし、検証を行う中で実際の利用に向けて可用性や運用面に関する解決すべき課題が幾つか浮上している。本学会では、これらの検証から得られた結果や課題並びに今後の対応について報告する。

no abstracts in English