J-PARC運転データアーカイブにおけるHadoop適用の検討

Examination of applying Hadoop for J-PARC driving data archive

吉位 明伸; 菊澤 信宏 

Yoshii, Akinobu; Kikuzawa, Nobuhiro

J-PARCにおいては多数の機器により制御されており、EPICSレコードはLinac、RCSに関するもので約64000点にも及ぶ。運用中はこれらの機器で取得される大量のデータが発生する。現状では、汎用IAサーバにPostgreSQLを搭載したシステムにてデータを格納しているが、書込み性能がネックとなっており、秒間6000レコード程度の取得に留まっている。今後はデータ収集機器の増加やサンプリング間隔の短縮等により発生データ容量は加速度的に増大し、運用期間中にはトータル100TBにも及ぶデータが発生するものと見込まれる。将来的には高速な書込みと大容量のデータ格納に対応できるデータアーカイブシステムが必要と考える。ただし、大規模システムを最初に一度に構築することは多大なコストが発生するため、スモールスタートで開始し、必要に応じて柔軟な拡張が可能なシステムであることが望ましい。これらの要件を満たすシステムの候補として、Google社の大規模検索サイトで利用されるシステムをオープンソース化した分散処理フレームワークHadoop及び分散データベースHbaseが有力であると考え、これらについて適用可否を検討する。

no abstracts in English