検索対象:     
報告書番号:
※ 半角英数字
 年 ~ 
 年

Status of operation data archiving system using Hadoop/HBase for J-PARC

Hadoop/HBaseを用いた運転データアーカイビングシステムの現状

菊澤 信宏 ; 池田 浩; 加藤 裕子; 大内 伸夫 ; 吉位 明伸*

Kikuzawa, Nobuhiro; Ikeda, Hiroshi; Kato, Yuko; Ouchi, Nobuo; Yoshii, Akinobu*

J-PARCのLINAC, RCSから得られる制御に必要な大量なデータは現在PostgreSQLに格納しているが、データ量が日々増え続ける運転データベースの容量は10TBを超え、2020年には30TBから100TBに増えると予想されており、これらを安定的に管理する問題に直面している。これを解決するため、HadoopおよびHBaseを利用したデータアーカイビングシステムの開発を進めている。HBaseはHadoopの分散ファイルシステム上で構築され、複数のマシンで構成するクラスタを使用し、障害時の自動復旧や容量増設の容易性が利点として挙げられる。現在までに基本的なシステムの構築を終え、過去データの移行および長期運用を始めているが、Hadoop/HBaseのバージョンが上がることにともなってシステムの構成の見直しを行う必要が生じた。このデータアーカイビングシステムの現状について報告する。

J-PARC (Japan Proton Accelerator Research Complex) consists of much equipment. In Linac and 3 GeV rapid cycling synchrotron ring (RCS), the data of over the 64,000 EPICS records for these equipment has been collected. The Data volume is about 2 TB in every year, and the stored total data volume is about 10 TB. The data have been being stored by a Relational Data Base (RDB) system using PostgreSQL, but it is not enough in availability, performance, and capability to increase of data volume flexibility. Hadoop/HBase, which is known as a distributed, scalable and big data store, has been proposed for our next-generation archive system to solve these problems. The test system was built and verified about data transition or database utilization. This report shows the current status of the new archive system, and its advantages and problems which have been obtained through our verification.

Access

:

- Accesses

InCites™

:

Altmetrics

:

[CLARIVATE ANALYTICS], [WEB OF SCIENCE], [HIGHLY CITED PAPER & CUP LOGO] and [HOT PAPER & FIRE LOGO] are trademarks of Clarivate Analytics, and/or its affiliated company or companies, and used herein by permission and/or license.