Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
菊澤 信宏; 池田 浩; 加藤 裕子; 吉位 明伸*
Proceedings of 15th International Conference on Accelerator and Large Experimental Physics Control Systems (ICALEPCS 2015) (Internet), p.818 - 821, 2016/00
J-PARCのLINAC, RCSから得られる制御に必要な大量な運転データは現在PostgreSQLに格納しているが、データ量は日々増え続けており、2020年には30TBから100TBに増えると予想されている。これらを安定的に保存・管理する課題に直面していため、HadoopおよびHBaseを利用したデータアーカイビングシステムの開発を進めている。現在までに基本的なシステムの構築を終え、過去データの移行および長期運用を始めているが、Hadoop/HBaseのバージョンが上がったことに伴って新しい機能が追加され、システムの構成の見直しを行った。これまで単一障害点であったマスターノードがHadoopの標準機能として冗長化されたが、これまでのハードウェアでは能力不足ということが明らかになったのでハードウェアを更新した。また、データを保存するテーブルの圧縮方式が新たに追加されたので、それについていくつかの種類の組み合わせでベンチマークテストを行った。これらの結果について報告する。
菊澤 信宏; 池田 浩; 加藤 裕子; 大内 伸夫; 吉位 明伸*
Proceedings of 10th International Workshop on Personal Computers and Particle Accelerator Controls (PCaPAC 2014) (Internet), p.193 - 195, 2015/02
J-PARCのLINAC, RCSから得られる制御に必要な大量なデータは現在PostgreSQLに格納しているが、データ量が日々増え続ける運転データベースの容量は10TBを超え、2020年には30TBから100TBに増えると予想されており、これらを安定的に管理する問題に直面している。これを解決するため、HadoopおよびHBaseを利用したデータアーカイビングシステムの開発を進めている。HBaseはHadoopの分散ファイルシステム上で構築され、複数のマシンで構成するクラスタを使用し、障害時の自動復旧や容量増設の容易性が利点として挙げられる。現在までに基本的なシステムの構築を終え、過去データの移行および長期運用を始めているが、Hadoop/HBaseのバージョンが上がることにともなってシステムの構成の見直しを行う必要が生じた。このデータアーカイビングシステムの現状について報告する。