Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
Initialising ...
池田 浩; 菊澤 信宏; 吉位 明伸*; 加藤 裕子
Proceedings of 13th Annual Meeting of Particle Accelerator Society of Japan (インターネット), p.637 - 640, 2016/11
J-PARCのLINAC, RCSから得られる制御に必要な大量なデータは、現在PostgreSQLに格納しているが、これをHBaseに格納する計画を進めている。HBaseはいわゆるNoSQLと呼ばれるデータストアで、大量のデータをスケーラブルに扱うことが可能である。HBaseはHadoop上で構築され、両者ともZooKeeperを利用した冗長性の管理が行われている。本格的な運用に先立って、我々のクラスタのHBase/Hadoopのバージョンアップを再度行った。これは、旧バージョンが既にサポート外であること、HBaseのAPIに関する後方互換性の明示的表明、運用開始後はバージョンアップが困難になることが理由として挙げられる。これに伴い、キックスタートや監視スクリプトの修正、これまで作成したツールのアップデートを行った。一方、HBase/Hadoopはデータを堅固に保護するが、そもそもデータを格納できなければこの堅固性は意味を失う。このため、HBase等と同様にZooKeeperを用いてデータ収集ツールを冗長化し、複数ノードに配備することで障害発生時に自動的に対応できるようにした。本発表では、バージョンアップの対応の内容、及び、データ収集ツールの冗長化とその過程で判明した問題について報告する。
池田 浩; 菊澤 信宏; 吉位 明伸*; 加藤 裕子
Proceedings of 12th Annual Meeting of Particle Accelerator Society of Japan (インターネット), p.1312 - 1316, 2015/09
J-PARCのLINAC, RCSから得られる制御に必要な大量なデータは、現在PostgreSQLに格納しているが、これをHBaseに格納する計画を進めている。HBaseはいわゆるNoSQLと呼ばれるデータストアで、大量のデータをスケーラブルに扱うことが可能である。HBaseはHadoopの分散ファイルシステム上で構築され、複数のマシンで構成するクラスタを使用し、障害時の自動復旧や容量増設の容易性が利点として挙げられる。前回の発表では、Hadoopのバージョンアップによって単一障害点であったマスタノードを冗長化し、この新しいバージョンに対する我々のツールの対応と課題について述べたが、同時に、クラスタの構成そのものに対しても幾つかの問題点も述べた。今回の発表では、この問題への対応を含みクラスタの再構築で行ったことについて述べる。具体的には、マスタノード用ハードウェアの強化やノード構築の自動化スクリプトの作成、ノードのモニタリングの導入が挙げられる。また、新規ハードウェアや構成の変更から必要に応じてHadoop/HBaseの設定を調整し、システムのパフォーマンスの測定を行い、その結果と検討を報告する。
菊澤 信宏; 池田 浩; 吉位 明伸*; 加藤 裕子; 大内 伸夫
Proceedings of 11th Annual Meeting of Particle Accelerator Society of Japan (インターネット), p.794 - 798, 2014/10
J-PARCのLINAC, RCSから得られる制御に必要な大量なデータは現在PostgreSQLに格納しているが、データ量が日々増え続ける運転データベースの容量は10TBを超え、2020年には30TBから100TBに増えると予想されており、これらを安定的に管理する問題に直面している。これを解決するため、HadoopおよびHBaseを利用したデータアーカイビングシステムの開発を進めている。HBaseはHadoopの分散ファイルシステム上で構築され、複数のマシンで構成するクラスタを使用し、障害時の自動復旧や容量増設の容易性が利点として挙げられる。また、検索時間は旧システムと比較して最大で1/5程度まで短縮化された。現在までに基本的なシステムの構築を終え、過去データの移行および長期運用を始めている。本件は、これらのデータベースシステム用ツールの作成上の問題点、および、新しいHBase/Hadoopのバージョンへの対応に関する問題点と、その検討・解決方法について報告するものである。
