検索対象:     
報告書番号:
※ 半角英数字
 年 ~ 
 年
検索結果: 11 件中 1件目~11件目を表示
  • 1

発表形式

Initialising ...

選択項目を絞り込む

掲載資料名

Initialising ...

発表会議名

Initialising ...

筆頭著者名

Initialising ...

キーワード

Initialising ...

使用言語

Initialising ...

発行年

Initialising ...

開催年

Initialising ...

選択した検索結果をダウンロード

論文

J-PARC運転データアーカイバにおけるHBase/Hadoopのバージョンアップ対応及びZooKeeperを使ったデータ収集ツールの冗長化

池田 浩; 菊澤 信宏; 吉位 明伸*; 加藤 裕子

Proceedings of 13th Annual Meeting of Particle Accelerator Society of Japan (インターネット), p.637 - 640, 2016/11

J-PARCのLINAC, RCSから得られる制御に必要な大量なデータは、現在PostgreSQLに格納しているが、これをHBaseに格納する計画を進めている。HBaseはいわゆるNoSQLと呼ばれるデータストアで、大量のデータをスケーラブルに扱うことが可能である。HBaseはHadoop上で構築され、両者ともZooKeeperを利用した冗長性の管理が行われている。本格的な運用に先立って、我々のクラスタのHBase/Hadoopのバージョンアップを再度行った。これは、旧バージョンが既にサポート外であること、HBaseのAPIに関する後方互換性の明示的表明、運用開始後はバージョンアップが困難になることが理由として挙げられる。これに伴い、キックスタートや監視スクリプトの修正、これまで作成したツールのアップデートを行った。一方、HBase/Hadoopはデータを堅固に保護するが、そもそもデータを格納できなければこの堅固性は意味を失う。このため、HBase等と同様にZooKeeperを用いてデータ収集ツールを冗長化し、複数ノードに配備することで障害発生時に自動的に対応できるようにした。本発表では、バージョンアップの対応の内容、及び、データ収集ツールの冗長化とその過程で判明した問題について報告する。

論文

Development of the J-PARC time-series data archiver using a distributed database system, 2

菊澤 信宏; 池田 浩; 加藤 裕子; 吉位 明伸*

Proceedings of 15th International Conference on Accelerator and Large Experimental Physics Control Systems (ICALEPCS 2015) (Internet), p.818 - 821, 2016/00

J-PARCのLINAC, RCSから得られる制御に必要な大量な運転データは現在PostgreSQLに格納しているが、データ量は日々増え続けており、2020年には30TBから100TBに増えると予想されている。これらを安定的に保存・管理する課題に直面していため、HadoopおよびHBaseを利用したデータアーカイビングシステムの開発を進めている。現在までに基本的なシステムの構築を終え、過去データの移行および長期運用を始めているが、Hadoop/HBaseのバージョンが上がったことに伴って新しい機能が追加され、システムの構成の見直しを行った。これまで単一障害点であったマスターノードがHadoopの標準機能として冗長化されたが、これまでのハードウェアでは能力不足ということが明らかになったのでハードウェアを更新した。また、データを保存するテーブルの圧縮方式が新たに追加されたので、それについていくつかの種類の組み合わせでベンチマークテストを行った。これらの結果について報告する。

論文

HBase/Hadoopを利用したJ-PARC運転データアーカイバの改良

池田 浩; 菊澤 信宏; 吉位 明伸*; 加藤 裕子

Proceedings of 12th Annual Meeting of Particle Accelerator Society of Japan (インターネット), p.1312 - 1316, 2015/09

J-PARCのLINAC, RCSから得られる制御に必要な大量なデータは、現在PostgreSQLに格納しているが、これをHBaseに格納する計画を進めている。HBaseはいわゆるNoSQLと呼ばれるデータストアで、大量のデータをスケーラブルに扱うことが可能である。HBaseはHadoopの分散ファイルシステム上で構築され、複数のマシンで構成するクラスタを使用し、障害時の自動復旧や容量増設の容易性が利点として挙げられる。前回の発表では、Hadoopのバージョンアップによって単一障害点であったマスタノードを冗長化し、この新しいバージョンに対する我々のツールの対応と課題について述べたが、同時に、クラスタの構成そのものに対しても幾つかの問題点も述べた。今回の発表では、この問題への対応を含みクラスタの再構築で行ったことについて述べる。具体的には、マスタノード用ハードウェアの強化やノード構築の自動化スクリプトの作成、ノードのモニタリングの導入が挙げられる。また、新規ハードウェアや構成の変更から必要に応じてHadoop/HBaseの設定を調整し、システムのパフォーマンスの測定を行い、その結果と検討を報告する。

論文

Status of operation data archiving system using Hadoop/HBase for J-PARC

菊澤 信宏; 池田 浩; 加藤 裕子; 大内 伸夫; 吉位 明伸*

Proceedings of 10th International Workshop on Personal Computers and Particle Accelerator Controls (PCaPAC 2014) (Internet), p.193 - 195, 2015/02

J-PARCのLINAC, RCSから得られる制御に必要な大量なデータは現在PostgreSQLに格納しているが、データ量が日々増え続ける運転データベースの容量は10TBを超え、2020年には30TBから100TBに増えると予想されており、これらを安定的に管理する問題に直面している。これを解決するため、HadoopおよびHBaseを利用したデータアーカイビングシステムの開発を進めている。HBaseはHadoopの分散ファイルシステム上で構築され、複数のマシンで構成するクラスタを使用し、障害時の自動復旧や容量増設の容易性が利点として挙げられる。現在までに基本的なシステムの構築を終え、過去データの移行および長期運用を始めているが、Hadoop/HBaseのバージョンが上がることにともなってシステムの構成の見直しを行う必要が生じた。このデータアーカイビングシステムの現状について報告する。

論文

HBase/Hadoopを利用したJ-PARC運転データアーカイビング用ツールの開発

菊澤 信宏; 池田 浩; 吉位 明伸*; 加藤 裕子; 大内 伸夫

Proceedings of 11th Annual Meeting of Particle Accelerator Society of Japan (インターネット), p.794 - 798, 2014/10

J-PARCのLINAC, RCSから得られる制御に必要な大量なデータは現在PostgreSQLに格納しているが、データ量が日々増え続ける運転データベースの容量は10TBを超え、2020年には30TBから100TBに増えると予想されており、これらを安定的に管理する問題に直面している。これを解決するため、HadoopおよびHBaseを利用したデータアーカイビングシステムの開発を進めている。HBaseはHadoopの分散ファイルシステム上で構築され、複数のマシンで構成するクラスタを使用し、障害時の自動復旧や容量増設の容易性が利点として挙げられる。また、検索時間は旧システムと比較して最大で1/5程度まで短縮化された。現在までに基本的なシステムの構築を終え、過去データの移行および長期運用を始めている。本件は、これらのデータベースシステム用ツールの作成上の問題点、および、新しいHBase/Hadoopのバージョンへの対応に関する問題点と、その検討・解決方法について報告するものである。

論文

J-PARCリニアックの現状

小栗 英知; 長谷川 和男; 伊藤 崇; 千代 悦司; 平野 耕一郎; 森下 卓俊; 篠崎 信一; 青 寛幸; 大越 清紀; 近藤 恭弘; et al.

Proceedings of 11th Annual Meeting of Particle Accelerator Society of Japan (インターネット), p.389 - 393, 2014/10

J-PARCリニアックでは現在、ビームユーザに対する利用運転を行うとともに、リニアック後段の3GeVシンクロトロンにて1MWビームを加速するためのビーム増強計画を進めている。リニアックのビーム増強計画では、加速エネルギー及びビーム電流をそれぞれ増強する。エネルギーについては、181MeVから400MeVに増強するためにACS空洞及びこれを駆動する972MHzクライストロンの開発を行ってきた。これら400MeV機器は平成24年までに量産を終了し、平成25年夏に設置工事を行った。平成26年1月に400MeV加速に成功し、現在、ビーム利用運転に供している。ビーム電流増強では、初段加速部(イオン源及びRFQ)を更新する。イオン源はセシウム添加高周波放電型、RFQは真空特性に優れる真空ロー付け接合タイプ空洞をそれぞれ採用し、平成25年春に製作が完了した。完成後は専用のテストスタンドにて性能確認試験を行っており、平成26年2月にRFQにて目標の50mAビーム加速に成功した。新初段加速部は、平成26年夏にビームラインに設置する予定である。

論文

Hadoop・HBaseを利用したJ-PARC運転データアーカイビングの現状

菊澤 信宏; 吉位 明伸; 池田 浩; 加藤 裕子

Proceedings of 10th Annual Meeting of Particle Accelerator Society of Japan (インターネット), p.230 - 234, 2014/06

J-PARCにおいては多数の機器により制御されており、Linac, RCSに関して約64000点にも及ぶEPICSレコードのデータを収集している。現状ではRDBMSのPostgreSQLを利用したシステムにてデータアーカイブを行っているが、性能や拡張性に対する諸問題に対応するため、分散処理フレームワークのHadoopと分散データベースのHBaseを利用した次世代アーカイブシステムについて検討し、テストシステムの実装と利用を行っている。このテストシステムの結果について報告する。

論文

J-PARC RFイオン源&RFQ IIIテストスタンドの制御系の構築

福田 真平; 澤邊 祐希; 鈴木 隆洋*; 石山 達也*; 川瀬 雅人*; 伊藤 雄一; 加藤 裕子; 吉位 明伸; 菊澤 信宏; 大内 伸夫

Proceedings of 10th Annual Meeting of Particle Accelerator Society of Japan (インターネット), p.1122 - 1125, 2014/06

J-PARC LINACは、2014年にセシウム添加高周波駆動負水素イオン源(RFイオン源)のインストールが予定されている。また、同じく2014年に現在のRFQに替えてRFQ IIIへの換装も予定されている。現在J-PARC LINAC棟にて、RFイオン源とRFQ IIIの共同のテストスタンドを組み、ビーム加速試験を行うべく準備を進めている。J-PARC制御グループでは、これらテストスタンドにもJ-PARC加速器と同等の加速器制御環境が必要であると考え、制御系をデザインした。具体的には、機器を保護するためのMPS(Machine Protection System)の導入や機器を遠隔制御するためのEPICS環境の実装、各加速器構成機器へタイミング信号を送るためのタイミングシステムの構築である。本発表では、テストスタンドにおける制御系の構築について報告する。

論文

Development of J-PARC time-series data archiver using distributed database system

菊澤 信宏; 吉位 明伸; 池田 浩; 加藤 裕子

Proceedings of 14th International Conference on Accelerator and Large Experimental Physics Control Systems (ICALEPCS 2013) (Internet), p.584 - 586, 2013/10

J-PARCは多数の機器により構成され、Linac、RCSに関してこれらの機器制御に関する約64000点以上のEPICSレコードのデータを収集している。現状のシステムではRDBMS(Relational DataBase Management System)であるPostgreSQLを利用したシステムにてデータを格納しているが、可用性や性能,拡張性の面で十分とは言い切れない。したがって、将来にわたって増加し続ける時系列データに対応できる柔軟性に富んだ新たなシステムが必要と考える。この課題を解決するために、多数のサーバで構成され容量の追加が容易な大規模分散データベースの利用について検討し、オープンソースで開発が進められているHBaseを使用したシステムの構築を行った。これらの検証から得られた結果ついて報告する。

論文

Hadoop・HBaseを利用したJ-PARC運転データアーカイビング

吉位 明伸; 菊澤 信宏

Proceedings of 9th Annual Meeting of Particle Accelerator Society of Japan (インターネット), p.690 - 693, 2013/08

J-PARCにおいては多数の機器により制御されており、Linac, RCSに関して約64000点にも及ぶEPICSレコードのデータを収集している。現状では、RDBMSのPostgreSQLを利用したシステムにてデータを格納しているが、性能や容量,拡張性の面で決して十分とは言い切れず、将来的なデータ量増加に対応できる新たなシステムアーキテクチャが求められてきている。この課題に対応するために、分散処理フレームワークのHadoopと分散データベースのHBaseの利用について検討を行った。1台のMasterNodeと9台のSlaveNodeという構成で、約50TBのHDFSファイルシステムを構築し、このうえでHBaseを稼働させ、現行データをさまざまなデータ構造で投入し、性能や挙動について検証を行った。その結果、システムに適したデータ構造と適切なパラメータチューニングを施した場合に、現行システムと比較してデータ検索の応答時間が1/5程度にまで短縮され、書込みについても性能向上が確認できた。ただし、検証を行う中で実際の利用に向けて可用性や運用面に関する解決すべき課題が幾つか浮上している。本学会では、これらの検証から得られた結果や課題並びに今後の対応について報告する。

論文

J-PARC運転データアーカイブにおけるHadoop適用の検討

吉位 明伸; 菊澤 信宏

Proceedings of 8th Annual Meeting of Particle Accelerator Society of Japan (インターネット), p.519 - 522, 2011/08

J-PARCにおいては多数の機器により制御されており、EPICSレコードはLinac、RCSに関するもので約64000点にも及ぶ。運用中はこれらの機器で取得される大量のデータが発生する。現状では、汎用IAサーバにPostgreSQLを搭載したシステムにてデータを格納しているが、書込み性能がネックとなっており、秒間6000レコード程度の取得に留まっている。今後はデータ収集機器の増加やサンプリング間隔の短縮等により発生データ容量は加速度的に増大し、運用期間中にはトータル100TBにも及ぶデータが発生するものと見込まれる。将来的には高速な書込みと大容量のデータ格納に対応できるデータアーカイブシステムが必要と考える。ただし、大規模システムを最初に一度に構築することは多大なコストが発生するため、スモールスタートで開始し、必要に応じて柔軟な拡張が可能なシステムであることが望ましい。これらの要件を満たすシステムの候補として、Google社の大規模検索サイトで利用されるシステムをオープンソース化した分散処理フレームワークHadoop及び分散データベースHbaseが有力であると考え、これらについて適用可否を検討する。

11 件中 1件目~11件目を表示
  • 1