KenT

広域大規模データ解析のためのGrid Datafarm アーキテクチャ

My Reserches

INDEX †

概要 †

Gfarm クライアント、Gfarm サーバ及びGfarm 並列I/O を行うGfarm 並列分散ファイルシステムである。Gfarm ファイルシステムは、数千ノードスケールのPC クラスタであり、それぞれのノードのローカルディスクを利用して、広域大規模ファイルシステムを実現す

目的、問題 †

Gfarm(Grid Datafarm) はLHC(Large Hadron Collider)1のATLAS 実験2による数百テラバイ トから数ぺタバイト規模の実験データの解析環境の構築

動機、背景 †

高エネルギー物理学、天文学、地球惑星物理学、ヒトゲノムなどのペタバイトスケールなデータインテンシブコンピューティングのためのファイルシステム環境の構築が重要なっている。

貢献 †

  • ペタバイトスケールのファイルを扱うためのグローバル分散ファイルシステム
  • 並列I/O と並列処理
  • 世界規模の認証とアクセス制御
  • 数千ノード、広域の資源管理とスケジューリング
  • 階層的データ共有と効率的アクセス
  • プログラム共有と管理
  • システムモニタリングと管理
  • 耐故障性/動的再配置/動的データ復元、再計算

提案手法、アイディア、システム †

Gfarmコアアーキテクチャ †

abst.jpg

Gfarm ファイルシステムデーモン(gfsd) †

Gfarm プールのそれぞれのノードで実行され、主にアクセス制御、リモートディスクの アクセスに利用される

Gfarm ファイルシステムのメタデータ †

論理Gfarm ファイル名からそれぞれの断片の物理ファイル名へのマッピング、ファイ ルサイズ、プロテクション、アクセス/修正/変更時刻、チェックサムなどのファイル状 態情報、ファイル複製カタログ、生成ヒストリで構成され、Gfarm メタデータベースで 管理

Gfarm サーバ †

Gfarm プール、Gfarm ファイルシステムを効率的に利用するように拡張したネットワー ク可用サーバ。GSS(Generic Security Service) あるいはIPsec を用いて、Gfarm クラ イアントを相互に認証し、その後Gfarm クライアントの指示に従い登録されている並 列プログラムを実行する


Gfarm クライアント †

GUI、Gfarm シェル、Grid-based RPC(GridRPC) を用いて大規模ファイルのGarm ファイルシステムへの読み込み、ユーザプログラムの登録、実行、及びGfarm ファイ ルシステムからの書き出しなどをすることができる。

Gfarmの並列I/OのためのAPI †

定義 †

Gfarm ファイル
Gfarm によって保存されるファイルで、GfarmURL、Gfarm ファイル名で指定される 論理的なファイル
Gfarm ファイル断片
実際のGfarm ファイルは断片とし分割され各ノードのローカルストレージに保存される
Gfarm URL もしくはGfarm ファイル名
Gfarm ファイルシステムにおけるGfarm ファイルのパス名 例) gfarm:/path/name
Gfarm ファイルハンドル
全てのファイル操作に使われる
ローカルディスク
ローカルディスクはPC にSCSI、IDE などで直接接続される。

基本API †

char* gfarm_init(void);
Gfarmシステムの実行環境を初期化し、Gfarmメタデータベースへの接続を行う
char* gfarm_finalize(void);
実行環境を終了し、gfarmメタデータベースへの接続を切断する
char* gfs_pio_open(char *url, int index, char *host, int flags, GFS FILE *gf);
Gfarm ファイル断片をオープンし、新たなGfarm ファイルハンドルgf を返す
char* gfs_pio_create(char *url, int nfrags, int index, char *host, int flags, mode t mode, GFS FILE *gf);
Gfarmファイル断片の総数nfrags、インデックスindexで指定された新たなGfarmファイル断片をGfarmプールのノードhost上にアクセスモードmodeで作成し、新たなGfarmファイルハンドルgfを返す。
char* gfs_pio_close(GFS FILE gf);
Gfarmファイルハンドルgfをクローズし、Gfarmメタデータベースのファイルサイズ、チェックサムを更新、チェックする。チェックサムはマスターファイルと複製ファイルの同一性を検証するために使われる。
char* gfs_pio_read(GFS FILE gf, void *buf,int size, int *nread);
ファイルハンドルgfで参照されるGfarmファイル断片からsizeバイト読み、bufに格納し,nreadに実際に呼んだバイト数を返す。
char* gfs_pio_write(GFS FILE gf, void *buf,int size, int *nwrite);
ファイルハンドルgfで参照されるGfarmファイル断片にbufからsizeバイト書き込み、nwriteに実際に書き込んだバイト数を返す。

その他のAPI †

たくさんある。


Gfarmコマンド †

comands_table.jpg

提案したものの評価 †

performance.jpg

実験環境 †

dual 450MHz UltraSPARC-�兇�Sun UltraEnterprise? 220R(UE)を三台とNetwork-attached storageである200GBのNetApp? F720 Filer(NetApp?)をGigabit Ethernetで接続した環境で実験。UEのOSはSolaris 7を使用。

実験内容 †

666MB、30.9M行のCのソースファイルをgrepしたときの結果

UE-NetApp?
逐次的にNetApp?を利用してUEを計った場合、一度目では100秒かかったが、二度目以降はディスクキャッシュがきいて44秒。
Gfarm(UE×2),Gfarm(UE×3)
Gfarmを用いて、UEを二台および三台のローカルディスクを利用し、並列にgrepした場合。それぞれ46.6秒、30.1秒。

コメント †

  • 評価に関して、この評価が早いのか遅いのかがわからないので、他のファイルシステムについても調べる必要がある(Lustre, GPFSなど)。
  • プロトタイプ的な感じで、詳しい実装方法に関することは言及していなかったので、他の論文(広域仮想ファイルシステムGfarm v2の設計と実装など)をサーベイする必要がある。

最新の20件

2007-04-28 2007-11-30 2007-12-02 2007-10-21 2007-12-03 2007-11-30 2008-02-29 2008-05-11 2008-03-09 2008-02-29 2008-01-21 2007-10-20 2008-05-17 2007-10-03 2007-06-26 2008-05-18 2007-10-26 2007-12-02 2008-05-17

今日の16件

  • counter: 113
  • today: 1
  • yesterday: 0
  • online: 1