My Reserches
INDEX †
PnetCDF Interface and File Format †
概要 †
Data Model †
特徴 †
- CとFortranのインタフェース
- 汎用データ
- Noncontiguous I/O
- Collective I/O
netCDF/PnetCDF Files †
- 構成
- Header
- Non-record variables
- Record variables
PnetCDF †
Storing †
※サンプルコード付き
- dataset(file)を生成
- defineモードからdataモードへ切り替え
- dataの保存
- datasetを閉じる
Retrieving †
- datasetを開く
- 次元のidを得る
- 変数のidを得る
- readする
- datasetを閉じる
Mapping FLASH AMR structures to netCDF †
難しそう
HDF5 Interface and File Format †
概要 †
データモデル †
- 階層データ構造
- 多次元配列
- データセットとデータの属性
特徴 †
- C、C++とFortranインタフェース
- 汎用データフォーマント
- 圧縮機能(パラレルI/Oモードではできない)
- データの分割とオーダリング
- Noncontiguous I/O
HDF5 Files †
- Groups:ディレクトリのようなもの
- Datasets:データの配列を含む
- datatype:データのタイプ(例 H5T_NATIVE_DOUBLE)
- dataspace:配列の次元
- Attribute:ファイル、グループ、他のデータセットに関係を表す属性
HDF5 Data Chunking †
- Chunkingはデータ配列のreorderingを記述
- 動的なchunk配置も要求される
Mapping FLASH AMR structures to HDF5 †
いろいろやっている。難しそう
Metadata Operations †
ベンチマーク? †
fdtree:serial Metadata Performance †
- ディレクトリやファイルの階層構造を生成し、削除
- bash scriptで記述されている
mdtest:POSIX Metadata Performance †
- creating、stating,deletingをファイルやディレクトリに対して何度も行う。
- mdtest Variations
mpi-md-test:MPI-IO Metadata Operations †
I/O Best Practices †
Summary of API Capabilities †
やっていいこと&いけないこと †
- PFSはメタデータの最適化していない。
- 百万のファイル上でls -lとかをやると、やばい。...らしい。
- create, open,closeなどはできるだけ少なくする
- overlapp writeは避ける
- errorコードのチェック
Gross Generalizations on Parallel File Systems †
Hints †
実際にプログラムするときのヒントが連なる
A Tuning Example:mpiBLAST-pio †
- データベース検索ツール
- クエリから最も類似したDNAやプロテインパターンを高速に検索
- BLASTのパラレルバージョン
- master-worker model
欠点 †
- 静的にデータベースにパーティションを作るので小さなファイルができてしまう
- もし、さらに多くのプロセス上で動くならパーティションをやり直す必要がある
- master一人がシリアライズをしている
改善 †
- parallel/collective I/Oを使用
- MPI-IOなどの汎用的なAPIを使用
- 物理的にパーティションを切らない
- masterとworkerの通信を減らす
- workersが並列に直接データベースにアクセスし、masterでのボトルネックを排除する
- 同様に、workersに並列に出力し、masterでのボトルネックを排除する
Dynamic Partitioning of mpiBLAST-pio †
- 単一のデータベースを使用し、静的partitioningをしない
- Virtual fragmentな動的に作られ、resizeされる
Output Processing of mpiBLAST-pio †
Advances in Parallel I/O †
- POSIX I/O Extensions
- もっとよいAPIを提供できないか?
- 大規模なクラス上でもっとパフォーマンスを出せないか?
Current HEC POSIX Enhancement Areas †
- openg, openfh
- Name Space Traversal & Collective Open
最新の20件
2007-04-28
2007-11-30
2007-12-02
2007-10-21
2007-12-03
2007-11-30
2008-02-29
2008-05-11
2008-03-09
2008-02-29
2008-01-21
2007-10-20
2008-05-17
2007-10-03
2007-06-26
2008-05-18
2007-10-26
2007-12-02
2008-05-17
今日の11件
- counter: 131
- today: 1
- yesterday: 0
- online: 1