Cerium による並列処理向け I/O の設計と実装

Masataka Kohagura 27th, February

I/Oを含むアプリケーションの並列化

Cerium :
CellおよびLinux、 Mac OS X 上で動く並列プログラミングフレームワーク

• ファイル読み込みとアプリケーションの分離
• I/O専用の Threadを追加

Cerium Task Manager の構造

Taskを生成 依存関係のチェック Schedulerに転送 並列実行

ファイルを読みながら、Word Count や grep などを
並列実行したい

計算よりも読み込みを優先しなければならない。読み込みで待ちが入ってしまうので、IO Thread を追加

Block 単位の読み込みと並列計算

1. ファイルをある一定の大きさで読み込む
2. 読み込んだテキストファイルに対して、それぞれ計算を行う
3. 計算した結果を集計する

mmap の特徴

mmap は、ファイルを直接メモリ空間に map する。 アクセスされたメモリ部分を OS が自動的に読み込む。 code がシンプルだが、読み込み終わるまで待たされる。

読み込みながら計算を行う

• Read は 連続で動作しファイルを読み込む
• Read の待ちは CPU を消費しない
• 読み込み終わったブロックに対して、
  並列 Task を起動する

Blocked Read の実装

• Task を一度に生成するとメモリを圧迫する。
  Block 単位で徐々に起動していく。
• Blocked Read Task が読み込み終わるまで、
  Task Blockを待たせる
• 待ち合わせには Cerium の wait for を使用する。

I/O 専用 thread での Blocked Read の実装

• priority が最優先されるので、Blocked Read Task に割り込みが行われなくなる
  
• pthread_setschedparam にて実装
  

I/O 専用の thread を使用しない場合

• Blocked Read は連続で行われなければならない。
  しかし、Task が割り振られてしまう可能性がある。

実験環境

• Mac OS X 10.9.1
• 2*2.66 GHz 6-Core Intel Xeon
• Memory 16GB 1333MHz DDR3
• HHD 1TB
• file size : 約 10 GB
• ファイルに対して Boyer-Moore String Seaech で文字列検索をかける
• ファイルの読み込みから結果までを測定

実験結果

• Blocked Read & IO_0 が mmap より1.55倍速度が向上
  
• Blocked Read を IO 専用 thread で実装すると、6%改善
  
• mmap で並列の Task で走らせると 1つ1つの Task がファイルを読み込み、ランダムアクセスとなって
  しまうため速度が遅くなってしまう。

まとめ

• I/O と Task を分離し、同時に動くように改良した。
• I/O 専用の Thread の追加
• I/O を含む Task をで並列実装するときに mmap では不向きであり、 Blocked Read で読み込みを制御したほうが効果的。

今後の課題

• Cerium の API として実装
• 様々な実装の試み
  (I/O threads を 2つ、分割 mmap・・・)
• grepの実装

Cerium Task の生成の例(1)

(例題) multiply : 2つの数を掛け算するプログラム

main.cc の記述

float* A, B, C;
// Task の宣言
HTaskPtr multiply = manager->create_task(MULTIPLY_TASK);
// Task を実行する デバイスの設定
multiply->set_cpu(SPE_ANY);
// Task に入力データのアドレスを追加
multiply->set_inData(0, (memaddr)A, sizeof(float)*length);
multiply->set_inData(1, (memaddr)B, sizeof(float)*length);
// Task に出力データのアドレスを追加
multiply->set_outData(0, (memaddr)C, sizeof(float)*length);
// Task へ値を1つだけ渡す
multiply->set_param(0,length);
// Task を TaskList に set する
multiply->spawn();

Cerium Task の生成(2)

Task の記述

static int
multiply(SchedTask *s,void *rbuf, void *wbuf)
{
    float *A,*B,*C
        // 登録した inData を取得
        A = (float*)s->get_input(rbuf,0);
    B = (float*)s->get_input(rbuf,1);
    // 登録した outData を取得
    C = (float*)s->get_output(wbuf,0);
    // 登録した param を取得
    long  length=(long)s->get_param(0);
    for (int i=0;i < length;i++) {
        C[i] = A[i] * B[i];
    }
    return 0;
}

mmap での I/O の実装

mmap の記述

mmap(SchedTask *s, void *in, void *out)
{
    // FileReadPtr : File情報などを格納している構造体
    FileReadPtr fr = (FileReadPtr)in;
    int map = MAP_PRIVATE;

    fr->read_text =
        (char*)mmap(NULL,fr->filesize,PROT_READ,map,fr->fd,(off_t)0);
}
    

• PROT_READ : 読み込み可
• MAP_PRIVATE : 読み込んだ領域に対して書き込みが起こると複製し、複製した領域に対して書き込みを行う

Block Read の実装(2/2)

Block Read の記述

    static int
read_task(SchedTask *s, void *rbuf, void *wbuf)
{
    long fd = (long)s->get_param(0);
    long start_read_position = (long)s->get_param(1);
    long end_read_position = (long)s->get_param(2);
    char *read_text = (char*)s->get_output(wbuf,0);
    long read_size = end_read_position - start_read_position;

    pread(fd, read_text, read_size , start_read_position);
    return 0;
}