Cerium による並列処理向け I/O の設計と実装

Masataka Kohagura 27th, February

研究概要

当研究室ではCellおよびLinux、 Mac OS X上で動く並列プログラミングフレームワーク、 Ceriumの開発・改良を行っている

本研究では

• ファイル読み込みと文字列検索の分離
• I/O専用の Threadを追加

I/0 を含む Task の動作改善を行った

Cerium Task Manager

Taskを生成 依存関係のチェック Schedulerに転送 並列実行

I/O 専用の Thread を用意することにより、読み込みに専念させることができる

I/O を含む Task の説明

1. テキストファイルの読み込み後、ファイルをある一定の大きさに分割する
2. 分割したテキストファイルに対して、それぞれ計算を行う
3. 計算した結果を集計する

mmap の特徴

mmap は、C 及び C++ で使用でき、ファイルを読み込む API である。 code がシンプル (メモリを自分自身で malloc せず、read を書いて読み込まなくていいため)

mmapでの実装の問題点

• mmap でファイルを読み込むと、ファイルはメモリ上に即座に展開されるわけではない。
• ファイルがメモリに展開されるタイミングは、そのファイルに対して文字列検索を行うときである。
  
  →つまり、文字列検索が行われるときに初めてファイルが読み込まれるので、ファイル読み込みと文字列検索が分離できない。

Blocked Read の設計

• メモリへの呼び出しを自分で書ける(制御できる)
• Read は 連続で動作する。

Blocked Read の実装

• Task を 1 つずつではなく、ブロック単位で生成して起動する
  (1つずつ生成すると、生成された Task でメモリを圧迫するため)
• Blocked Read Task が読み込み終わるまで、Task Blockを待たせる
  

I/O 専用の therad を追加

• Blocked Read Task が最優先されるので、他の Task に割り込まれなくなる
  

I/O 専用の therad を使用しない場合

• Blocked Read は連続で行われなければならない。
  しかし、Task が割り振られてしまう可能性がある。

実験環境

• Mac OS X 10.9.1
• 2*2.66 GHz 6-Core Intel Xeon
• Memory 16GB 1333MHz DDR3
• HHD 1TB
• file size : 約 10 GB
• ファイルに対して Boyer-Moore String Seaech で文字列検索をかける
• ファイルの読み込みから結果までを測定

実験結果

• Blocked Read & IO_0 が mmap より1.55倍実行速度が向上した。
  
• mmap では 1つ1つの Task がファイルの読み込みを行ってしまうため、読み込み回数が多くなり実行速度が遅くなったと考えられる。

まとめ

• I/O と Task を分離し、同時に動くように改良した。
• I/O 専用の Thread の追加
• I/O を含む Task をで並列実装するときに mmap では不向きであり、 Blocked Read で読み込みを制御したほうが効果的。

今後の課題

• Cerium の API として実装
• 様々な実装の試み
  (I/O threads を 2つ、分割 mmap・・・)

Cerium Task の生成の例(1)

(例題) multiply : 2つの数を掛け算するプログラム

main.cc の記述

float* A, B, C;
// Task の宣言
HTaskPtr multiply = manager->create_task(MULTIPLY_TASK);
// Task を実行する デバイスの設定
multiply->set_cpu(SPE_ANY);
// Task に入力データのアドレスを追加
multiply->set_inData(0, (memaddr)A, sizeof(float)*length);
multiply->set_inData(1, (memaddr)B, sizeof(float)*length);
// Task に出力データのアドレスを追加
multiply->set_outData(0, (memaddr)C, sizeof(float)*length);
// Task へ値を1つだけ渡す
multiply->set_param(0,length);
// Task を TaskList に set する
multiply->spawn(); 

Cerium Task の生成(2)

Task の記述

static int
multiply(SchedTask *s,void *rbuf, void *wbuf)
{
    float *A,*B,*C
    // 登録した inData を取得
    A = (float*)s->get_input(rbuf,0);
    B = (float*)s->get_input(rbuf,1);
    // 登録した outData を取得
    C = (float*)s->get_output(wbuf,0);
    // 登録した param を取得
    long  length=(long)s->get_param(0);
    for (int i=0;i < length;i++) {
        C[i] = A[i] * B[i];
    }
    return 0;
} 

mmap での I/O の実装

mmap の記述

mmap(SchedTask *s, void *in, void *out)
{
    // FileReadPtr : File情報などを格納している構造体
    FileReadPtr fr = (FileReadPtr)in;
    int map = MAP_PRIVATE;

    fr->read_text =
        (char*)mmap(NULL,fr->filesize,PROT_READ,map,fr->fd,(off_t)0);
}

• PROT_READ : 読み込み可
• MAP_PRIVATE : 読み込んだ領域に対して書き込みが起こると複製し、複製した領域に対して書き込みを行う

Block Read の実装(2/2)

Block Read の記述

static int
read_task(SchedTask *s, void *rbuf, void *wbuf)
{
    long fd = (long)s->get_param(0);
    long start_read_position = (long)s->get_param(1);
    long end_read_position = (long)s->get_param(2);
    char *read_text = (char*)s->get_output(wbuf,0);
    long read_size = end_read_position - start_read_position;

    pread(fd, read_text, read_size , start_read_position);
    return 0;
}