Cerium による並列処理向け I/O の設計と実装

Masataka Kohagura 12th, February

研究背景と目的

近年のCPUのほとんどはマルチコアであり、それらの性能を引き出すためには並列プログラミングが必須となっている。 そこで当研究室では、並列プログラミング用フレームワーク、Cerium 及び Cerium Task Manager の開発を行い、提供することによって並列プログラミングを容易にしている。

先行研究では Task の並列化によって、プログラム全体の処理速度は向上している。しかし、ファイル読み込み等の I/O処理 と Task が並列に動作するようにはされていない。

本研究では I/O処理 と Task が並列に動作するような設計、実装によってプログラム全体の並列度、及び処理速度を上げていく。

Cerium Task Manager について

• 当研究室で開発している並列プログラミングフレームワーク。
• PS3 に搭載されている Cell 向けに開発を行っていた。近年では、Mac OS X、Linux でも使用ができるように改良された。
• マルチコア CPU だけでなく、GPGPU での動作もサポート。

用語の定義

• Blocked Read Task
  ファイルを実メモリに読み込む処理
• Task
  分割されたファイルに対して何らかの計算を行う処理
  

並列処理向け I/O の 設計と実装

• I/O を含む Task の説明
• mmap の説明
• Blocked Read の設計と実装
• IO専用 therad の追加
• ベンチマーク

I/O を含む Task の説明

1. file を実メモリに格納後、file をある一定の大きさに分割する
2. 分割した file に対して、それぞれ計算を行う
3. 計算した結果を集計する

mmap の特徴

mmap は、C 及び C++ で使用できるAPIであり、ファイルを仮想メモリに mapping する。 code がシンプル (実メモリを自分自身で malloc せず、read を書いて読み込まなくていいため) 実メモリより大きなファイルは開けない

mmapでの実装の問題点

• mmap で file を読み込むと、file は実メモリ上にて即座には展開されない。
• 実メモリへの呼び出しがOS依存。
• file が実メモリに展開されるタイミングは、その file に対して何らかの計算を行うときである。
  
  →つまり、Task が走るときに初めて実メモリに file を格納するので、I/O と Task が分離できない。

Blocked Read の設計

• 明示的な read
• 実メモリへの呼び出しを自分で書ける(制御できる)
• 実メモリより大きなファイルを扱える

ベンチマーク(1/2)

実験環境

• Mac OS X 10.9.1
• 2*2.66 GHz 6-Core Intel Xeon
• Memory 16GB 1333MHz DDR3
• HHD 1TB
• file size : 約 10 GB
• "doing" という文字列が file 内にいくつあるか計算
  ("doing" は 25,961,792 個存在する)

まとめ

• mmap より、Blocked Readのほうが約50秒高速化した
  mmap では 1つ1つの Task が実メモリへの呼び出しを行っているが、Blocked Read だと複数 Task 分の実メモリ呼び出しを行っている。実メモリへの呼び出し回数が少なくなったため速くなっていると考えられる。(要検証)
• I/O と Task の分離が成功して並列に動作するようになった

Blocked Read の有効性

• mmap で記述するよりも速度的に速くなる
• 読み込みのOS 依存度が減少する。

研究計画

• さらなる 並列処理向け I/O の動作を改善
• I/O を利用した、マルチコアソフトウェアシンセサイザーを設計と実装

マルチコアソフトウェアシンセサイザーの設計

• 作曲をする際にはマシンパワーが必要となることが多い。
• ソフトウェアシンセサイザー(以下、シンセサイザー)を使用する際にマシンパワーが必要となる。
• シンセサイザーは1つだけで立ち上げる物ではなく、複数立ち上げる物なので、1つ1つの負荷を抑えることがキーポイントとなる。
• シンセサイザーは様々なフィルターをかけることで音を作っていくのだが、フィルターを重ねても動作軽量なプログラムを作る。

仮想メモリと実メモリ

• 実メモリ
  物理メモリとも呼ばれている。コンピュータに実際に搭載されているメインメモリ。
• 仮想メモリ
  HDD などの補助記憶装置上に仮想的なメモリ領域を確保する。仮想メモリ上と仮想メモリ上の領域の対応付けを行う。

Cerium Task の生成の例(1)

(例題) multiply : 2つの数を掛け算するプログラム

main.cc の記述

float* A, B, C;
// Task の宣言
HTaskPtr multiply = manager->create_task(MULTIPLY_TASK);
// Task を実行する デバイスの設定
multiply->set_cpu(SPE_ANY);
// Task に入力データのアドレスを追加
multiply->set_inData(0, (memaddr)A, sizeof(float)*length);
multiply->set_inData(1, (memaddr)B, sizeof(float)*length);
// Task に出力データのアドレスを追加
multiply->set_outData(0, (memaddr)C, sizeof(float)*length);
// Task へ値を1つだけ渡す
multiply->set_param(0,length);
// Task を TaskList に set する
multiply->spawn(); 

Cerium Task の生成(2)

Task の記述

static int
multiply(SchedTask *s,void *rbuf, void *wbuf)
{
    float *A,*B,*C
    // 登録した inData を取得
    A = (float*)s->get_input(rbuf,0);
    B = (float*)s->get_input(rbuf,1);
    // 登録した outData を取得
    C = (float*)s->get_output(wbuf,0);
    // 登録した param を取得
    long  length=(long)s->get_param(0);
    for (int i=0;i < length;i++) {
        C[i] = A[i] * B[i];
    }
    return 0;
} 

mmap での I/O の実装

mmap の記述

mmap(SchedTask *s, void *in, void *out)
{
    // FileReadPtr : File情報などを格納している構造体
    FileReadPtr fr = (FileReadPtr)in;
    int map = MAP_PRIVATE;

    fr->read_text =
        (char*)mmap(NULL,fr->filesize,PROT_READ,map,fr->fd,(off_t)0);
}

• PROT_READ : 読み込み可
• MAP_PRIVATE : 読み込んだ領域に対して書き込みが起こると複製し、複製した領域に対して書き込みを行う

Block Read の実装(2/2)

Block Read の記述

static int
read_task(SchedTask *s, void *rbuf, void *wbuf)
{
    long fd = (long)s->get_param(0);
    long start_read_position = (long)s->get_param(1);
    long end_read_position = (long)s->get_param(2);
    char *read_text = (char*)s->get_output(wbuf,0);
    long read_size = end_read_position - start_read_position;

    pread(fd, read_text, read_size , start_read_position);
    return 0;
}