Mercurial > hg > Papers > 2014 > masakoha-thesis > final
view slide/index.html @ 25:3385af0bca0f
write block read
| author | Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp> |
|---|---|
| date | Mon, 10 Feb 2014 22:22:35 +0900 |
| parents | 563a4c69048b |
| children | 54591c145fec |
line wrap: on
line source
<!DOCTYPE html> <html> <head> <title>Presentation</title> <meta charset='utf-8'> <script src='./slides.js'></script> </head> <style> /* Your individual styles here, or just use inline styles if that’s what you want. */ </style> <body style='display: none'> <section class='slides layout-regular template-default'> <!-- Your slides (<article>s) go here. Delete or comment out the slides below. --> <article > <h1>Cerium による並列処理向け I/O の設計と実装</h1> <h3 class="title">Masataka Kohagura 12th, February</h3> <div align="right">担当教官 : 河野 真治</div> </article> <article class='smaller'> <h3>研究背景と目的</h3> <p> 近年のCPUのほとんどはマルチコアであり、それらの性能を引き出すためには並列プログラミングが必須となっている。 そこで当研究室では、並列プログラミング用フレームワーク、Cerium Task Manager の開発を行い、提供することによって並列プログラミングを容易にしている。 </p> <p> 先行研究では Task の並列化によって、プログラム全体の処理速度は向上している。しかし、ファイル読み込み等の I/O と Task が並列に動作するようにはされていない。 </p> <p> 現状では、ファイルを全て memory に mapping を行ってから Task が走るようになっているので、非常に大きいサイズのファイルを読み込むと、ファイルを memory に mapping するまでの時間がオーバーヘッドになってしまう。 </p> <p> 本研究では I/O と Task が並列に動作するような設計、実装によってプログラム全体の 処理速度を上げていく。 </p> </article> <article> <h3>Cerium Task Manager の流れ</h3> <table border="0" cellpadding="0" cellspacing="0"> <tbody> <tr> <td><img src='images/cerium.png' style="height:350px"></td> <td> <ol> <font size=5> <li>Taskを生成後、Task Managerにて Task の管理、依存関係のチェック</li> <li>TaskList に生成された Task を set </li> <li>Task を各 Scheduler に転送</li> <li>並列実行</li> </font> </ol> </td> </tr> </tbody> </table> </article> <article> <h3>Cerium Task の生成の例(1)</h3> <p>(例題) multiply : 2つの数を掛け算するプログラム</p> <h3 class="yellow">main.cc の記述</h3> <pre> float* A, B, C; // Task の宣言 HTaskPtr multiply = manager->create_task(MULTIPLY_TASK); // Task を実行する デバイスの設定 multiply->set_cpu(SPE_ANY); // Task に入力データのアドレスを追加 multiply->set_inData(0, (memaddr)A, sizeof(float)*length); multiply->set_inData(1, (memaddr)B, sizeof(float)*length); // Task に出力データのアドレスを追加 multiply->set_outData(0, (memaddr)C, sizeof(float)*length); // Task へ値を1つだけ渡す multiply->set_param(0,length); // Task を TaskList に set する multiply->spawn(); </pre> </article> <article> <h3>Cerium Task の生成(2)</h3> <br> <h3 class="yellow">Task の記述</h3> <pre> static int multiply(SchedTask *s,void *rbuf, void *wbuf) { float *A,*B,*C // 登録した inData を取得 A = (float*)s->get_input(rbuf,0); B = (float*)s->get_input(rbuf,1); // 登録した outData を取得 C = (float*)s->get_output(wbuf,0); // 登録した param を取得 long length=(long)s->get_param(0); for (int i=0;i < length;i++) { C[i] = A[i] * B[i]; } return 0; } </pre> </article> <article> <h3>並列処理向け I/O の 設計と実装</h3> <br> <ul> <li>mmap での実装</li> <li>Block Read の実装</li> </ul> </article> <article> <h3>mmap での I/O の実装(1)</h3> <br> <h3 class="yellow">FileRead.h の一部</h3> <pre> typedef struct fileRead { struct fileRead *self; long fd; long division_size; long file_size; ・・・ char *read_text; CPU_TYPE cpu; } FileRead, *FileReadPtr; </pre> <p> Fileを読み込む際にファイルの情報や、Read Task の情報を構造体の中に格納しておく。 </p> </article> <article> <h3>mmap での I/O の実装(2)</h3> <br> <h3 class="yellow">mmap の記述</h3> <pre> mmap(SchedTask *s, void *in, void *out) { FileReadPtr fr = (FileReadPtr)in; int map = MAP_PRIVATE; fr->read_text = (char*)mmap(NULL,fr->filesize,PROT_READ,map,fr->fd,(off_t)0); } </pre> </article> <article> <h3>mmap の仕様</h3> <table border="0" cellpadding="0" cellspacing="0"> <tbody> <tr> <td><img src='images/mmap.png' style="height:350px"></td> <td> <ol> <font size = 5> <li> code がシンプル (memory を自分自身で malloc せず、read を書いて読み込まなくていいため) </li> <li> memory より大きなファイルは開けない </li> <li> ファイルを一度で memory に対して mapping する </li> <li> read の先読みがOS依存 </li> </font> </ol> </td> </tr> </tbody> </table> <ul> </ul> </article> <article> <h3>Block Read の設計(1/2)</h3> <br> <img src='images/divide_read.png' style="height:250px"> <br> <ul> <li> 明示的な read </li> <li> 先読みを自分で書ける(制御できる) </li> <li> code が煩雑 </li> <li> memory より大きなファイルを扱える </li> </ul> </article> <!-- <article> <h3>divide read の実装(1)</h3> <br> <h3 class="yellow">Read Task の ブロック化</h3> <pre> program_run(TaskManager *manager, char *filename) { FileReadPtr fr = (FileReadPtr)manager->allocate(sizeof(FileRead)); fr->self = fr; fr->fd = fd; ・・・ read = manager->create_task(RUN_READ_BLOCKS, (memaddr)&fr->self, sizeof(memaddr),read_text,fr->filesize); read->spawn(); } </pre> </article> <article> <h3>divide read の実装(2)</h3> <br> <ul> <li> divide read Task の実行の際に、ブロック単位で Task の生成、実行を行う。 </li> <li> 1つずつ生成すると Task の数だけ memory address が取られるために肥大化してしまう。 </li> <li> しかしブロック単位で生成すると、同じ変数を使用しているので memory の節約になる。 </li> </li> </ul> </article> --> <article class='smaller'> <h3>Block Read の実装(1/3)</h3> <br> <h3 class="yellow">Block Read の実装</h3> <pre> HTaskPtr t_read = manager->create_task(READ_TASK); t_read->set_cpu(read_spe_cpu); // 読み出すファイルの格納場所を設定 t_read->set_outData(0, w->file_mmap + w->task_spawned * w->division_size, w->task_blocks * w->division_size); // ファイルディスクリプタの受け渡し t_read->set_param(0,w->fd); // ファイル読み込みの始点 t_read->set_param(1,w->task_spawned*w->division_size); // run_tasks(manager,w, w->task_blocks, t_read, t_next, w->division_size + w->extra_len); // ここで、ファイルに対して何らかの計算を掛けるような Task を設定する run_tasks(manager,w, w->task_blocks,・・・ ); // ファイル読み込みの終点 t_read->set_param(2,w->task_spawned*w->division_size + w->extra_len); t_read->spawn(); </pre> </article> <article class='smaller'> <h3>Block Read の実装(2/3)</h3> <br> <img src='images/blockread.png' style="height:250px"> <br> <ul> <li> Task を 1 つずつ生成するのではなく、ブロック単位で生成する。<br> この図では、1 Block 当たり n 個の Task を生成する。<br> (1つずつ生成すると、生成された Task で memory を圧迫するため) </li> <li> Task 1つ当たりの読み込む領域を L とする。<br> Block Read Task 1つ当たり、memory に格納する大きさは L × n となる。 </li> <li> Block Read Task が読み込み終わるまで、Task Block に wait を掛ける。<br> (Read Task が格納する前に走ると、まだ格納していない領域を読みこんでしまう。) </li> </ul> </article> <article> <h3>Block Read の実装(3/3)</h3> <br> <h3 class="yellow"> Block Read の記述</h3> <pre> static int read_task(SchedTask *s, void *rbuf, void *wbuf) { long fd = (long)s->get_param(0); long start_read_position = (long)s->get_param(1); long end_read_position = (long)s->get_param(2); char *read_text = (char*)s->get_output(wbuf,0); long read_size = end_read_position - start_read_position; pread(fd, read_text, read_size , start_read_position); return 0; } </pre> </article> <article> <h3>ベンチマーク</h3> <br> <h3 class="yellow">考察</h3> </article> <article> <h3>まとめ</h3> <br> </article> <article> <h3>大学院に進学してしたいこと</h3> <br> <ul> <li> さらなる 並列処理向け I/O の動作を改善 </li> <li> 分散バージョン I/0 の設計と実装 </li> <li> I/O を利用した、マルチコアソフトウェアシンセサイザーを設計 </li> </ul> </article> </body> </html>