Mercurial > hg > Papers > 2014 > masakoha-thesis > final
annotate preliminary/final-thesis.tex @ 86:ae8b239b527c default tip
add some pictures
| author | Masataka Kohagura <kohagura@cr.ie.u-ryukyu.ac.jp> |
|---|---|
| date | Wed, 10 Jun 2015 23:39:09 +0900 |
| parents | 17c93faef65b |
| children |
| rev | line source |
|---|---|
| 3 | 1 \documentclass[twocolumn,twoside,9.5pt]{jarticle} |
|
86
ae8b239b527c
add some pictures
Masataka Kohagura <kohagura@cr.ie.u-ryukyu.ac.jp>
parents:
73
diff
changeset
|
2 \usepackage[dvipdfmx]{graphicx} |
| 3 | 3 \usepackage{picins} |
| 4 \usepackage{fancyhdr} | |
| 5 \pagestyle{fancy} | |
| 53 | 6 \lhead{\parpic{\includegraphics[height=1zw,clip,keepaspectratio]{pic/emblem-bitmap.pdf}}琉球大学主催 工学部情報工学科 卒業研究発表会} |
| 3 | 7 \rhead{} |
| 8 \cfoot{} | |
| 9 | |
| 10 \setlength{\topmargin}{-1in \addtolength{\topmargin}{15mm}} | |
| 11 \setlength{\headheight}{0mm} | |
| 12 \setlength{\headsep}{5mm} | |
| 13 \setlength{\oddsidemargin}{-1in \addtolength{\oddsidemargin}{11mm}} | |
| 14 \setlength{\evensidemargin}{-1in \addtolength{\evensidemargin}{21mm}} | |
| 15 \setlength{\textwidth}{181mm} | |
| 16 \setlength{\textheight}{261mm} | |
| 17 \setlength{\footskip}{0mm} | |
| 18 \pagestyle{empty} | |
| 19 | |
| 20 \begin{document} | |
| 54 | 21 \title{Cerium による並列処理向け I/O の設計と実装} |
| 3 | 22 \author{085726C {古波倉}{正隆} 指導教員 : 河野真治} |
| 23 \date{} | |
| 24 \maketitle | |
| 25 \thispagestyle{fancy} | |
| 26 | |
| 71 | 27 \section{研究背景と目的} |
|
68
9c5f2ffbeb4e
fix preliminary
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
67
diff
changeset
|
28 近年、CPU 1 コア当たりのクロック数が頭打ちとなっているため、シングルコアでの処理能力はほとんど上がっていない。 |
| 3 | 29 それを解決した結果、シングルコアからマルチコアへの移行によって CPU 性能が向上している。 |
| 53 | 30 しかし、マルチコア CPU を最大限に活かすためには、プログラムの並列度を向上させなければならない。 |
|
68
9c5f2ffbeb4e
fix preliminary
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
67
diff
changeset
|
31 そこで当研究室では、並列プログラミング用フレームワーク、Cerium 及び Cerium Task Manager の開発を行い、提供することによって並列プログラミングを容易にしている。 |
| 3 | 32 |
| 33 先行研究による Task の並列化によって、プログラム全体の処理速度は飛躍的に向上しているが\cite{kinjyo} 、 | |
|
68
9c5f2ffbeb4e
fix preliminary
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
67
diff
changeset
|
34 ファイル読み込み等の I/O 処理と Task が並列で動作するようには実装されていない。 |
| 3 | 35 |
| 73 | 36 本研究では I/O処理 と Task が並列に動作するような設計、実装によってプログラム全体の並列度、及び処理速度を上げていく。 |
| 3 | 37 \section{Cerium Task Manager} |
|
68
9c5f2ffbeb4e
fix preliminary
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
67
diff
changeset
|
38 Cerium Task Managerは、並列処理をTask単位で記述する。関数やサブルーチンをTaskとして扱い、そのTaskに対してInput Data、Output Data及び依存関係を設定する。そして、それに基づいた設定の元で Task Manager に管理され実行される。本稿で述べるInput Dataとは、検索対象となるテキストファイルのことである。 |
| 3 | 39 |
| 72 | 40 Cerium Task ManagerはPlayStation 3/Cell、Mac OS X及びLinux上で利用することができる。 |
| 3 | 41 |
| 54 | 42 \section{I/O を含む Task の概要} |
| 71 | 43 ファイルを読み込んで一定の大きさでファイルを分割し (File Read)、それらに対してそれぞれ文字列検索等の処理 (Task)を行う。 |
| 44 そしてそれぞれの処理から返されたの結果 (Output Data)を最後に集計をして結果を返す(Result Task)。(図\ref{fig:includeio}) | |
| 3 | 45 |
| 56 | 46 \begin{figure}[htbp] |
| 47 \begin{center} | |
| 71 | 48 \includegraphics[width=0.5\textwidth]{pic/includeio.pdf} |
| 56 | 49 \end{center} |
| 57 | 50 \caption{I/O を含む Task} |
| 56 | 51 \label{fig:includeio} |
| 52 \end{figure} | |
| 53 | |
| 54 \section{並列処理向け I/O の設計と実装} | |
| 55 | |
| 57 | 56 \subsection{mmap での実装の問題点} |
| 67 | 57 先行研究では mmap によるファイルの読み込みを行っていた。 |
| 57 | 58 mmap でファイルを読み込むタイミングは、mmap 関数が呼ばれたときではなく、mmap した領域に対して何らかのアクセスをしたときに初めてファイルが読み込まれる。 |
| 59 つまり、分割された Task は文字列検索をすぐに行うのではなく、文字列検索を行おうとした時に初めてファイルが格納される。 | |
|
68
9c5f2ffbeb4e
fix preliminary
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
67
diff
changeset
|
60 Task は複数一斉に実行されることが望ましいが、mmap ではそれぞれの Task で読み込みが起こってしまうため、I/O ネックによる Task の待ちが発生する。 |
| 55 | 61 |
| 57 | 62 \subsection{Blocked Read の設計と実装} |
|
68
9c5f2ffbeb4e
fix preliminary
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
67
diff
changeset
|
63 Blocked Read とは、あるサイズずつで読み込む処理と、それらに文字列検索を行う処理を分離させるための実装方法である。 |
| 60 | 64 この方法では、読み込み専用の Blocked Read と、文字列検索を行う Task Blocks を別々に生成し処理を行う。 |
| 57 | 65 Read Task はファイル全体を一度に読み込むのではなく、ある程度の大きさで分割を行い、読み込みされ次第それぞれの文字列検索が行われる。 |
| 55 | 66 |
| 57 | 67 Task は 1つずつ起動すると、起動した Task でメモリを圧迫してしまうため、Task を複数まとめたブロック単位で起動を行う。 |
| 68 この1つのブロックで処理されるテキストファイルを、Blocked Read で読み込んでいき、読み込みが終わったら読み込まれた範囲の Task Blocks を起動する。 | |
| 69 もし、Blocked Read で読み込まれる前にその範囲を担当する Task が起動してしまうと、正しい結果が返ってこない。 | |
| 70 それを防止するために、Task Blocks は必ず Blocked Read が行われてから起動するように wait をかけている。 | |
| 71 (図\ref{fig:blockedreadwait}) | |
| 55 | 72 |
| 73 \begin{figure}[htbp] | |
| 74 \begin{center} | |
| 58 | 75 \includegraphics[width=0.5\textwidth]{pic/blockedreadwait.pdf} |
| 55 | 76 \end{center} |
| 77 \caption{Wait for Blocked Read} | |
| 78 \label{fig:blockedreadwait} | |
| 79 \end{figure} | |
| 80 | |
| 57 | 81 \subsection{I/O 専用 thread の実装} |
| 82 Cerium Task Manager では Task 単位で CPU Type の設定を変更することができる。 | |
|
68
9c5f2ffbeb4e
fix preliminary
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
67
diff
changeset
|
83 SPE\_ANY という Type を設定すると、Cerium Task Manager 側が自動的に CPU を割り振る。 |
| 71 | 84 しかし、今回の実装でこの Type を使用してしまうと、Blocked Read Task に割り込んで Task が割り振られてしまう問題がある。 |
| 85 その問題を解決するために、IO\_0 という I/O 専用の thread を実装した。 | |
| 86 この Thread は I/O を最優先に実行されるようにチューニングを行った。 | |
| 57 | 87 (図\ref{fig:io0}) |
| 58 | 88 %% |
| 89 %(図\ref{fig:speany}) | |
| 90 % | |
| 91 %\begin{figure}[htbp] | |
| 92 %\begin{center} | |
| 93 %\includegraphics[width=0.4\textwidth]{pic/speany.pdf} | |
| 94 %\end{center} | |
| 95 %\caption{SPE\_ANYでの設定時} | |
| 96 %\label{fig:speany} | |
| 97 %\end{figure} | |
| 98 | |
| 55 | 99 |
| 100 \begin{figure}[htbp] | |
| 101 \begin{center} | |
| 102 \includegraphics[width=0.4\textwidth]{pic/io0.pdf} | |
| 103 \end{center} | |
| 57 | 104 \caption{IO\_0 での実装時} |
| 55 | 105 \label{fig:io0} |
| 106 \end{figure} | |
| 107 | |
|
68
9c5f2ffbeb4e
fix preliminary
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
67
diff
changeset
|
108 \newpage |
|
9c5f2ffbeb4e
fix preliminary
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
67
diff
changeset
|
109 |
| 57 | 110 \section{ベンチマーク} |
| 55 | 111 |
| 57 | 112 \begin{itemize} |
| 113 \item Mac OS X Mavericks (10.9.1) | |
| 114 \item HDD 1TB、Memory 16GB、CPU 2*2.66 GHz 6-Core Intel Xeon | |
| 72 | 115 \item CPU NUM 12 |
| 116 \item 10GB のファイルに対して Booye-Moore String Search をかけ、検索文字列がいくつ含まれているのかカウント | |
| 58 | 117 \item 測定はファイルの読み込みから結果が返ってくるまでの時間 |
| 57 | 118 \end{itemize} |
| 58 | 119 |
| 120 %以下の表\ref{table:result}に実行結果を示す。 | |
| 121 以下の表１に実行結果を示す。 | |
| 55 | 122 |
| 57 | 123 \begin{tiny} |
| 124 \begin{table}[ht] | |
| 125 \begin{center} | |
| 58 | 126 \label{table:result} |
| 57 | 127 \small |
| 58 | 128 \begin{tabular}[t]{c|r} |
| 57 | 129 \hline |
| 58 | 130 読み込み方法 & 平均実行速度(s)\\ |
| 57 | 131 \hline |
| 58 | 132 mmap & 154.6 \\ |
| 57 | 133 \hline |
| 72 | 134 一括 Read & 114.9 \\ |
| 135 \hline | |
| 58 | 136 Blocked Read \& SPE\_ANY & 106.0 \\ |
| 57 | 137 \hline |
| 58 | 138 Blocked Read \& IO\_0 & 99.2 \\ |
| 57 | 139 \hline |
| 140 \end{tabular} | |
| 58 | 141 \caption{実行結果} |
| 57 | 142 \end{center} |
| 143 \end{table} | |
| 144 \end{tiny} | |
| 3 | 145 |
| 58 | 146 %\ref{table:result}より、mmap より Blocked Read \& IO\_0 の実行速度が 36 \% 改善された。 |
| 147 表１より、mmap より Blocked Read \& SPE\_ANY の実行速度が 31\% 改善された。 | |
| 148 また、Blocked Read の CPU Type も SPE\_ANY から IO\_0 に変更することによって更に 4 \% の改善が見られた。 | |
|
68
9c5f2ffbeb4e
fix preliminary
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
67
diff
changeset
|
149 これより、I/O を含む並列処理を行う場合は、mmap で実装することによって自動的に読み込ませるのではなく、自分自身で読み込みを制御したほうが速くなることがわかる。 |
| 3 | 150 |
| 58 | 151 \section{まとめ} |
| 152 mmap で I/O を含む Task を実装するとき、mmap した領域に対して何らかの処理が加わった時にしか読み込みが行わないので、それぞれの Task に読み込みを任せてしまうことになる。 | |
|
69
3988365f6f03
add eclbkbox.sty
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
68
diff
changeset
|
153 それを解決する方法として、Blocked Read と Task を並列に行う実装を行った。 |
|
3988365f6f03
add eclbkbox.sty
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
68
diff
changeset
|
154 また、Blocked Read が、他の Task に割り込まれないように改善した結果、35 \% の実行速度の改善が見られた。 |
|
3988365f6f03
add eclbkbox.sty
Masataka Kohagura <e085726@ie.u-ryukyu.ac.jp>
parents:
68
diff
changeset
|
155 本研究より、I/O を含む Task は、チューニング次第で更に改善する余地があると考える。 |
| 58 | 156 |
| 3 | 157 |
| 158 \thispagestyle{fancy} | |
| 159 \begin{thebibliography}{9} | |
| 160 | |
| 161 \bibitem{kinjyo}金城裕、河野真治、多賀野海人、小林佑亮 (琉球大学)\\ | |
| 162 ゲームフレームワーク Cerium Task Manager の改良\\ | |
| 163 情報処理学会システムソフトウェアとオペレーティング・システム研究会 (OS), April 2011 | |
| 164 | |
| 165 \end{thebibliography} | |
| 166 \end{document} |