|
0
|
1 \chapter{改善点} \label{chapter:chapter4}
|
|
7
|
2 %この章では、分散フレームワークAliceに対して行った改善点を示す。
|
|
10
|
3
|
|
12
|
4 \section{並列環境における改善} \label{section:conçurrent}
|
|
8
|
5 分散フレームワークAliceは、並列環境にも対応したフレームワークである。しかし、並列環境に対応していることを確認するためにbitonic sortを作成、計測したところ、Data Segmentの更新のオーバーヘッドにより、期待した効果を得ることができなかった。その際に、行った改善点を示す。
|
|
7
|
6 \subsection{SEDA Architecture}
|
|
|
7 SEDA Architectureとはマルチコアスレッドを用いて大量の接続を管理し、受け取ったデータを処理ごとに分けられたステージと呼ばれるスレッドに投げ、処理が終わると次のステージにデータを伝搬させていく処理方式である。
|
|
|
8 スループット重視のでありレスポンスは多段のパイプラインのせいで遅れてしまう。
|
|
|
9 Aliceに置いてSEDAを実装するにあたり、データを次のステージにへ伝搬する際、LinkedBlockingQueueを使用している。LinkedBlockingQueueは片方向の連結リストをベースとしたQueue実装である。enqueue / dequeueの操作時の排他制御にはそれぞれ別々のロックオブジェクトが使用されている。そのため、enqueueとdequeueが重なってもロック解除待ちは発生しないが、そのかわりに連結リストのNodeオブジェクトの生成操作などが発生してしまうため、enqueue操作の処理コストが高い。
|
|
|
10 さらに、非力なマシーンではSEDAの効果を得られず、スレッドを切り替えが頻繁に起こりオーバーヘッドになってしまう。
|
|
|
11
|
|
|
12 以上の理由からLocal Data Segmentに対して操作をする際はSEDAを使用せず処理を行なうように変更した。
|
|
|
13 変更前は、Local Data Segmentに対して操作する場合、putやpeekに沿ったCommandを作成するステージ(Code Segmentが実行されているスレッド)、受け取ったCommandを処理するステージ、Code SegmentにData Segmentをセットするステージ（peekとtakeの場合）の2段または3段のパイプラインで構成されていた。これらを1つのステージにまとめて処理することで、並列環境における性能を向上させた。
|
|
8
|
14
|
|
7
|
15 \subsection{Data Segment の再構成（flip 機能の追加）}
|
|
8
|
16 Data Segment APIのput、updateを呼ぶとOutput Data Segmentが毎回新しく作成される。そして出力するデータのコピーが行われる。しかし、Input Data Segmentとして取得したデータに変更を行い、Output Data Segmentとして出力する場合、コピーを行なうのは無駄である。そこで、このコピーを減らすことで速度改善を行った。
|
|
|
17
|
|
|
18 このコピーを無くし、Data Segmentの更新におけるオーバーヘッドを減らす方法としてCeriumでも良好な結果を得ているflipを用いた。Ceriumにおけるflipは、Input Data SegmentとOutput Data SegmentをswapさせるAPIである。(ソースコード \ref{src:flipCerium})
|
|
|
19
|
|
|
20 \begin{table}[html]
|
|
|
21 \lstinputlisting[label=src:flipCerium, caption=Ceriumにおけるflip]{source/flip.cc}
|
|
|
22 \end{table}
|
|
|
23
|
|
|
24
|
|
|
25 \begin{table}[html]
|
|
|
26 \lstinputlisting[label=src:flipAlice, caption=Aliceにおけるflip]{source/flip.java}
|
|
|
27 \end{table}
|
|
|
28
|
|
|
29 \begin{table}[html]
|
|
|
30 \lstinputlisting[label=src:exampleFlip,caption=flipの使用例]{source/Sort.java}
|
|
|
31 \end{table}
|
|
|
32
|
|
|
33 Ceriumの場合、Output Data SegmentはTaskが実行された段階ですでに用意されている。そのためデータをOutput Data Segmentに書き込む前にflipを呼ぶ。
|
|
|
34 Aliceの場合、putまたはupdateを呼んだ段階でOutput Data Segmentが作られるため、ソースコード\ref{src:exampleFlip}のようにInput Data SegmentであるReceiverをflipメソッドに引数として渡すことで、無駄なコピーを減らす。
|
|
|
35
|
|
7
|
36 \subsection{Data Segmentのデータ表現の追加}
|
|
|
37 変更前はData Segmentのデータ表現はMessage Pack for JaveのValueオブジェクトのみを用いて表現していた。
|
|
|
38 Valueオブジェクトとは、Message Packのバイナリにシリアライズできる型のみで構成されたJavaのオブジェクトであり、自己記述形式のデータ形式となっている。そのため、ArrayValueを用いることにより、ユーザーはデータを後からつなげたりすることも可能である。
|
|
|
39
|
|
|
40 このValueオブジェクトの特徴の1つに、通信に関わる際のシリアライズ・デシリアライズを高速に行えることがある。
|
|
|
41 この特徴を用いて、Remote Data Segmentに対する通信の高速化を狙っていた。
|
|
|
42
|
|
|
43 しかし、Local Data Segmentに対する通信においては逆効果である。データをLocal Data Segmentに対してputするたびにValue型に変換するコストがかかる。データをpeekする際にもValue型から元の型に変換するというコストがかかる。
|
|
|
44
|
|
|
45 この問題を解決するために、一般的なJavaのクラスオブジェクトでもデータ表現を可能にした。Local Data Segmentに対してputする場合は、Valueオブジェクトに変換せず一般的なJavaのクラスオブジェクトのままで、Remote Data Segmentに対してputする場合にのみValueに変換する。これにより、無駄な変換コストを抑えられるようになった。
|
|
9
|
46
|
|
12
|
47 \section{分散環境における改善} \label{section:distribute}
|
|
10
|
48 AliceVNCを実装するにあたり、Aliceの送受信部分に問題が発見された。ここでは発見された問題とその解決方法を示す。
|
|
9
|
49
|
|
|
50 \subsection{Data Segmentのデータ表現の変更} \label {subsection:changeDSFormat}
|
|
8
|
51 AliceVNCは、\ref {section:AliceVNC}で説明したように、当研究室で開発しているTreeVNCを分散フレームワークAliceを用いて実装した画面共有システムである。
|
|
|
52
|
|
|
53 Topology Nodeは受け取った画面データを描画すると同時に、Remote Data Segmentに送信する。Remote Data Segmentに送信する際にはMessage PackによりValue型に変換し、その後シリアライズ化（byteArrayで表現されたバイナリに変換）される。Topology Nodeは受信するとデシリアライズしValue型に変換した後putされる。
|
|
|
54
|
|
9
|
55 このValue型への変換が問題である。受け取ったデータを自分の子ノードに対して送信する際には、デシリアライズしValue型に変換する必要はない。シリアライズ状態のまま子ノードに送信すれば、Value型に変換するオーバーヘッドとValue型をシリアライズするオーバーヘッドを無くすことができる。そこで、Remoteからputされたデータ表現をValue型からbyteArrayで表現されたbinaryに変更した。また、Remoteにputする際にもValue型に変換せずに直接byteArrayに変換するように変換した。
|
|
|
56
|
|
10
|
57 %オーバーヘッドの図を挿入予定
|
|
|
58
|
|
9
|
59 しかし、この変更で新しい問題が発生した。Remoteからputされたデータは必ずbyteArrayで表現される。しかし、putされたbyteArrayが全てシリアライズ化された状態であるとはいえない。一般的なJavaのクラスオブジェクトとしてbyteArrayが使用されている場合が存在する。例えば、AliceVNCで使われる画像データはbyteArrayで表現されているが、これはLocalからputされている。 Input Data Segmentが格納されるReceiverクラスには{\tt asClass()}というメソッドがある。
|
|
|
60
|
|
|
61 \begin{itemize}
|
|
|
62 \item \verb+public <T> T asClass(Class<T> clazz)+
|
|
|
63 \end{itemize}
|
|
|
64
|
|
|
65 このメソッドは取得したデータがRemoteからputされた場合、Value型でなっているためMessage Packを使い適切な型に変換するものである。しかし、byteArray型に変更したため、変換可否を判断することができなくなってしまった。
|
|
|
66
|
|
|
67 ここからわかることは、データを表現するにはデータ単体をやりとりするだけでは不十分ということである。変更以前はValue型であるということが状態を表していた。しかし、一般的なJavaのクラスオブジェクトとbyteArrayで表現されたbinaryが混在する現在では、データと一緒にデータの状態を表すメタデータもやりとりする必要がある。そこで、データとデータの状態を1つのオブジェクトにまとめ扱うように変更した。(ソースコード\ref {src:ReceiveData})
|
|
|
68
|
|
|
69 \begin{table}[html]
|
|
|
70 \lstinputlisting[label=src:ReceiveData, caption=データを表現するクラス]{source/ReceiveData.java}
|
|
|
71 \end{table}
|
|
|
72
|
|
|
73 {\tt val}がデータ本体が保存格納される。{\tt serialized}と{\tt byteArray}がデータの状態を表すメタデータである。{\tt serialized}
|
|
|
74 は、データ本体がシリアライズ化されているかを示す。{\tt byteArray}がデータ本体がbyteArrayであるかを示す。
|
|
|
75 この2つの状態があることで{\tt asClass()}を使い、適切に変換することができる。(ソースコード\ref {src:asClass})
|
|
|
76
|
|
|
77 \begin{table}[html]
|
|
|
78 \lstinputlisting[label=src:asClass, caption=asClassの処理]{source/asClass.java}
|
|
|
79 \end{table}
|
|
|
80
|
|
|
81 asClassが行う処理は、Localからputされたデータ（{\tt serialized}と{\tt byteArray}がfalseの場合または{\tt byteArray}のみtrueの場合）は、目的のClassにcastする。Remoteからputされたデータ（{\tt serialized}がtrueの場合）はMessage Packを使い変換する。
|
|
|
82
|
|
10
|
83 \subsubsection{Message Packの機能追加}
|
|
|
84 通信入力部はMessage PackのUnpackerを用いる事により、ストリームを次から次へとデシリアライズすることができる。
|
|
|
85 しかし、提供されているAPIは全てデシリアライズを行うものであり、シリアライズ状態のオブジェクトを取得することができない。そこでUnpackerにシリアライズ状態のオブジェクトを取得するメソッドを追加した。
|
|
|
86
|
|
|
87 \begin{table}[html]
|
|
|
88 \lstinputlisting[label=src:Incoming, caption=ByteBuffer作成部分]{source/IncomingTcpConnection.java}
|
|
|
89 \end{table}
|
|
|
90 ソースコード\ref {src:Incoming} は受け取ったデータをLocal Data Segmentに追加する処理である。
|
|
|
91 getSerializedByteArrayメソッドでシリアライズ状態のオブジェクトを取得している。
|
|
|
92
|
|
|
93 このメソッドの実装をもって、受け取ったデータをデシリアライズせずに、子ノードに渡すことが可能となった。
|
|
|
94
|
|
9
|
95 \subsection{パケットの再設計}
|
|
|
96 Aliceの通信の際には、CommandMessage.classのインスタンスをMessage Packによりシリアライズ化したものが送信される。
|
|
|
97 つまり、CommandMessage.classがパケットの構造を表すものといえる。
|
|
|
98
|
|
|
99 \begin{table}[html]
|
|
|
100 \lstinputlisting[label=src:CommandMessageBefore, caption=変更前のCommandMessage]{source/CommandMessagebefore.java}
|
|
|
101 \end{table}
|
|
|
102 ソースコード\ref {src:CommandMessageBefore}が変更前のCommandMessageの内容である。表\ref{tb:variable}はCommandMessageの各変数が何を表しているかを示したものである。
|
|
|
103 \begin{table}[htbp]
|
|
|
104 \caption{CommandMessageの変数名の説明}
|
|
|
105 \label{tb:variable}
|
|
|
106 \begin{center}
|
|
|
107 \begin{tabular} {|l|l|}
|
|
|
108 \hline
|
|
|
109 変数名&説明\\
|
|
|
110 \hline
|
|
|
111 type&CommandType {\tt PEEK, PUT}などを表す\\
|
|
|
112 \hline
|
|
|
113 seq&Data Segmentの待ち合わせを行っているCode Segmentを表すunique number\\
|
|
|
114 \hline
|
|
|
115 key&どのKeyに対して操作を行うか指定する\\
|
|
|
116 \hline
|
|
10
|
117 val&データ本体\\
|
|
9
|
118 \hline
|
|
|
119 quickFlag&SEDAを挟まずCommandを処理を行うかを示す\\
|
|
|
120 \hline
|
|
10
|
121 serialized&データ本体のシリアライズ状態を示す\\
|
|
9
|
122 \hline
|
|
|
123 \end{tabular}
|
|
|
124 \end{center}
|
|
|
125 \end{table}
|
|
|
126
|
|
|
127 このパケット構造に問題が存在する。データ本体はCommandMessageがシリアライズ化されるときにはすでに、シリアライズされている。つまり、このままCommandMessageをシリアライズ化を行うと、データ本体をもう1度シリアライズ化を行ってしまう。配列をシリアライズ化する場合、配列のサイズによってはオーバーヘッドが大きいため、2度シリアライズするのを防がなければならない。
|
|
|
128
|
|
|
129 \begin{table}[html]
|
|
|
130 \lstinputlisting[label=src:CommandMessage, caption=変更後のCommandMessage]{source/CommandMessage.java}
|
|
|
131 \end{table}
|
|
|
132
|
|
10
|
133 そこで、CommandMessageをソースコード\ref{src:CommandMessage}のように変更した。データ本体をCommandMessageのフィールドから外し、後からByteBufferにまとめることにより2度のシリアライズを防ぐ。(ソースコード\ref{src:convert})
|
|
9
|
134
|
|
|
135 \begin{table}[html]
|
|
|
136 \lstinputlisting[label=src:convert, caption=ByteBuffer作成部分]{source/CreateByteBuffer.java}
|
|
|
137 \end{table}
|
|
|
138
|
|
|
139 この実装ではCommandMessage部をヘッダーとして扱っている。データ部はCommandTypeが{\tt UPDATE、PUT、REPLY}の時のみ後から付加される。以前の実装ではbyte[]の値としてnullを示すNilValueがあるものとしてシリアライズ化されており、これもオーバーヘッドである。現在の実装にでは、CommandTypeが{\tt UPDATE、PUT、REPLY}以外はの時は、データ部をシリアライズ化しないため、nullをシリアライズ化するオーバーヘッドはなくなっている。 |
