Mercurial > hg > Papers > 2018 > suruga-thesis
changeset 37:254dce6f6501
fix slides
author | suruga |
---|---|
date | Wed, 21 Feb 2018 17:42:31 +0900 |
parents | 5badeed9ab03 |
children | 5731bcc576ea |
files | paper/.DS_Store paper/final_main/.DS_Store paper/slides/sample.html paper/slides/sample.markdown paper/slides/sample.pdf.html |
diffstat | 5 files changed, 104 insertions(+), 609 deletions(-) [+] |
line wrap: on
line diff
--- a/paper/slides/sample.html Wed Feb 21 14:10:24 2018 +0900 +++ b/paper/slides/sample.html Wed Feb 21 17:42:31 2018 +0900 @@ -86,7 +86,7 @@ <!-- === begin markdown block === generated by markdown/1.2.0 on Ruby 2.4.0 (2016-12-24) [x86_64-darwin14] - on 2018-02-21 03:09:56 +0900 with Markdown engine kramdown (1.13.2) + on 2018-02-21 16:38:54 +0900 with Markdown engine kramdown (1.13.2) using options {} --> @@ -104,11 +104,10 @@ <!-- _S9SLIDE_ --> <h1 id="section-1">研究背景(2/2)</h1> <ul> - <li>Jungleは</li> + <li>一般的なウェブサイトの構造は大体が木構造であるため、データ構造と して木構造を採用している</li> + <li>JungleはNoSQLで開発されており、木構造をそのまま読み込むことが可能</li> + <li>Jungle はデータの変更を非破壊で行なっており、編集ごとのデータをバージョンとして TreeOperationLog に残している。</li> <li>Jungleの分散機構には、当研究室で開発している分散フレームワークAliceのTopologyManagerという機能を使用している</li> - <li>Aliceでは、ComputationとMetaComputationに階層化し、コアな仕様と複雑な例外処理に分離す</li> - <li>分散環境構築などの複雑な処理はAliceがMeta Computationとして提供する</li> - <li>コードの変更を抑え、変更前の信頼性を保ったまま拡張可能にする</li> </ul> @@ -118,7 +117,7 @@ <h1 id="section-2">研究目的</h1> <ul> <li>これまでJungleの分散性能を測定する方法が確立されていなかった</li> - <li>Jungleの分散環境上での性能を測定する環境を構築する</li> + <li>Jungleの分散環境上での性能を測定する環境を構築するため、</li> <li>実際に分散環境上で Jungleに -write , -count オプションで負荷をかけ、処理にかかる時間を –showTime オプションで出力結果に表示した。</li> </ul> @@ -153,253 +152,68 @@ <li>Jungleの分散機構はツリートポロジーを想定している</li> <li>ツリー型であれば、データの整合性をとる場合、一度トップまでデータを伝搬させることで行える</li> <li>ノード間でデータの衝突が生じても、Mergeして改めて送り直せばいいからである -<img src="./images/tree.pdf" alt="opt" width="60%" /></li> -</ul> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="data-segment-manager">Data Segment Manager</h1> -<ul> - <li>DS の集合体であるデータベースを <strong>DS Manager(DSM)</strong> と呼ぶ。 - <ul> - <li>Local DSM … 各ノード固有のデータベース。</li> - <li>Remote DSM … 他のノードの Local DSM の proxy。接続しているノードの数だけ存在する。</li> - </ul> - </li> - <li>DSM 内の DS には対になる String型のkey が存在し、 DSM 名と key を指定しすることで DS の保存、取得を行う。 -<img src="./images/remote_datasegment.svg" alt="opt" width="50%" /></li> -</ul> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="computation--meta-computation">Computation と Meta Computation</h1> -<ul> - <li>Aliceでは、計算の本質的な処理をComputatin、Computationとは直接関係ないが別のレベルでそれを支える処理をMeta Computationとして分けて考える。</li> - <li>分散トポロジーの構成、通信の切断・再接続時の処理などはMeta ComputationとしてAliceが提供</li> - <li>プログラマは目的の処理だけ記述し通信部分などはMeta Computationを指定することでシンプルな記述を実現</li> +<img src="./pictures/tree.pdf" alt="tree" width="60%" /></li> </ul> </div> <div class='slide '> <!-- _S9SLIDE_ --> -<h1 id="computation--meta-computation-1">Computation と Meta Computation</h1> +<h1 id="section-3">評価実験</h1> <ul> - <li>DS/CSの接続の間にMeta Computationが実行されている</li> - <li>AliceのMeta ComputationもCS/DSにより実現される</li> - <li>Meta ComputationはCS の処理を支えるMeta CSとMeta CSに管理されるMeta DSに分けられる -<img src="./pictures/MetaCSDS.svg" alt="opt" width="70%" /></li> + <li>学科から16台のVMを借り,15台でJungleを1つずつ起動し、分散させる</li> + <li>15台のJungleはAliceのTopologyManagerでツリートポロジーを形成する</li> + <li>1~7台の子ノードのJungleに書き込んだデータがrootノードのJungleへMergeし終わるまでの時間を計測する</li> </ul> </div> <div class='slide '> <!-- _S9SLIDE_ --> -<h1 id="treevnc">TreeVNCへの応用</h1> -<ul> - <li>AliceのMeta Computationの有効性を示すため実用的な例題であるTreeVNCを実装する</li> - <li>TightVNCをもとにした木構造画面配信システム</li> - <li>画面処理や分散処理が混在する複雑なTreeVNCも、Aliceを用いればTightVNCからの変更が少ない見通しの良い記述で構成可能</li> -</ul> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="treevnc-1">TreeVNCで必要な機能</h1> -<p>TreeVNCのComputation(VNCサーバからデータを受け取り表示)を支える機能をMeta Computationとして実装する</p> - +<h1 id="torque-resource-manager">TORQUE Resource Manager</h1> <ul> - <li>TreeTopologyの構成・管理(Topology Manager)</li> - <li>ノード間通信の切断時・再接続時の処理(ClosedEventManager)</li> - <li>ノードの接続状態確認(KeepAlive)</li> - <li>子ノードへのデータの転送(flip)</li> - <li>データの圧縮</li> -</ul> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="meta-computation">Meta Computationの追加</h1> -<ul> - <li>TreeVNCの数MByteの画面差分データを配信し続けるためデータを圧縮している</li> - <li>画面データを圧縮して送る → 解凍して画面表示 → 再圧縮して子ノードへ転送</li> - <li>圧縮状態のまま子ノードに送信ができれば、解凍・再圧縮 するオーバーヘッドを無くすことができる</li> - <li>圧縮のMeta Computationと転送のMeta Computationを追加した</li> + <li>perlスクリプトを16台のJungleに一度に投入するのにTORQUEを使用した</li> + <li>TORQUEはジョブを管理・投下・実行する3つのデーモンで構 成されており、ジョブの管理・投下を担うデーモンが稼働しているヘッダーノードから、 ジョブの実行を担うデーモンが稼働している計算ノードへジョブが投下される</li> </ul> </div> <div class='slide '> <!-- _S9SLIDE_ --> -<h1 id="meta-ds">圧縮表現(Meta DS)の追加</h1> +<h1 id="jungle-1">Jungleにデータを書き込むスクリプト</h1> <ul> - <li>DSを複数作るのではなく、1つのDSに対しMeta DSとして以下の表現を同時に持たせる</li> -</ul> - -<table style="border:none;"> -<tr><td width="550px"> -1. 一般的なJavaのオブジェクト<br /> - LocalDSMにputしたときの形式 <br /> -<br /> -2. シリアライズ化されたバイナリオブジェクト <br /> - RemoteDSMにputしたときの形式 <br /> -<br /> -3. 2を圧縮したバイナリオブジェクト <br /> - 今回追加した形式 <br /> -</td> -<td width="500px"> -<img src="./pictures/compressDS.svg" width="100%" /> -</td> -</tr> -</table> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="dsmapi">圧縮表現を扱うDSMとAPIの追加</h1> -<ul lang="java"> - <li>Local と Remote それぞれに圧縮表現を扱う Compressed DSM を追加</li> - <li>DSを圧縮したい場合は指定する DSM を Compressed DSM に変える</li> - <li>圧縮するコードとしないコードで変更が少ない</li> -</ul> -<pre><code> put("Remote", "Key", val); - put("compressedRemote", "Key", val); -</code></pre> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="section-3">圧縮表現がオンデマンドに作られる</h1> -<ul> - <li>DS はオブジェクト表現と圧縮表現を同時にもつため、TreeVNCでは受け取った画面データを解凍した後、転送のためにコピーや再圧縮をすることはない。</li> - <li>複数表現は必要最低限にしか作られない。</li> - <li>一つのKeyに対し様々な表現のDSが対応するが、キャストメソッドであるasClass()によってユーザーは送られてくるDSの表現を気にせず任意の型で取り出せる。</li> -</ul> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="meta-computation-1">Meta Computationの評価</h1> -<p>TreeVNCとAliceVNCを比較した</p> - -<ul> - <li>性能比較<br /> - 各ノードへのメッセージの伝達速度を比較<br /> - 同等の性能が実現できたか</li> - <li>コード比較<br /> - コード量・コード複雑度を比較<br /> - シンプルな記述で仕様の変更が抑えられているか</li> + <li>任意のnodeと任意のトポロジーを形成するperlスクリプトを作成した</li> </ul> </div> <div class='slide '> <!-- _S9SLIDE_ --> -<h1 id="section-4">性能比較 - 実験結果</h1> -<ul> - <li>3段目の計測結果</li> - <li>同じ傾向から同等の処理性能があることがわかった</li> -</ul> - -<table style="border:none;"> - <tr> - <td><img src="./pictures/TreeVNC_depth3.svg" width="80%" /></td> - <td><img src="./pictures/AliceVNC_compress_depth3.svg" width="80%" /></td> - </tr> - <tr> - <td align="center">TreeVNC</td> - <td align="center">AliceVNC</td> - </tr> -</table> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="section-5">コード量比較</h1> +<h1 id="alice">分散フレームワークAlice</h1> <ul> - <li>TightVNCを含む全体の行数・単語数はAliceVNCのほうが少ない</li> - <li>コードの増加量ではTreeVNCに比べ75%仕様の変更が抑えられている</li> -</ul> - -<table style="border-collapse: collapse;border:1px solid #000000;"> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;"></th> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;"> 行数 </th> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;">単語数</th> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;">TightVNCからの変更行数</th> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> TreeVNC </td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">19502</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">73646</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">7351</td> - </tr> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> AliceVNC </td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">14647</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">59217</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">1129</td> - </tr> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> 減少率 (%)</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">25</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">20</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">75</td> - </tr> -</table> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="section-6">コード複雑度比較</h1> -<ul> - <li>循環的複雑度を用いる<br /> - コード内の線形独立な経路の数。if や forが多いほど複雑度が高い。</li> -</ul> - -<table style="border-collapse: collapse;border:1px solid #000000;"> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;"></th> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;"> 平均値 </th> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;">最高値</th> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> TightVNC </td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">13.63</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">97</td> - </tr> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> TreeVNC </td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">15.33</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">141</td> - </tr> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> AliceVNC</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">10.95</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">99</td> - </tr> -</table> - -<ul> - <li>AliceVNCのほうがTreeVNCに比べ複雑度が低い</li> - <li>TreeVNC で最も複雑度が高いTreeRFBProto.classはデータの待ち合わせ処理や通信処理が入り組んだ複雑なコード</li> - <li>AliceVNCで最も複雑度が高いSwingViewerWindow.classは、TightVNCから変更がほとんどないため、AliceVNCの持っている複雑度はTightVNCが元来持っていた複雑度</li> + <li>Aliceは当研究室で開発している並列分散フレームワークである</li> + <li>Alice は、ネットワーク上の複数のサーバーノードにトポロジーを形成させ、通信する機能を提供する</li> </ul> </div> <div class='slide '> <!-- _S9SLIDE_ --> -<h1 id="section-7">まとめ</h1> +<h1 id="section-4">実験環境</h1> <ul> - <li>JungleとAliceで生じていたJava等のバージョンのズレを修正した</li> + <li>学科の KVM 上の仮想マシンによる仮想クラスタ環境を用いて実験を行った</li> + <li>他の利用者とリソースが競合しないよう、TORQUE ジョブ スケジューラーを利用している</li> +</ul> + + +</div> +<div class='slide '> +<!-- _S9SLIDE_ --> +<h1 id="section-5">まとめ</h1> +<ul> + <li> + <p>JungleとAliceで生じていたJava等のバージョンのズレを修正した</p> + </li> <li> </li> <li>測定用に、任意のnodeと任意のトポロジーを形成するperlスクリプトを作成した</li> <li> @@ -414,7 +228,7 @@ </div> <div class='slide '> <!-- _S9SLIDE_ --> -<h1 id="section-8">今後の課題</h1> +<h1 id="section-6">今後の課題</h1> <ul> <li> <p>新たに確立した測定環境で現在のJungleの分散性能を測定したい</p>
--- a/paper/slides/sample.markdown Wed Feb 21 14:10:24 2018 +0900 +++ b/paper/slides/sample.markdown Wed Feb 21 17:42:31 2018 +0900 @@ -3,7 +3,7 @@ profile:琉球大学 工学部 情報工学科 河野研 # 研究背景(1/2) -* スマートフォン等の普及により、Webサービスの利用者が増え、Webサーバーにかかる負荷も増大している。 +* スマートフォン等の普及により、Webサービスの利用者が増え、Webサーバーにかかる負荷も増大している * この問題を解決する為に当研究室では、スケーラビリティを持つ分散データベースとしてJungleを開発している * ここで言うスケーラビリティとは、複数のマシンに処理を分散させたりすることで、システムの処理能力を向上させる性能を指す @@ -11,13 +11,16 @@ * 一般的なウェブサイトの構造は大体が木構造であるため、データ構造と して木構造を採用している * JungleはNoSQLで開発されており、木構造をそのまま読み込むことが可能 * Jungle はデータの変更を非破壊で行なっており、編集ごとのデータをバージョンとして TreeOperationLog に残している。 -* Jungleの分散機構には、当研究室で開発している分散フレームワークAliceのTopologyManagerという機能を使用している +* Jungleの分散機構には、当研究室で開発している分散フレームワークAliceを使用している + +# 問題提起 +* これまでJungleの分散性能を測定する方法はWebサーバー込みで行われていた +* Jungleの単体の分散性能を測定したい # 研究目的 -* これまでJungleの分散性能を測定する方法が確立されていなかった -* Jungleの分散環境上での性能を測定する環境を構築するため、 -* 実際に分散環境上で Jungleに -write , -count オプションで負荷をかけ、処理にかかる時間を --showTime オプションで出力結果に表示した。 - +* Jungleを用いるデータの伝搬方式や、トランザクションのmergeに関する研究開発をしやすくする為 + 木構造に構築したJungleのノード上で、いくつかのノードから書き込みを伝搬させて、 + 変更が全体に伝搬するまでの実験をできるようにする # JUngleデータベースの構造 * 一般的なウェブサイトの構造は大体が木構造であるため、データ構造として木構造を採用している @@ -25,7 +28,6 @@ * Jungle はデータの変更を非破壊で行なっており、編集ごとのデータをバージョンとして TreeOperationLog に残している # Jungleの分散機構(1/2) -* JungleはGitやMercurialといった分散バージョン管理システムの機能を参考に作られている * ノード間でデータの衝突が起きるのを避ける為、Mergeの機能が実装されている * Jungleの分散機構には、当研究室で開発している分散フレームワークAliceのTopologyManagerという機能を使用している @@ -34,183 +36,46 @@ * Jungleの分散機構はツリートポロジーを想定している * ツリー型であれば、データの整合性をとる場合、一度トップまでデータを伝搬させることで行える * ノード間でデータの衝突が生じても、Mergeして改めて送り直せばいいからである -![opt](./pictures/tree.pdf){:width="60%"} - -# 分散フレームワークAlice -* +![tree](./pictures/tree.pdf){:width="60%"} #評価実験 * 学科から16台のVMを借り,15台でJungleを1つずつ起動し、分散させる -* 15台のJungleはAliceのTopologyManagerでツリートポロジーを形成する +* 15台のJungleはAliceのTopologyManagerでツリートポロジーを形成する * 1~7台の子ノードのJungleに書き込んだデータがrootノードのJungleへMergeし終わるまでの時間を計測する - -# Alic - -# Computation と Meta Computation -* Aliceでは、計算の本質的な処理をComputatin、Computationとは直接関係ないが別のレベルでそれを支える処理をMeta Computationとして分けて考える。 -* 分散トポロジーの構成、通信の切断・再接続時の処理などはMeta ComputationとしてAliceが提供 -* プログラマは目的の処理だけ記述し通信部分などはMeta Computationを指定することでシンプルな記述を実現 - -# Computation と Meta Computation -* DS/CSの接続の間にMeta Computationが実行されている -* AliceのMeta ComputationもCS/DSにより実現される -* Meta ComputationはCS の処理を支えるMeta CSとMeta CSに管理されるMeta DSに分けられる -![opt](./pictures/MetaCSDS.svg){:width="70%"} - +(画像) -# TreeVNCへの応用 -* AliceのMeta Computationの有効性を示すため実用的な例題であるTreeVNCを実装する -* TightVNCをもとにした木構造画面配信システム -* 画面処理や分散処理が混在する複雑なTreeVNCも、Aliceを用いればTightVNCからの変更が少ない見通しの良い記述で構成可能 - -# TreeVNCで必要な機能 -TreeVNCのComputation(VNCサーバからデータを受け取り表示)を支える機能をMeta Computationとして実装する - -* TreeTopologyの構成・管理(Topology Manager) -* ノード間通信の切断時・再接続時の処理(ClosedEventManager) -* ノードの接続状態確認(KeepAlive) -* 子ノードへのデータの転送(flip) -* データの圧縮 - -# Meta Computationの追加 -* TreeVNCの数MByteの画面差分データを配信し続けるためデータを圧縮している -* 画面データを圧縮して送る → 解凍して画面表示 → 再圧縮して子ノードへ転送 -* 圧縮状態のまま子ノードに送信ができれば、解凍・再圧縮 するオーバーヘッドを無くすことができる -* 圧縮のMeta Computationと転送のMeta Computationを追加した - -# 圧縮表現(Meta DS)の追加 -* DSを複数作るのではなく、1つのDSに対しMeta DSとして以下の表現を同時に持たせる +# 実験環境 +* 学科のKVM上の仮想マシンによる仮想クラスタ環境を用いて実験を行った +* 他の利用者とリソースが競合しないよう、TORQUEジョブスケジューラーを利用している -<table style="border:none;"> -<tr><td width="550px"> -1. 一般的なJavaのオブジェクト<br> - LocalDSMにputしたときの形式 <br> -<br> -2. シリアライズ化されたバイナリオブジェクト <br> - RemoteDSMにputしたときの形式 <br> -<br> -3. 2を圧縮したバイナリオブジェクト <br> - 今回追加した形式 <br> -</td> -<td width="500px"> -<img src="./pictures/compressDS.svg" width="100%"> -</td> -</tr> -</table> - - +#TORQUE Resource Manager +* perlスクリプトを16台のJungleに一度に投入するのにTORQUEを使用した +* TORQUEはジョブを管理・投下・実行する3つのデーモンで構 成されており、ジョブの管理・投下を担うデーモンが稼働しているヘッダーノードから、 ジョブの実行を担うデーモンが稼働している計算ノードへジョブが投下される -# 圧縮表現を扱うDSMとAPIの追加 -* Local と Remote それぞれに圧縮表現を扱う Compressed DSM を追加 -* DSを圧縮したい場合は指定する DSM を Compressed DSM に変える -* 圧縮するコードとしないコードで変更が少ない -```java - put("Remote", "Key", val); - put("compressedRemote", "Key", val); -``` - -# 圧縮表現がオンデマンドに作られる -* DS はオブジェクト表現と圧縮表現を同時にもつため、TreeVNCでは受け取った画面データを解凍した後、転送のためにコピーや再圧縮をすることはない。 -* 複数表現は必要最低限にしか作られない。 -* 一つのKeyに対し様々な表現のDSが対応するが、キャストメソッドであるasClass()によってユーザーは送られてくるDSの表現を気にせず任意の型で取り出せる。 - -# Meta Computationの評価 -TreeVNCとAliceVNCを比較した - -* 性能比較 - 各ノードへのメッセージの伝達速度を比較 - 同等の性能が実現できたか -* コード比較 - コード量・コード複雑度を比較 - シンプルな記述で仕様の変更が抑えられているか +#TORQUEの使い方 +* ジョブはqsubで投入 +* ジョブの処理状況はqstatで確認できる + * その際、Rは処理中であり、Cは処理完了を表している +(ジョブの状態のテキストを貼る) -# 性能比較 - 実験結果 -* 3段目の計測結果 -* 同じ傾向から同等の処理性能があることがわかった +#実装部分 +* TORQUEで測定するには分散データベースのノードを全部起動して、全部終了するようにしないといけない +* 実験が終了したらタスクを終了させるコードを実装した + * 書き込みの最後にnullLogを送ると全体が終了するコードを実装した -<table style="border:none;"> - <tr> - <td><img src="./pictures/TreeVNC_depth3.svg" width="80%"></td> - <td><img src="./pictures/AliceVNC_compress_depth3.svg" width="80%"></td> - </tr> - <tr> - <td align="center">TreeVNC</td> - <td align="center">AliceVNC</td> - </tr> -</table> - - -# コード量比較 -* TightVNCを含む全体の行数・単語数はAliceVNCのほうが少ない -* コードの増加量ではTreeVNCに比べ75%仕様の変更が抑えられている +#分散フレームワークAlice +* Aliceは当研究室で開発している並列分散フレームワークである +* Alice は、ネットワーク上の複数のサーバーノードにトポロジーを形成させ、通信する機能を提供する -<table style="border-collapse: collapse;border:1px solid #000000;"> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;"></th> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;"> 行数 </th> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;">単語数</th> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;">TightVNCからの変更行数</th> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> TreeVNC </td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">19502</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">73646</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">7351</td> - </tr> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> AliceVNC </td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">14647</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">59217</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">1129</td> - </tr> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> 減少率 (%)</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">25</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">20</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">75</td> - </tr> -</table> - -# コード複雑度比較 -* 循環的複雑度を用いる - コード内の線形独立な経路の数。if や forが多いほど複雑度が高い。 - -<table style="border-collapse: collapse;border:1px solid #000000;"> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;"></th> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;"> 平均値 </th> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;">最高値</th> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> TightVNC </td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">13.63</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">97</td> - </tr> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> TreeVNC </td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">15.33</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">141</td> - </tr> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> AliceVNC</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">10.95</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">99</td> - </tr> -</table> - - -* AliceVNCのほうがTreeVNCに比べ複雑度が低い -* TreeVNC で最も複雑度が高いTreeRFBProto.classはデータの待ち合わせ処理や通信処理が入り組んだ複雑なコード -* AliceVNCで最も複雑度が高いSwingViewerWindow.classは、TightVNCから変更がほとんどないため、AliceVNCの持っている複雑度はTightVNCが元来持っていた複雑度 - - - +#用意したスクリプト +* 任意のnodeと任意のトポロジーを形成するperlスクリプトを作成した +* + # まとめ +* * JungleとAliceで生じていたJava等のバージョンのズレを修正した -* - * 測定用に、任意のnodeと任意のトポロジーを形成するperlスクリプトを作成した -* mavenリポジトリのキャッシュをクリアすることアップデートできた。 - -* Alice が実用的なアプリケーションを記述するための Meta Computation として、Meta Data Segmentに複数の表現のデータを同時に持たせることで圧縮機能を実装した。同様の手法を用いれば暗号表現などへの対応もでき自由度の高い通信を行うことが可能になる。 -* TreeVNCをAlice上で実装し比較を行った結果、変更量の少ないシンプルな記述でTreeVNCの基本機能を実現でき、同等の性能を出すことに成功した。 -* AliceのMeta Computationが拡張性・信頼性の高い実用的な分散アプリケーションの構築に有用であることが確認された。 +* mavenリポジトリのキャッシュをクリアすることアップデートできた # 今後の課題 * 新たに確立した測定環境で現在のJungleの分散性能を測定したい @@ -220,7 +85,9 @@ * ディスク上にしかないツリートポロジーを読み出すプロトコルを定義したい +#計測結果 +#ジョブスクリプト
--- a/paper/slides/sample.pdf.html Wed Feb 21 14:10:24 2018 +0900 +++ b/paper/slides/sample.pdf.html Wed Feb 21 17:42:31 2018 +0900 @@ -70,7 +70,7 @@ <!-- === begin markdown block === generated by markdown/1.2.0 on Ruby 2.4.0 (2016-12-24) [x86_64-darwin14] - on 2018-02-21 03:09:56 +0900 with Markdown engine kramdown (1.13.2) + on 2018-02-21 16:38:54 +0900 with Markdown engine kramdown (1.13.2) using options {} --> @@ -88,11 +88,10 @@ <!-- _S9SLIDE_ --> <h1 id="section-1">研究背景(2/2)</h1> <ul> - <li>Jungleは</li> + <li>一般的なウェブサイトの構造は大体が木構造であるため、データ構造と して木構造を採用している</li> + <li>JungleはNoSQLで開発されており、木構造をそのまま読み込むことが可能</li> + <li>Jungle はデータの変更を非破壊で行なっており、編集ごとのデータをバージョンとして TreeOperationLog に残している。</li> <li>Jungleの分散機構には、当研究室で開発している分散フレームワークAliceのTopologyManagerという機能を使用している</li> - <li>Aliceでは、ComputationとMetaComputationに階層化し、コアな仕様と複雑な例外処理に分離す</li> - <li>分散環境構築などの複雑な処理はAliceがMeta Computationとして提供する</li> - <li>コードの変更を抑え、変更前の信頼性を保ったまま拡張可能にする</li> </ul> @@ -102,7 +101,7 @@ <h1 id="section-2">研究目的</h1> <ul> <li>これまでJungleの分散性能を測定する方法が確立されていなかった</li> - <li>Jungleの分散環境上での性能を測定する環境を構築する</li> + <li>Jungleの分散環境上での性能を測定する環境を構築するため、</li> <li>実際に分散環境上で Jungleに -write , -count オプションで負荷をかけ、処理にかかる時間を –showTime オプションで出力結果に表示した。</li> </ul> @@ -137,253 +136,68 @@ <li>Jungleの分散機構はツリートポロジーを想定している</li> <li>ツリー型であれば、データの整合性をとる場合、一度トップまでデータを伝搬させることで行える</li> <li>ノード間でデータの衝突が生じても、Mergeして改めて送り直せばいいからである -<img src="./images/tree.pdf" alt="opt" width="60%" /></li> -</ul> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="data-segment-manager">Data Segment Manager</h1> -<ul> - <li>DS の集合体であるデータベースを <strong>DS Manager(DSM)</strong> と呼ぶ。 - <ul> - <li>Local DSM … 各ノード固有のデータベース。</li> - <li>Remote DSM … 他のノードの Local DSM の proxy。接続しているノードの数だけ存在する。</li> - </ul> - </li> - <li>DSM 内の DS には対になる String型のkey が存在し、 DSM 名と key を指定しすることで DS の保存、取得を行う。 -<img src="./images/remote_datasegment.svg" alt="opt" width="50%" /></li> -</ul> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="computation--meta-computation">Computation と Meta Computation</h1> -<ul> - <li>Aliceでは、計算の本質的な処理をComputatin、Computationとは直接関係ないが別のレベルでそれを支える処理をMeta Computationとして分けて考える。</li> - <li>分散トポロジーの構成、通信の切断・再接続時の処理などはMeta ComputationとしてAliceが提供</li> - <li>プログラマは目的の処理だけ記述し通信部分などはMeta Computationを指定することでシンプルな記述を実現</li> +<img src="./pictures/tree.pdf" alt="tree" width="60%" /></li> </ul> </div> <div class='slide '> <!-- _S9SLIDE_ --> -<h1 id="computation--meta-computation-1">Computation と Meta Computation</h1> +<h1 id="section-3">評価実験</h1> <ul> - <li>DS/CSの接続の間にMeta Computationが実行されている</li> - <li>AliceのMeta ComputationもCS/DSにより実現される</li> - <li>Meta ComputationはCS の処理を支えるMeta CSとMeta CSに管理されるMeta DSに分けられる -<img src="./pictures/MetaCSDS.svg" alt="opt" width="70%" /></li> + <li>学科から16台のVMを借り,15台でJungleを1つずつ起動し、分散させる</li> + <li>15台のJungleはAliceのTopologyManagerでツリートポロジーを形成する</li> + <li>1~7台の子ノードのJungleに書き込んだデータがrootノードのJungleへMergeし終わるまでの時間を計測する</li> </ul> </div> <div class='slide '> <!-- _S9SLIDE_ --> -<h1 id="treevnc">TreeVNCへの応用</h1> -<ul> - <li>AliceのMeta Computationの有効性を示すため実用的な例題であるTreeVNCを実装する</li> - <li>TightVNCをもとにした木構造画面配信システム</li> - <li>画面処理や分散処理が混在する複雑なTreeVNCも、Aliceを用いればTightVNCからの変更が少ない見通しの良い記述で構成可能</li> -</ul> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="treevnc-1">TreeVNCで必要な機能</h1> -<p>TreeVNCのComputation(VNCサーバからデータを受け取り表示)を支える機能をMeta Computationとして実装する</p> - +<h1 id="torque-resource-manager">TORQUE Resource Manager</h1> <ul> - <li>TreeTopologyの構成・管理(Topology Manager)</li> - <li>ノード間通信の切断時・再接続時の処理(ClosedEventManager)</li> - <li>ノードの接続状態確認(KeepAlive)</li> - <li>子ノードへのデータの転送(flip)</li> - <li>データの圧縮</li> -</ul> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="meta-computation">Meta Computationの追加</h1> -<ul> - <li>TreeVNCの数MByteの画面差分データを配信し続けるためデータを圧縮している</li> - <li>画面データを圧縮して送る → 解凍して画面表示 → 再圧縮して子ノードへ転送</li> - <li>圧縮状態のまま子ノードに送信ができれば、解凍・再圧縮 するオーバーヘッドを無くすことができる</li> - <li>圧縮のMeta Computationと転送のMeta Computationを追加した</li> + <li>perlスクリプトを16台のJungleに一度に投入するのにTORQUEを使用した</li> + <li>TORQUEはジョブを管理・投下・実行する3つのデーモンで構 成されており、ジョブの管理・投下を担うデーモンが稼働しているヘッダーノードから、 ジョブの実行を担うデーモンが稼働している計算ノードへジョブが投下される</li> </ul> </div> <div class='slide '> <!-- _S9SLIDE_ --> -<h1 id="meta-ds">圧縮表現(Meta DS)の追加</h1> +<h1 id="jungle-1">Jungleにデータを書き込むスクリプト</h1> <ul> - <li>DSを複数作るのではなく、1つのDSに対しMeta DSとして以下の表現を同時に持たせる</li> -</ul> - -<table style="border:none;"> -<tr><td width="550px"> -1. 一般的なJavaのオブジェクト<br /> - LocalDSMにputしたときの形式 <br /> -<br /> -2. シリアライズ化されたバイナリオブジェクト <br /> - RemoteDSMにputしたときの形式 <br /> -<br /> -3. 2を圧縮したバイナリオブジェクト <br /> - 今回追加した形式 <br /> -</td> -<td width="500px"> -<img src="./pictures/compressDS.svg" width="100%" /> -</td> -</tr> -</table> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="dsmapi">圧縮表現を扱うDSMとAPIの追加</h1> -<ul lang="java"> - <li>Local と Remote それぞれに圧縮表現を扱う Compressed DSM を追加</li> - <li>DSを圧縮したい場合は指定する DSM を Compressed DSM に変える</li> - <li>圧縮するコードとしないコードで変更が少ない</li> -</ul> -<pre><code> put("Remote", "Key", val); - put("compressedRemote", "Key", val); -</code></pre> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="section-3">圧縮表現がオンデマンドに作られる</h1> -<ul> - <li>DS はオブジェクト表現と圧縮表現を同時にもつため、TreeVNCでは受け取った画面データを解凍した後、転送のためにコピーや再圧縮をすることはない。</li> - <li>複数表現は必要最低限にしか作られない。</li> - <li>一つのKeyに対し様々な表現のDSが対応するが、キャストメソッドであるasClass()によってユーザーは送られてくるDSの表現を気にせず任意の型で取り出せる。</li> -</ul> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="meta-computation-1">Meta Computationの評価</h1> -<p>TreeVNCとAliceVNCを比較した</p> - -<ul> - <li>性能比較<br /> - 各ノードへのメッセージの伝達速度を比較<br /> - 同等の性能が実現できたか</li> - <li>コード比較<br /> - コード量・コード複雑度を比較<br /> - シンプルな記述で仕様の変更が抑えられているか</li> + <li>任意のnodeと任意のトポロジーを形成するperlスクリプトを作成した</li> </ul> </div> <div class='slide '> <!-- _S9SLIDE_ --> -<h1 id="section-4">性能比較 - 実験結果</h1> -<ul> - <li>3段目の計測結果</li> - <li>同じ傾向から同等の処理性能があることがわかった</li> -</ul> - -<table style="border:none;"> - <tr> - <td><img src="./pictures/TreeVNC_depth3.svg" width="80%" /></td> - <td><img src="./pictures/AliceVNC_compress_depth3.svg" width="80%" /></td> - </tr> - <tr> - <td align="center">TreeVNC</td> - <td align="center">AliceVNC</td> - </tr> -</table> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="section-5">コード量比較</h1> +<h1 id="alice">分散フレームワークAlice</h1> <ul> - <li>TightVNCを含む全体の行数・単語数はAliceVNCのほうが少ない</li> - <li>コードの増加量ではTreeVNCに比べ75%仕様の変更が抑えられている</li> -</ul> - -<table style="border-collapse: collapse;border:1px solid #000000;"> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;"></th> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;"> 行数 </th> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;">単語数</th> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;">TightVNCからの変更行数</th> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> TreeVNC </td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">19502</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">73646</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">7351</td> - </tr> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> AliceVNC </td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">14647</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">59217</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">1129</td> - </tr> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> 減少率 (%)</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">25</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">20</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">75</td> - </tr> -</table> - - -</div> -<div class='slide '> -<!-- _S9SLIDE_ --> -<h1 id="section-6">コード複雑度比較</h1> -<ul> - <li>循環的複雑度を用いる<br /> - コード内の線形独立な経路の数。if や forが多いほど複雑度が高い。</li> -</ul> - -<table style="border-collapse: collapse;border:1px solid #000000;"> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;"></th> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;"> 平均値 </th> - <th style="border:1px solid #000000;padding:5px 15px 5px 15px;">最高値</th> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> TightVNC </td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">13.63</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">97</td> - </tr> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> TreeVNC </td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">15.33</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">141</td> - </tr> - <tr> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;"> AliceVNC</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">10.95</td> - <td style="border:1px solid #000000;padding:5px 15px 5px 15px;">99</td> - </tr> -</table> - -<ul> - <li>AliceVNCのほうがTreeVNCに比べ複雑度が低い</li> - <li>TreeVNC で最も複雑度が高いTreeRFBProto.classはデータの待ち合わせ処理や通信処理が入り組んだ複雑なコード</li> - <li>AliceVNCで最も複雑度が高いSwingViewerWindow.classは、TightVNCから変更がほとんどないため、AliceVNCの持っている複雑度はTightVNCが元来持っていた複雑度</li> + <li>Aliceは当研究室で開発している並列分散フレームワークである</li> + <li>Alice は、ネットワーク上の複数のサーバーノードにトポロジーを形成させ、通信する機能を提供する</li> </ul> </div> <div class='slide '> <!-- _S9SLIDE_ --> -<h1 id="section-7">まとめ</h1> +<h1 id="section-4">実験環境</h1> <ul> - <li>JungleとAliceで生じていたJava等のバージョンのズレを修正した</li> + <li>学科の KVM 上の仮想マシンによる仮想クラスタ環境を用いて実験を行った</li> + <li>他の利用者とリソースが競合しないよう、TORQUE ジョブ スケジューラーを利用している</li> +</ul> + + +</div> +<div class='slide '> +<!-- _S9SLIDE_ --> +<h1 id="section-5">まとめ</h1> +<ul> + <li> + <p>JungleとAliceで生じていたJava等のバージョンのズレを修正した</p> + </li> <li> </li> <li>測定用に、任意のnodeと任意のトポロジーを形成するperlスクリプトを作成した</li> <li> @@ -398,7 +212,7 @@ </div> <div class='slide '> <!-- _S9SLIDE_ --> -<h1 id="section-8">今後の課題</h1> +<h1 id="section-6">今後の課題</h1> <ul> <li> <p>新たに確立した測定環境で現在のJungleの分散性能を測定したい</p>