Mercurial > hg > Papers > 2018 > suruga-thesis
changeset 38:5731bcc576ea
fix slides
author | suruga |
---|---|
date | Wed, 21 Feb 2018 18:15:25 +0900 |
parents | 254dce6f6501 |
children | 48fbb9e3c335 |
files | paper/slides/sample.markdown |
diffstat | 1 files changed, 22 insertions(+), 8 deletions(-) [+] |
line wrap: on
line diff
--- a/paper/slides/sample.markdown Wed Feb 21 17:42:31 2018 +0900 +++ b/paper/slides/sample.markdown Wed Feb 21 18:15:25 2018 +0900 @@ -8,7 +8,7 @@ * ここで言うスケーラビリティとは、複数のマシンに処理を分散させたりすることで、システムの処理能力を向上させる性能を指す # 研究背景(2/2) -* 一般的なウェブサイトの構造は大体が木構造であるため、データ構造と して木構造を採用している +* 一般的なウェブサイトの構造は大体が木構造であるため、Jungleはデータ構造として木構造を採用している * JungleはNoSQLで開発されており、木構造をそのまま読み込むことが可能 * Jungle はデータの変更を非破壊で行なっており、編集ごとのデータをバージョンとして TreeOperationLog に残している。 * Jungleの分散機構には、当研究室で開発している分散フレームワークAliceを使用している @@ -49,8 +49,8 @@ * 他の利用者とリソースが競合しないよう、TORQUEジョブスケジューラーを利用している #TORQUE Resource Manager -* perlスクリプトを16台のJungleに一度に投入するのにTORQUEを使用した * TORQUEはジョブを管理・投下・実行する3つのデーモンで構 成されており、ジョブの管理・投下を担うデーモンが稼働しているヘッダーノードから、 ジョブの実行を担うデーモンが稼働している計算ノードへジョブが投下される +* 本実験では、TORQUEを用いて、計測用に作成したperlスクリプトを15台のJungleに一度に投入するジョブスクリプトを投入した #TORQUEの使い方 * ジョブはqsubで投入 @@ -58,27 +58,40 @@ * その際、Rは処理中であり、Cは処理完了を表している (ジョブの状態のテキストを貼る) -#実装部分 -* TORQUEで測定するには分散データベースのノードを全部起動して、全部終了するようにしないといけない +#TORQUEを使うにあたり工夫した所 +* TORQUEで測定するにはJungleのノードを15台全部起動して、全部終了するようにしないといけない * 実験が終了したらタスクを終了させるコードを実装した * 書き込みの最後にnullLogを送ると全体が終了するコードを実装した #分散フレームワークAlice * Aliceは当研究室で開発している並列分散フレームワークである * Alice は、ネットワーク上の複数のサーバーノードにトポロジーを形成させ、通信する機能を提供する +* 本実験では、Aliceを用いて15台のJungleにツリートポロジーを形成させ、子ノードとJungleノード間のデータの通信を行なった + +#TopologyManager +* TopologyManagerは、ネットワーク上の複数のサーバーノードにトポロジーを形成さる機能である +* TopologyManagerにトポロジーの内容が書かれたトポロジーファイルを渡すことで、任意のトポロジーを構成させることができる。 +* 本実験ではTopologyManagerにツリー型のトポロジーファイルを渡すことで、15台のJUngleでツリートポロジーを構成させた。 + +#TreeOperationLog +* TreeOperationLogには、Jungleのノード編集の履歴が入っている。 +* TreeOperationLogはAliceでも扱えるようシリアライズされている +* Aliceによって他のノードへTreeOperationLogを送り、そこでTreeOperationLogと同じ編集をさせることで、トポロジー上でのデータの整合性を取る。 #用意したスクリプト * 任意のnodeと任意のトポロジーを形成するperlスクリプトを作成した -* + +#結果 +* 無事7台の子ノードJungleからデータが書き込まれ、ルートノードJungleへデータがmergeされた時間を計測できた + -# まとめ -* +# まとめ * JungleとAliceで生じていたJava等のバージョンのズレを修正した * 測定用に、任意のnodeと任意のトポロジーを形成するperlスクリプトを作成した * mavenリポジトリのキャッシュをクリアすることアップデートできた # 今後の課題 -* 新たに確立した測定環境で現在のJungleの分散性能を測定したい +* 今回構築した測定環境で、現在のJungleのmergeや分散アルゴリズムを研究したい * 再接続時に、Jungleのノードのデータを再ロードできるプロトコルを定義したい * 方法としては、他のノード、もしくはディスクからデータを読み込む @@ -87,6 +100,7 @@ #計測結果 + #ジョブスクリプト