Mercurial > hg > Papers > 2018 > suruga-thesis
view distributed_database_Jungle.mm @ 0:46932cbafc72
add distributed_database_Jungle.mm
author | suruga |
---|---|
date | Wed, 31 Jan 2018 23:14:44 +0900 |
parents | |
children |
line wrap: on
line source
<map version="1.0.1"> <!-- To view this file, download free mind mapping software FreeMind from http://freemind.sourceforge.net --> <node CREATED="1517398052968" ID="ID_1630312179" MODIFIED="1517404032156" TEXT="分散データベースJungleの評価"> <node CREATED="1517398073287" ID="ID_165185668" MODIFIED="1517398283946" POSITION="right" TEXT="研究目的"> <node CREATED="1517399672148" ID="ID_88058044" MODIFIED="1517399681279" TEXT="スケーラビリティ"> <node CREATED="1517399685966" ID="ID_33794870" MODIFIED="1517399704649" TEXT="スマホやタブレットの普及"/> <node CREATED="1517399704990" ID="ID_798046355" MODIFIED="1517399726313" TEXT="webサーバへの負荷"/> <node CREATED="1517399726737" ID="ID_1553732973" MODIFIED="1517399746924" TEXT="システムの処理速度の低下"/> <node CREATED="1517399748598" ID="ID_1904362964" MODIFIED="1517399771955" TEXT="その改善の提案として、データベース部分に分散機能を負荷"/> <node CREATED="1517400012263" ID="ID_783455471" MODIFIED="1517400026690" TEXT="スケーラビリティを向上させる"> <node CREATED="1517400027777" ID="ID_334027664" MODIFIED="1517400031573" TEXT="スケールアップ"/> <node CREATED="1517400032097" ID="ID_282788704" MODIFIED="1517400045283" TEXT="スケールアウト"> <node CREATED="1517404250913" ID="ID_273671702" MODIFIED="1517404254606" TEXT="こっちの話"/> </node> <node CREATED="1517404223898" ID="ID_1613758951" MODIFIED="1517404238302" TEXT="分散させた方がこれからの時代にあっている"> <node CREATED="1517404240285" ID="ID_1522743423" MODIFIED="1517404248549" TEXT="スケーラビリティ"/> </node> </node> <node CREATED="1517399772630" ID="ID_536879354" MODIFIED="1517399793915" TEXT="分散データベースJungleの提案"> <node CREATED="1517400006223" ID="ID_1338727163" MODIFIED="1517405206696" TEXT="分散機能を持つデータベースとして開発されていたけど..."> <node CREATED="1517404354320" ID="ID_1360814056" MODIFIED="1517404443769" TEXT="localでは使えるという研究はされていた(金川さん)"/> <node CREATED="1517404370915" ID="ID_1281495759" MODIFIED="1517404463242" TEXT="でも複数台立ち上げた時にはちゃんと分散できるかは実験されていなかった"/> <node CREATED="1517404480709" ID="ID_115684904" MODIFIED="1517404502817" TEXT="Aliceの機能を使って、分散の環境は実現させるけれども、"/> <node CREATED="1517404382314" ID="ID_104240583" MODIFIED="1517404399206" TEXT="jungleの分散の実用性を示すために計測する必要がある"/> <node CREATED="1517404523240" ID="ID_1414437999" MODIFIED="1517404595569" TEXT="※今回はjungleの性能を測定/評価する研究であり、Jungleに新たに機能を搭載したわけではない(測定用のプログラムは複数作成した)"/> </node> </node> </node> </node> <node CREATED="1517398284462" ID="ID_1855317528" MODIFIED="1517398633827" POSITION="right" TEXT="分散データベースJungleの概要"> <node CREATED="1517399011993" ID="ID_1916631158" MODIFIED="1517399015116" TEXT="木構造"> <node CREATED="1517403677959" ID="ID_222552787" MODIFIED="1517403699862" TEXT="ring型やメッシュ型は、データの衝突が起こる可能性がある"/> <node CREATED="1517403705812" ID="ID_1689804806" MODIFIED="1517403739324" TEXT="tree型は下から(または上から)だんだんと上にデータが伝わっていくので、データの衝突が起こらない"/> <node CREATED="1517403739646" ID="ID_1374432464" MODIFIED="1517403762753" TEXT="※今回分散部分がメインなので、あまりかかない"/> </node> <node CREATED="1517403330815" ID="ID_1581578205" MODIFIED="1517403337265" TEXT="NoSQL"> <node CREATED="1517403378623" ID="ID_1654640903" MODIFIED="1517403383152" TEXT="RDBとの違い"> <node CREATED="1517403338669" ID="ID_1197099309" MODIFIED="1517403373540" TEXT="複雑なデータの形式を、再設計することなくそのまま読み込める"/> </node> </node> <node CREATED="1517399015665" ID="ID_709985886" MODIFIED="1517403649861" TEXT="非破壊"> <node CREATED="1517403443031" ID="ID_1066050583" MODIFIED="1517403499249" TEXT="木の変更の手間は、木構造の形に依存する"> <node CREATED="1517403503090" ID="ID_1369136365" MODIFIED="1517403537946" TEXT="アプリケーションに合わせて正しく設定することで、より高速な処理が可能となる"/> </node> <node CREATED="1517403578572" ID="ID_1152722972" MODIFIED="1517403609321" TEXT="元のデータのコピーを作成し、そのコピーを編集するという特徴を持つ"> <node CREATED="1517403553930" ID="ID_665766777" MODIFIED="1517403566899" TEXT="過去のデータのLOGを遡ることができる"/> </node> <node CREATED="1517403568336" ID="ID_417364649" MODIFIED="1517403768398" TEXT="※今回は分散部分がメインなのであまり書かない"> <node CREATED="1517405230978" ID="ID_1463901959" MODIFIED="1517405246261" TEXT="特に「非破壊」はチョロっとでいい!"/> </node> </node> <node CREATED="1517403859729" ID="ID_1306339922" MODIFIED="1517403865636" TEXT="分散データベースの解説"> <node CREATED="1517403872356" ID="ID_581936955" MODIFIED="1517404095828" TEXT="「分散データベース」とはそもそも何"> <node CREATED="1517404099024" ID="ID_1991116769" MODIFIED="1517404105357" TEXT="例えばどういうのがある"/> <node CREATED="1517404115730" ID="ID_857478335" MODIFIED="1517404144899" TEXT="別のノードにデータベースがあって、そこを編集したとき、別のデータベスに変更が適用されるなど"/> </node> <node CREATED="1517403942717" ID="ID_1201745509" MODIFIED="1517404155874" TEXT="Aliceを使っている(詳細は実験のところで)"/> </node> <node CREATED="1517399004046" ID="ID_910818020" MODIFIED="1517399011525" TEXT="分散部分"> <node CREATED="1517399133744" ID="ID_1916995816" MODIFIED="1517399144548" TEXT="分散フレームワークAlice"> <node CREATED="1517399493393" ID="ID_281276366" MODIFIED="1517399505346" TEXT="topologymanager"> <node CREATED="1517399889449" ID="ID_1338942506" MODIFIED="1517399891094" TEXT="Jungleを複数台立ち上げることが可能"> <node CREATED="1517405447820" ID="ID_1549364031" MODIFIED="1517405488113" TEXT="treeやringを自動的に組んでくれる"/> <node CREATED="1517405460727" ID="ID_1823180280" MODIFIED="1517405474361" TEXT="ネットワーク上のtreeトポロジーを自動で組んでくれる"/> <node CREATED="1517405505826" ID="ID_287844808" MODIFIED="1517405528050" TEXT="ノード同士を繋げてトポロジーを形成するのに向いている機能なのでそれを使っているという旨をかく"/> </node> </node> <node CREATED="1517399505817" ID="ID_1392756133" MODIFIED="1517399634620" TEXT="metacomputation(データ圧縮)"> <node CREATED="1517403076924" ID="ID_1386462606" MODIFIED="1517403085567" TEXT="データを軽くする"/> <node CREATED="1517405554148" ID="ID_575672041" MODIFIED="1517405559056" TEXT="通信速度を上げる"/> <node CREATED="1517405559407" ID="ID_50253895" MODIFIED="1517405597436" TEXT="aliceが圧縮にも対応しているから、jungleでもその機能をつかえるようになる"/> </node> </node> </node> </node> <node CREATED="1517405655218" ID="ID_779015375" MODIFIED="1517405781707" POSITION="left" TEXT="実験の概要"> <node CREATED="1517405843195" ID="ID_824132120" MODIFIED="1517405851941" TEXT="実験目的"> <node CREATED="1517406272151" ID="ID_683474142" MODIFIED="1517406487204" TEXT="jungleに分散性能があるか"> <node CREATED="1517406490583" ID="ID_440672906" MODIFIED="1517406551790" TEXT="分散機能を備えたデータベースとして開発していたが、実際に実験をしてその機能を確認することはできていなかった。"/> </node> <node CREATED="1517406280696" ID="ID_866454473" MODIFIED="1517406287205" TEXT="速度がどれくらいか"/> </node> <node CREATED="1517405787340" ID="ID_1131991170" MODIFIED="1517405975148" TEXT=" 実験概要を図で説明(1台に書き込んだら全部に同期されるまでの時間を計測)"> <node CREATED="1517405798363" ID="ID_401738696" MODIFIED="1517405798363" TEXT=""/> <node CREATED="1517405707052" ID="ID_1131546440" MODIFIED="1517405716503" TEXT="圧縮か非圧縮か"> <node CREATED="1517406435129" ID="ID_584722991" MODIFIED="1517406467868" TEXT="(仮)圧縮データを用いたjungleと非圧縮データを用いたjungleで測定?"/> </node> </node> <node CREATED="1517405690754" ID="ID_298853160" MODIFIED="1517405702214" TEXT="どのトポロジーでやるのか"> <node CREATED="1517405951092" ID="ID_1988910606" MODIFIED="1517405958133" TEXT="Tree"> <node CREATED="1517405961608" ID="ID_1390577093" MODIFIED="1517406907177" TEXT="なぜtreeにするのかも書いておく"/> <node CREATED="1517402881881" ID="ID_440861383" MODIFIED="1517406024411" TEXT="AliceのTopologymanagerでjungle同士を接続"/> </node> </node> <node CREATED="1517398899184" ID="ID_1444568024" MODIFIED="1517398908266" TEXT="測定環境"> <node CREATED="1517405703228" ID="ID_1450041773" MODIFIED="1517405706630" TEXT="何台でやるのか"> <node CREATED="1517403011861" ID="ID_1308979586" MODIFIED="1517403128584" TEXT="ジョブスケジューラーtorqueによる仮想サーバ32台"/> </node> <node CREATED="1517404737478" ID="ID_322011888" MODIFIED="1517404776323" TEXT="比較対象として他のデータベースを用いる。そのスペックや構造など"/> </node> </node> <node CREATED="1517398256903" ID="ID_544415031" MODIFIED="1517404634588" POSITION="left"> <richcontent TYPE="NODE"><html> <head> </head> <body> <p> Jungleの分散性能測定用プログラム </p> </body> </html> </richcontent> <node CREATED="1517400155546" ID="ID_1264760998" MODIFIED="1517400224784" TEXT="nodeを接続し、treeを作成してくれるアプリ"> <node CREATED="1517400226490" ID="ID_657486249" MODIFIED="1517400234303" TEXT="手書きで書く手間が省けた"> <node CREATED="1517400712723" ID="ID_1865290400" MODIFIED="1517402625490" TEXT="LogupdateTree.sh"/> </node> </node> <node CREATED="1517400236635" ID="ID_1976104118" MODIFIED="1517400261216" TEXT="立ち上がったjungleを終了させてくれるアプリ"> <node CREATED="1517400680234" ID="ID_672854068" MODIFIED="1517400680865" TEXT=" killLogupdate.sh "/> </node> <node CREATED="1517399052171" ID="ID_1923473080" MODIFIED="1517399219324" TEXT="keepaliveによる再接続システムの設計"/> </node> <node CREATED="1517398892565" ID="ID_162054209" MODIFIED="1517406114473" POSITION="left" TEXT="測定方法"> <node CREATED="1517402829131" ID="ID_535350579" MODIFIED="1517406040494" TEXT=""> <node CREATED="1517403230047" ID="ID_1611398444" MODIFIED="1517406043898" TEXT=""/> </node> <node CREATED="1517402917584" ID="ID_166846244" MODIFIED="1517402993874" TEXT="torqueで、32台のjungleを立ち上げ、一つをルートサーバとし、のこりのjungle(計算ノード)でテストプログラムを走らせ、データのまーじにかかる時間を測定"> <node CREATED="1517403133236" ID="ID_1857360449" MODIFIED="1517403149273" TEXT="torqueの概要"/> </node> </node> <node CREATED="1517398793460" ID="ID_1069916948" MODIFIED="1517406175174" POSITION="left" TEXT=""> <node CREATED="1517398914968" ID="ID_475201338" MODIFIED="1517406176615" TEXT=""> <node CREATED="1517404673386" ID="ID_765916995" MODIFIED="1517404705341" TEXT="結果・考察"> <node CREATED="1517400133062" ID="ID_1274462963" MODIFIED="1517405137108" TEXT="実際に測定し、図を書き出す"> <node CREATED="1517406643614" ID="ID_221184080" MODIFIED="1517406659157" TEXT="jungleの分散性能の有無を確認"/> <node CREATED="1517406664887" ID="ID_1309978286" MODIFIED="1517406678176" TEXT="その速度を確認"/> <node CREATED="1517404791019" ID="ID_153929418" MODIFIED="1517406619423" TEXT="(仮)他のデータベースと比較"/> </node> <node CREATED="1517406713588" ID="ID_690290864" MODIFIED="1517406752584" TEXT="jungleに分散機能が備わっているかどうかの結果"/> <node CREATED="1517406738926" ID="ID_1654090396" MODIFIED="1517406788928" TEXT="(仮)圧縮と非圧縮において、処理速度の差を考察"/> <node CREATED="1517405073691" ID="ID_109329535" MODIFIED="1517406427851" TEXT="(仮)実験結果をもとに、なぜjungleが他のデータベースより早い(または遅い)のか、その原因を考察する"/> </node> </node> </node> <node CREATED="1517398822320" ID="ID_1511779656" MODIFIED="1517398836201" POSITION="left" TEXT="結論"> <node CREATED="1517398927703" ID="ID_777187569" MODIFIED="1517398930546" TEXT="まとめ"/> <node CREATED="1517398932187" ID="ID_290459444" MODIFIED="1517398943187" TEXT="今後の課題"> <node CREATED="1517405006869" ID="ID_1802677222" MODIFIED="1517405057356" TEXT="今回の結果をふまえ、jungleが分散データベースとして機能を発揮するためには、どのような工夫が必要であるか"/> </node> </node> </node> </map>