Mercurial > hg > Members > shoshi > 1Q > shoshi-slide

comparison index.html @ 0:dacfe6e2d9e7 default tip

Find changesets by keywords (author, files, the commit message), revision number or hash, or revset expression.
hg init
author Shoshi TAMAKI <shoshi@cr.ie.u-ryukyu.ac.jp>
date Sun, 11 Jul 2010 23:08:46 +0900
parents
children
comparison
equal deleted inserted replaced
-1:000000000000 0:dacfe6e2d9e7
1 <?xml version="1.0" encoding="utf-8"?>
2 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN"
3 "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd">
4 <html xmlns="http://www.w3.org/1999/xhtml" lang="ja" xml:lang="ja">
5 <head>
6 <title>分散Key-ValueストアCassandraの実用性の検証</title>
7 <meta name="copyright"
8 content="Copyright &#169; 2010 shoshi@cr.ie.u-ryukyu.ac.jp" />
9 <link rel="stylesheet" type="text/css" media="screen, projection, print" href="./slidy.css" />
10 <script src="./slidy.js" charset="utf-8" type="text/javascript"></script>
11 <style type="text/css">
12 *{
13 font-size : 1.1em;
14 }
15 </style>
16 </head>
17 <body>
18 <div class="slide">
19 <h2>分散Key-ValueストアCassandraの実用性の検証</h2>
20 <br/>
21 <br/>
22 <p>琉球大学　情報工学科　４年次</p>
23 <p>並列信頼研究室</p>
24 <p>玉城　将士</p>
25 </div>
26 <div class="slide">
27 <h2>発表の流れ</h2>
28 <ul>
29 <li>Cassandraの紹介</li>
30 <li>研究の目的</li>
31 <li>ConsistentHash</li>
32 <li>ConsistencyLevel</li>
33 <li>実験</li>
34 <li>考察</li>
35 <li>これからの作業</li>
36 </ul>
37 </div>
38 <div class="slide">
39 <h2>Cassandraの紹介（１）</h2>
40 <ul>
41 <li>Key-Valueストア(NoSQL)</li>
42 <li>高いスケーラビリティを持つ</li>
43 <li>シンプルなAPI（get,set,delete,count)</li>
44 <li>Javaで記述されている</li>
45 <li>FaceBookが作成．</li>
46 <li>2008年にオープンソースになった</li>
47 <li>Apacheのトップレベルプロジェクトの一つ</li>
48 <li>TwitterやDiggが興味を示している</li>
49 </ul>
50 </div>
51 <div class="slide">
52 <h2>Cassandraの紹介（２）</h2>
53 <p>FaceBookが自社のために使うデータベースとして開発し，2008年にオープンソースになる．<br/><br/>
54 2010年にはApacheのトップレベルプロジェクトに引き上げられた今とても熱いプロジェクト．<br/><br/>
55 現在のバージョンは0.6.2で盛んに開発が進んでおり，頻繁にバージョンアップがある．<br/><br/>
56 様々な会社のエンジニアが自由にプロジェクトに関わっていきている．</p>
57 <img src="cassandra_logo.png"/>
58 </div>
59 <div class="slide">
60 <h2>Cassandraの紹介（３）</h2>
61 <p>分散Key-Valueストアデータベース</p>
62 <ul>
63 <li>データベースに"Key"を問い合せると結びつけられた"Value"が返ってくる</li>
64 <li>分散データベース<br/>複数のノードで構成されているデータベース．
65 <li>ひとつのデータが複数のノードに保存される</li>
66 <li>ReplicationFactor 保存されるノードの個数
67 <li>ConsistencyLevel 整合性か速度の選択</li>
68 </ul>
69 </div>
70 <div class="slide">
71 <h2>Cassandraの紹介（５）</h2>
72 <p>MySQLより高速に動作する？（CassandraWikiより）</p>
73 <div align="center">
74 <table border="1">
75 <tr>
76 <th></th>
77 <th>Read</th>
78 <th>Write</th>
79 </tr>
80 <tr>
81 <td>MySQL</td>
82 <td>350 ms</td>
83 <td>300 ms</td>
84 </tr>
85 <tr>
86 <td>Cassandra</td>
87 <td>15 ms</td>
88 <td>0.12 ms</td>
89 </tr>
90 </table>
91 </div>
92 <p>自分で実測した結果
93 <div align="center" class="incremental">
94 <table align="center" border="1">
95 <tr>
96 <th></th>
97 <th>Read</th>
98 <th>Write</th>
99 </tr>
100 <tr>
101 <td>MySQL 5.1.46</td>
102 <td>9 seconds</td>
103 <td>6 seconds</td>
104 </tr>
105 <tr>
106 <td>Cassandra 0.6.2</td>
107 <td>42 seconds</td>
108 <td>411 seconds</td>
109 </tr>
110 </table>
111 </div>
112 <p class="incremental">遅いです
113 </div>
114 <div class="slide">
115 <h2>Cassandraの紹介（６）</h2>
116 <p>なぜ異なる結果となったのか
117 <ul>
118 <li>実験環境の違い？　データ量 : 4KB,使用言語 : Perl,繰り返し回数 : 10000</li>
119 <li>Yahoo!によるベンチマークでは複数台で同時にアクセスしている
120 <li>MySQL側にはnameとvalueの２つのレコードを持ったtableを作成</li>
121 <li>テーブルの大きさ(KB-TB)
122 <li>SEDAなのでマルチスレッドの性能を生かせないといけない
123 <li>問題によっては mySQL で十分
124 </ul>
125 </div>
126 <div class="slide">
127 <h2>Cassandraの紹介（６）</h2>
128 <p> より現実的なデータ量、Request数ではCassandraが良い結果を出すはず
129 <ul>
130 <li>ひとつの処理の速度よりも複数の処理を同時に行うのに向いている
131 <li>複数のCassandara ノードに平行に負荷を分散する
132 <li>負荷をかけるクライアントを別なホストに複数置く
133 <li>テーブルの大きさを大きくする
134 </ul>
135 <p> これらは、これから実験します。
136 </div>
137 <div class="slide">
138 <h2>Cassandraの紹介（７）</h2>
139 <h3>Twissandra</h3>
140 <p>Pythonで作成されたTwitterもどき，CassandraWikiの例題として掲載されている</p>
141 <ul>
142 <li><a href="http://misaka001.cr.ie.u-ryukyu.ac.jp:8000/">http://misaka001.cr.ie.u-ryukyu.ac.jp:8000/</a></li>
143 <li><a href="http://misaka002.cr.ie.u-ryukyu.ac.jp:8000/">http://misaka002.cr.ie.u-ryukyu.ac.jp:8000/</a></li>
144 <li>TwitterのようなアプリケーションもCassandraで作成することができる．</li>
145 </ul>
146 </div>
147 <div class="slide">
148 <h2>Cassandraの紹介（８）</h2>
149 <h3>YukiWiki on Cassandra</h3>
150 <p>Perlで作成されたYukiWikiを，Cassandra上で動くようにしました</p>
151 <ul>
152 <li><a href="http://misaka001.cr.ie.u-ryukyu.ac.jp/casawiki/wiki.cgi">http://misaka001.cr.ie.u-ryukyu.ac.jp/casawiki/wiki.cgi</a></li>
153 <li><a href="http://misaka002.cr.ie.u-ryukyu.ac.jp/casawiki/wiki.cgi">http://misaka002.cr.ie.u-ryukyu.ac.jp/casawiki/wiki.cgi</a></li>
154 <li>WikiのようなCMSもCassandraで作成することができる．</li>
155 </ul>
156 </div>
157 <div class="slide">
158 <h2>Cassandraの紹介（９）</h2>
159 <h3>YukiWiki on Cassandra</h3>
160 <p>YukiWikiのデータ構造</p>
161 <ul>
162 <li>YukiWikiはPerlのTIEHASHをデータベースとして使っている</li>
163 <li>３つのテーブルをデータベースとして使用している．</li>
164 <li>Cassandraに実装しやすいデータ構造のため改造は容易．</li>
165 </ul>
166 </div>
167 <div class="slide">
168 <h2>Cassandraの紹介（１０）</h2>
169 <h2>YukiWiki on Cassandra</h2>
170 <p>所要時間とコード数</p>
171 <ul>
172 <li>ソースコードの解析に数時間</li>
173 <li>Perlの連想配列と実装を結ぶTIEHASHの勉強に１週間</li>
174 <li>実装とリファクタリングに１週間</li>
175 <li>モジュールのコード数は１５０行</li>
176 </ul>
177 </div>
178 <div class="slide">
179 <h2>Cassandraの紹介（１１）</h2>
180 <h2>WordPress</h2>
181 <ul>
182 <li>ソースコード中にSQL文が分散しているため実装が困難</li>
183 <li>分散しているSQL文の部分をすべてCassandra用にコードを書き換える必要がある
184 <li>あるいは，SQLインタプリタを実装しないといけないので難しい</li>
185 <li class="incremental">WordPress開発者の皆さん！データ管理部分はちゃんとまとめて書きましょう</li>
186 </ul>
187 </div>
188 <div class="slide">
189 <h2>研究の目的</h2>
190 <ul>
191 <li>Key-Valueストアに習熟する</li>
192 <li>Cassandraのパラメータを実験する</li>
193 <li>THInKSのCassandra向きのデータ構造を考える</li>
194 <li>実装を行う</li>
195 </ul>
196 </div>
197 <div class="slide">
198 <h2>ConsistentHash</h2>
199 <h3>ConsistentHash（１）</h3>
200 <ul>
201 <li>分散データベースでは複数のノードにレコードを格納する</li>
202 <li>ConsistentHashはレコードを格納する場所を決定するアルゴリズム</li>
203 <li>ノードが故障や追加されたときに最小限のレコードの移動で済むように設計されている</li>
204 <li>そのレコードを複数の場所に保存する数がReplicationFactor</li>
205 <li>複数の読み込みと書き込みが生じるので一般的には遅くなる</li>
206 </ul>
207 </div>
208 <div class="slide">
209 <h2>ConsistentHash</h2>
210 <h3>ConsistentHash（２）</h3>
211 <ul>
212 <li>データのランダムかつ一意なハッシュ値を計算し，リング上に入れたとき同じ色のノードが担当する．</li>
213 </ul>
214 <div align="center">
215 <img src="consistenthash.PNG"/>
216 </div>
217 </div>
218 <div class="slide">
219 <h2>ConsistentHash</h2>
220 <h3>ConsistentHash（３）</h3>
221 <ul>
222 <li>ノードが抜けた場合は，担当するノードがずれて図のようになる．</li>
223 </ul>
224 <div align="center">
225 <img src="consistenthash_node_out.PNG"/>
226 </div>
227 </div>
228 <div class="slide">
229 <h2>ConsistentHash</h2>
230 <h3>ConsistentHash（４）</h3>
231 <ul>
232 <li>ノードが追加された場合も同様に，担当するノードがずれていく．</li>
233 </ul>
234 <div align="center">
235 <img src="consistenthash_node_add.PNG"/>
236 </div>
237 </div>
238 <div class="slide">
239 <h2>ConsistentHash</h2>
240 <h3>ReplicationFactor</h3>
241 <ul>
242 <li>レプリケーションが適用されるノードの台数を示す</li>
243 <li>ReplicationFactor = 2だとデータの担当は以下のようになる</li>
244 </ul>
245 <div align="center">
246 <img src="replicationfactor_ring.PNG"/>
247 </div>
248 </div>
249 <div class="slide">
250 <h2>ConsistencyLevel</h2>
251 <h3>ConsistencyLevel</h3>
252 <ul>
253 <li>整合性と速度どちらを重要視するか調整するためのパラメータ</li>
254 <li>リクエストごとに設定する</li>
255 <li>これにより信頼性の高い低速な読み書きと，信頼性は低いが高速な読み書きを選択できる</li>
256 <li>ReadとWriteでConsistencyLevelを設定した時の挙動が少し異なる</li>
257 </ul>
258 </div>
259 <div class="slide">
260 <h2>ConsistencyLevel</h2>
261 <h3>ConsistencyLevel - Read</h3>
262 <ul>
263 <li>ZERO - サポートされない</li>
264 <li>ANY - サポートされない</li>
265 <li>ONE - 一番最初に返答したノードの値を返しますが，最新とは限りらない．</li>
266 <li>QUORUM - すべてのノードに聞きに行きその内，多数決で一番タイムスタンプが新しい値を返す．</li>
267 <li>ALL - まだ実装されていない．</li>
268 </ul>
269 </div>
270 <div class="slide">
271 <h2>ConsistencyLevel</h2>
272 <h3>ConsistencyLevel - Write</h3>
273 <ul>
274 <li>ZERO - 書き込みはバックグラウンドで非同期的に行われる</li>
275 <li>ANY - どこか１つのノードに書き込まれる</li>
276 <li>ONE - 最低１つのノードのコミットログとメモリテーブルに書き込む</li>
277 <li>QUORUM - ReplicationFactor / 2 + 1の数だけノードに書き込む</li>
278 <li>ALL - ReplicationFactorの数だけノード全てに書き込む</li>
279 </ul>
280 </div>
281 <div class="slide">
282 <h2>実験</h2>
283 <h3>実験環境の構築</h3>
284 <p>Torque + maui</p>
285 <ul>
286 <li>TorqueとはたくさんのPCに対して処理を実行させるためのソフトウェア</li>
287 <li>mauiはすべてのクラスタに存在する処理を行う専用のユーザー</li>
288 <li>Torqueを使用して９０台のPCクラスタにCassandraをインストールし起動するスクリプトを作成</li>
289 <li>現在７７台で連携してCassandraが動作しています</li>
290 </ul>
291 </div>
292 <div class="slide">
293 <h2>実験</h2>
294 <h3>ConsistencyLevel::ONE vs ConsistencyLevel::QUORUM</h3>
295 <ul>
296 <li>ハードウェア : CoreDuo 2.0G , Memory 1GB
297 <li>データ量 : 24B</li>
298 <li>ReplicationFactor : 15</li>
299 <li>繰り返し回数 : 10000</li>
300 <li>全体のノード数 : 77</li>
301 </ul>
302 <div align="center">
303 <table border="1">
304 <tr>
305 <td></td>
306 <td>Read</td>
307 <td>Write</td>
308 </tr>
309 <tr>
310 <td>ONE</td>
311 <td>36 seconds</td>
312 <td>17 seconds</td>
313 </tr>
314 <tr>
315 <td>QUORUM</td>
316 <td>47 seconds</td>
317 <td>25 seconds</td>
318 </tr>
319 </table>
320 </div>
321 </div>
322 <div class="slide">
323 <h2>実験</h2>
324 <h3>ConsistencyLevel::ONE vs ConsistencyLevel::QUORUM</h3>
325 <ul>
326 <li>ハードウェア : CoreDuo 2.0G , Memory 1GB
327 <li>データ量 : 4KB</li>
328 <li>ReplicationFactor : 15</li>
329 <li>繰り返し回数 : 10000</li>
330 <li>全体のノード数 : 77</li>
331 </ul>
332 <div align="center">
333 <table border="1">
334 <tr>
335 <td></td>
336 <td>Read</td>
337 <td>Write</td>
338 </tr>
339 <tr>
340 <td>ONE</td>
341 <td>41 seconds</td>
342 <td>429 seconds</td>
343 </tr>
344 <tr>
345 <td>QUORUM</td>
346 <td>45 seconds</td>
347 <td>433 seconds</td>
348 </tr>
349 </table>
350 </div>
351 </div>
352 <div class="slide">
353 <h2>実験の考察</h2>
354 <h3>ConsistencyLevel::ONE vs ConsistencyLevel::QUORUM</h3>
355 <ul>
356 <li>確かにQUORUMのほうが遅いが大した差はない．</li>
357 <li>なぜたいしたことがないのか検証する必要があります
358 <li>設定が間違っている可能性もある．</li>
359 <li>CassandraはSEDAで動いているのでクライアント１台でバッチ処理はあまり美味しくない</li>
360 <br/>
361 <li>なぜかデータ量を多くするとReadとWriteの速度が逆転する（調査中）</li>
362 </ul>
363 </div>
364 <div class="まとめ">
365 <ul>
366 <li>Cassandraを使用してTwitterやWikiのようなアプリケーションも作成した</li>
367 <li>Cassandraを評価する環境を琉大のPCクラスタ上に作成した</li>
368 <li>単純な評価ではmySQLよりもCassandraの方が遅いことを確認した</li>
369 </ul>
370 </div>
371 <div class="slide">
372 <h2>これからのこと</h2>
373 <ul>
374 <li>クライアントを複数のbotにして一斉に負荷をかけるテストを行う</li>
375 <li>YukiWiki on Cassandraで負荷テストを行う</li>
376 <li>THInKSのデータベース設計</li>
377 <li>MacMini上のベンチマーク</li>
378 <li>信頼性の検証</li>
379 </ul>
380 <br/>
381 <p>ご清聴ありがとうございました！</p>
382 </div>
383 </body>
384 </html>