Mercurial > hg > Papers > 2021 > mk-thesis

comparison paper/chapter/system_renew.tex @ 19:1463825d6336

Find changesets by keywords (author, files, the commit message), revision number or hash, or revset expression.
update system_renew
author Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
date Sun, 24 Jan 2021 20:09:12 +0900
parents 133eb73c1d50
children cfe8f0abdacb
comparison
equal deleted inserted replaced
18:133eb73c1d50 19:1463825d6336
17 \end{tabular} 17 \end{tabular}
18 \label{tb:oldserver} 18 \label{tb:oldserver}
19 \end{center} 19 \end{center}
20 \end{table} 20 \end{table}
21 21
22 次にVMのイメージを保存するために表\ref{tb:oldsandisk}のストレージを導入した。 22 次にVMのイメージを保存するために表\ref{tb:oldsandisk}のストレージを2台導入した。
23 ハードディスクドライブの故障が想定されるため, RAID6を採用し信頼性及び可用性の向上を行った。 23 ハードディスクドライブの故障が想定されるため, RAID6を採用し信頼性及び可用性の向上を行った。
24 ストレージと汎用サーバとの接続プロトコルはiSCSIを採用した。 24 ストレージと汎用サーバとの接続プロトコルはiSCSIを採用した。
25 VMベースのシステムであることから, ライブマイグレーションに対応するためにクラスタファイルシステムとして利用可能なファイルシステムである, GFS2を採用した。 25 VMベースのシステムであることから, ライブマイグレーションに対応するためにクラスタファイルシステムとして利用可能なファイルシステムである, GFS2を採用した。
26 26
27 \begin{table}[H] 27 \begin{table}[H]
35 \end{tabular} 35 \end{tabular}
36 \label{tb:oldsandisk} 36 \label{tb:oldsandisk}
37 \end{center} 37 \end{center}
38 \end{table} 38 \end{table}
39 39
40 最後にシステムのバックアップを行うために表\ref{tb:olddisk}の大容量ストレージを導入した。 40 最後にシステムのバックアップを行うために表\ref{tb:olddisk}の大容量ストレージを2台導入した。
41 大容量ストレージには本コースのWebやデータベース, ユーザのホームディレクトリなどを月に一度バックアップを行う。 41 大容量ストレージには本コースのWebやデータベース, ユーザのホームディレクトリなどを月に一度バックアップを行う。
42 42
43 % こいつ...もしかしたら Netgea ???? 43 % こいつ...もしかしたら Netgea ????
44 \begin{table}[H] 44 \begin{table}[H]
45 \begin{center} 45 \begin{center}
67 67
68 % 簡単に 1ページ未満にしよう 68 % 簡単に 1ページ未満にしよう
69 % 無理でした ^_^;) 69 % 無理でした ^_^;)
70 70
71 \section{新システム} 71 \section{新システム}
72 新システムでは, 表\ref{tb:newserver}の汎用サーバを4台採用した。
73 旧システムのストレージはHDDであったが, SSDの大容量化, 低価格化によりSSDを搭載した。
74 また, 演習や研究等で利用できるようGPUも搭載した。
72 75
73 \begin{table}[H] 76 \begin{table}[H]
74 \begin{center} 77 \begin{center}
75 \caption{新システムの物理サーバ} 78 \caption{新システムの物理サーバ}
76 \begin{tabular}{|c|c|} \hline 79 \begin{tabular}{|c|c|} \hline
82 NVMe SSD & 1.5TB \\ \hline 85 NVMe SSD & 1.5TB \\ \hline
83 \end{tabular} 86 \end{tabular}
84 \label{tb:newserver} 87 \label{tb:newserver}
85 \end{center} 88 \end{center}
86 \end{table} 89 \end{table}
90
91 次にユーザのデータなどを補完するために, 表\ref{tb:newdiskserver}のストレージサーバを2台採用した。
92 2台のストレージサーバにはCephを構築するため, RAIDを構成せず利用する。
93 そのため, 旧システムでは全体容量が40TBだったが, 新システムでは90TBと増加した。
87 94
88 \begin{table}[H] 95 \begin{table}[H]
89 \begin{center} 96 \begin{center}
90 \caption{新システムのストレージサーバ} 97 \caption{新システムのストレージサーバ}
91 \begin{tabular}{|c|c|} \hline 98 \begin{tabular}{|c|c|} \hline
99 \end{table} 106 \end{table}
100 107
101 % 構成の図貼る 108 % 構成の図貼る
102 % 機器のスペックもありるれろ 109 % 機器のスペックもありるれろ
103 110
104 \subsection{Ceph} 111 \subsection{仮想環境}
112 旧システムはVMベースで構築しており, 利用できる学習環境は主に貸出VMである。
113 新システムでも貸出VMを行うが, VMとGPUが1対1の関係になるため, GPU希望する利用者全てに割り当てることができない。
114 また, VMでは起動に時間がかかったり, VMを立てるごとに環境構築が必要となり利用者の手間を取らせることになる。
115 そこで, アプリケーションの実行環境として採用されているコンテナ技術を利用する。
116 \par
117 システムは学生や教授などが利用するため, マルチユーザで利用できるコンテナエンジンが必要となる。
118 そのため, コンテナエンジンにはPodmanとSingularityを採用する。
119 Podmanは開発段階でもあるため一部機能が不安定だったり, 設定が上書きされる場合がある。
120 管理するシステム管理チームの学生の教育には適しているが, 演習や研究等で利用するには適さない場合がある。
121 そのため, HPC環境に設計されているSingularityも同時に利用する。
122 また, 4台のサーバのリソースを効率よく利用するためにジョブスケジューラのSlurmを採用する。
123 Slurmではユーザのホームディレクトリがクラスタで共有されている必要があることから, 単一ファイルベースのイメージを利用できるSingularityはSlurmとの相性が良い。
105 124
106 \subsection{Podman} 125 \subsection{ファイルシステム}
107 \subsection{ie-podman} 126 旧システムではVMのイメージをクラスタファイルシステムであるGFS2に保存し運用していた。
127 このGFS2の運用には別途クラスタを構成する必要があるため, 単一障害が発生により多くのサービスに影響を与えることがあった。
128 また, ユーザのホームディレクトリもVMでGFS2をマウントしNFSで提供されていた。
129 そのため, NFSを提供するVMが停止することでユーザへの影響があった。
130 そこで, 新システムではVMイメージの保存には汎用サーバのディスクドライブ, ユーザのホームディレクトリにCephを採用する。
131 \par
132 新システムでは汎用サーバにSAS SSDが5TBと旧システムより多く搭載されている。
133 2台のサーバには演習や研究等で利用する貸出VMのイメージを保存し, 残り2台には本コースで利用しているサービスを提供するVMを保存する。
134 汎用サーバのディスクドライブに保存することで, 単一障害時の影響を小さくすることができる。
135 Cephは自己修復と自己管理機能を持つため, 信頼性の高いファイルシステムとして利用できる。
136 また, CephはObject Gateway, ブロックデバイス, POSIX互換のファイルシステムなど, 用途によって柔軟にアクセス方法を変更できる。
137 そのため, ユーザのファイルシステムとすることで, 信頼性があり耐障害性のあるファイルシステムとして利用できる。
108 138
109 \subsection{Singularity} 139 \subsection{構成}
110 140 これらの技術を用いて構成したシステム構成図を図\ref{fig:system}に示す。
111 \subsection{Slurm} 141 \begin{figure}[H]
142 \begin{center}
143 \includegraphics[width=150mm]{fig/system.pdf}
144 \end{center}
145 \caption{システム構成図}
146 \label{fig:system}
147 \end{figure}