# HG changeset patch # User Ken Miyahira # Date 1611486552 -32400 # Node ID 1463825d633613f98587b40f1c94eb80220ac858 # Parent 133eb73c1d50fa012ba373a09f12c12f8d2e44f5 update system_renew diff -r 133eb73c1d50 -r 1463825d6336 paper/chapter/system_renew.tex --- a/paper/chapter/system_renew.tex Sat Jan 23 14:41:04 2021 +0900 +++ b/paper/chapter/system_renew.tex Sun Jan 24 20:09:12 2021 +0900 @@ -19,7 +19,7 @@ \end{center} \end{table} -次にVMのイメージを保存するために表\ref{tb:oldsandisk}のストレージを導入した。 +次にVMのイメージを保存するために表\ref{tb:oldsandisk}のストレージを2台導入した。 ハードディスクドライブの故障が想定されるため, RAID6を採用し信頼性及び可用性の向上を行った。 ストレージと汎用サーバとの接続プロトコルはiSCSIを採用した。 VMベースのシステムであることから, ライブマイグレーションに対応するためにクラスタファイルシステムとして利用可能なファイルシステムである, GFS2を採用した。 @@ -37,7 +37,7 @@ \end{center} \end{table} -最後にシステムのバックアップを行うために表\ref{tb:olddisk}の大容量ストレージを導入した。 +最後にシステムのバックアップを行うために表\ref{tb:olddisk}の大容量ストレージを2台導入した。 大容量ストレージには本コースのWebやデータベース, ユーザのホームディレクトリなどを月に一度バックアップを行う。 % こいつ...もしかしたら Netgea ???? @@ -69,6 +69,9 @@ % 無理でした ^_^;) \section{新システム} +新システムでは, 表\ref{tb:newserver}の汎用サーバを4台採用した。 +旧システムのストレージはHDDであったが, SSDの大容量化, 低価格化によりSSDを搭載した。 +また, 演習や研究等で利用できるようGPUも搭載した。 \begin{table}[H] \begin{center} @@ -85,6 +88,10 @@ \end{center} \end{table} +次にユーザのデータなどを補完するために, 表\ref{tb:newdiskserver}のストレージサーバを2台採用した。 +2台のストレージサーバにはCephを構築するため, RAIDを構成せず利用する。 +そのため, 旧システムでは全体容量が40TBだったが, 新システムでは90TBと増加した。 + \begin{table}[H] \begin{center} \caption{新システムのストレージサーバ} @@ -101,11 +108,40 @@ % 構成の図貼る % 機器のスペックもありるれろ -\subsection{Ceph} +\subsection{仮想環境} +旧システムはVMベースで構築しており, 利用できる学習環境は主に貸出VMである。 +新システムでも貸出VMを行うが, VMとGPUが1対1の関係になるため, GPU希望する利用者全てに割り当てることができない。 +また, VMでは起動に時間がかかったり, VMを立てるごとに環境構築が必要となり利用者の手間を取らせることになる。 +そこで, アプリケーションの実行環境として採用されているコンテナ技術を利用する。 +\par +システムは学生や教授などが利用するため, マルチユーザで利用できるコンテナエンジンが必要となる。 +そのため, コンテナエンジンにはPodmanとSingularityを採用する。 +Podmanは開発段階でもあるため一部機能が不安定だったり, 設定が上書きされる場合がある。 +管理するシステム管理チームの学生の教育には適しているが, 演習や研究等で利用するには適さない場合がある。 +そのため, HPC環境に設計されているSingularityも同時に利用する。 +また, 4台のサーバのリソースを効率よく利用するためにジョブスケジューラのSlurmを採用する。 +Slurmではユーザのホームディレクトリがクラスタで共有されている必要があることから, 単一ファイルベースのイメージを利用できるSingularityはSlurmとの相性が良い。 -\subsection{Podman} -\subsection{ie-podman} +\subsection{ファイルシステム} +旧システムではVMのイメージをクラスタファイルシステムであるGFS2に保存し運用していた。 +このGFS2の運用には別途クラスタを構成する必要があるため, 単一障害が発生により多くのサービスに影響を与えることがあった。 +また, ユーザのホームディレクトリもVMでGFS2をマウントしNFSで提供されていた。 +そのため, NFSを提供するVMが停止することでユーザへの影響があった。 +そこで, 新システムではVMイメージの保存には汎用サーバのディスクドライブ, ユーザのホームディレクトリにCephを採用する。 +\par +新システムでは汎用サーバにSAS SSDが5TBと旧システムより多く搭載されている。 +2台のサーバには演習や研究等で利用する貸出VMのイメージを保存し, 残り2台には本コースで利用しているサービスを提供するVMを保存する。 +汎用サーバのディスクドライブに保存することで, 単一障害時の影響を小さくすることができる。 +Cephは自己修復と自己管理機能を持つため, 信頼性の高いファイルシステムとして利用できる。 +また, CephはObject Gateway, ブロックデバイス, POSIX互換のファイルシステムなど, 用途によって柔軟にアクセス方法を変更できる。 +そのため, ユーザのファイルシステムとすることで, 信頼性があり耐障害性のあるファイルシステムとして利用できる。 -\subsection{Singularity} - -\subsection{Slurm} \ No newline at end of file +\subsection{構成} +これらの技術を用いて構成したシステム構成図を図\ref{fig:system}に示す。 +\begin{figure}[H] + \begin{center} + \includegraphics[width=150mm]{fig/system.pdf} + \end{center} + \caption{システム構成図} + \label{fig:system} +\end{figure} \ No newline at end of file diff -r 133eb73c1d50 -r 1463825d6336 paper/fig/system.graffle Binary file paper/fig/system.graffle has changed diff -r 133eb73c1d50 -r 1463825d6336 paper/fig/system.pdf Binary file paper/fig/system.pdf has changed diff -r 133eb73c1d50 -r 1463825d6336 paper/final_thesis.pdf Binary file paper/final_thesis.pdf has changed