|
0
|
1 \documentclass[twocolumn,twoside,9.5pt]{jarticle}
|
|
|
2 \usepackage[dvipdfmx]{graphicx}
|
|
|
3 \usepackage{picins}
|
|
|
4 \usepackage{fancyhdr}
|
|
|
5 \usepackage{abstract}
|
|
|
6 \usepackage{here}
|
|
|
7 \usepackage{url}
|
|
|
8 \usepackage{listings,jlisting}
|
|
|
9 %\pagestyle{fancy}
|
|
|
10 \lhead{\parpic{\includegraphics[height=1zw,keepaspectratio,bb=0 0 251 246]{pic/emblem-bitmap.pdf}}琉球大学主催 工学部工学科知能情報コース 卒業研究発表会}
|
|
|
11 \rhead{}
|
|
|
12 \cfoot{}
|
|
|
13
|
|
|
14 \setlength{\topmargin}{-1in \addtolength{\topmargin}{15mm}}
|
|
|
15 \setlength{\headheight}{0mm}
|
|
|
16 \setlength{\headsep}{5mm}
|
|
|
17 \setlength{\oddsidemargin}{-1in \addtolength{\oddsidemargin}{11mm}}
|
|
|
18 \setlength{\evensidemargin}{-1in \addtolength{\evensidemargin}{21mm}}
|
|
|
19 \setlength{\textwidth}{181mm}
|
|
|
20 \setlength{\textheight}{261mm}
|
|
|
21 \setlength{\footskip}{0mm}
|
|
|
22 \pagestyle{empty}
|
|
|
23
|
|
|
24 \renewcommand{\abstractname}{Abstract}
|
|
|
25 \begin{document}
|
|
57
|
26 \title{コンテナ技術を用いた教育情報システムの構築}
|
|
55
|
27 \author{175733E {宮平 賢}\\ 指導教員 : {河野 真治} }
|
|
0
|
28 \date{}
|
|
|
29 \twocolumn [
|
|
|
30 \maketitle
|
|
57
|
31
|
|
|
32 %\begin{abstract}
|
|
|
33 %琉球大学工学部の教育情報システムの更新が行われ，VMベースのシステムからコンテナベースのシステムへ移行する．
|
|
|
34 %コンテナエンジンには，マルチユーザに対応するためPodmanとSingularityを採用する．
|
|
|
35 %コンテナエンジンの不便さを改善するため，ie-podmanを作成する．
|
|
|
36 %また，リソースの管理としてSlurm，ファイルシステムにはCephを採用する．
|
|
|
37 %これらの技術を用い教育情報システムの構築し検証を行う．
|
|
|
38 %旧システムのファイルシステムとの速度比較を行い，改善がみられた．
|
|
|
39 %また，作成したie-podmanの有用性を示すことができた．
|
|
|
40 %\end{abstract}
|
|
|
41
|
|
0
|
42 \begin{onecolabstract}
|
|
|
43
|
|
57
|
44 The Educational Information System of the Faculty of Engineering of the University of the Ryukyus is being updated, and will be migrated from a VM-based system to a container-based system.
|
|
|
45 For the container engine, Podman and Singularity are used to support multiple users.
|
|
|
46 To improve the inconvenience of the container engine, we create ie-podman.
|
|
|
47 We also use Slurm for resource management and Ceph for the file system.
|
|
|
48 We will construct and verify an educational information system using these technologies.
|
|
|
49 The speed of the system was compared with that of the old system, and an improvement was observed.
|
|
|
50 In addition, the usefulness of ie-podman was demonstrated.
|
|
0
|
51
|
|
|
52 \end{onecolabstract}]
|
|
|
53 \thispagestyle{fancy}
|
|
|
54
|
|
55
|
55 \section{教育向けの情報システム}
|
|
|
56 情報通信技術の普及に伴い学生が学ぶ学習環境が必要となる．その学習環境としてVMやコンテナにより，手軽に開発し試せる技術が普及している．
|
|
|
57 だが，手元のPC上でVMやコンテナを立ち上げ，開発を行うことはできるが，VMやコンテナの使用には高性能PCや有料のクラウドサービスが必要になる場合がある．
|
|
|
58 これらの負担をIT技術を学ぶ学生に負わせない新たな仕組みが必要である．
|
|
|
59 \par
|
|
|
60 本コースでは希望する学生に学科の汎用サーバから仮想環境を貸出するサービスを行っている．
|
|
|
61 貸出をするVMの基本スペックとしてCPU1コア，メモリ1GB，ストレージ10GBである．
|
|
|
62 基本スペックでは不足する場合は要望に応じてスペックの変更を行っている．
|
|
|
63 しかし，機械学習などの演習ではCPUよりGPUが求められる場合がある．
|
|
|
64 VM上でGPUを共有するにはPCIパススルーを利用することで可能である．
|
|
|
65 だが，PCIパススルーではGPUとVMは1対1の関係となり，GPUを希望する利用者すべてに割り当てることはできない．
|
|
|
66 \par
|
|
|
67 本研究では，学生が貸出VMだけでなく，学科の汎用サーバのリソースを効率的に利用できる教育情報システムを提案する．
|
|
|
68 教育情報システムには複数の汎用サーバと大容量ストレージサーバが存在する．
|
|
|
69 複数のサーバを利用するにあたり，分散ストレージが必要となる．
|
|
|
70 また，学習環境として利用されることから，複数の並列なアクセスに耐えられ，信頼性の高いファイルシステムが必要である．
|
|
|
71 この用件を満たすストレージソフトウェアとしてCephを採用した．
|
|
|
72 汎用サーバのリソースを効率的に利用するために，コンテナエンジンであるPodman，Singularity，ジョブスケジューラであるSlurmを採用した．
|
|
|
73 これらのソフトウェアを合わせ教育情報システムの構築を行った．
|
|
|
74
|
|
|
75 \section{Podman}
|
|
|
76 PodmanはRedHat社が開発，提供するLinux上でOCIコンテナを開発，管理，実行するためのデーモンレスコンテナエンジンである\cite{podman}．
|
|
|
77 PodmanはOCI準拠のコンテナランタイムに依存するため，前述したDockerなど他のコンテナエンジンと互換性を持つ．
|
|
|
78 また，Podman CLIはDocker CLIと同じ機能を提供する．
|
|
|
79 Podmanはコンテナとイメージストレージ，コンテナランタイムを介してLinxuカーネルと直接対話することで，デーモンレスで実行される．
|
|
|
80 Podmanの制御下にあるコンテナは，特権ユーザ又は非特権ユーザのいずれかによって実行することができる．
|
|
|
81
|
|
|
82 \section{Singularity}
|
|
|
83 Singularity\cite{singularity} とは，HPC環境向けに設計されたコンテナプラットフォームである．
|
|
|
84 Singularityはマルチユーザに対応しており，コンテナ内での権限は実行ユーザの権限を引き継ぐため，ユーザに特別な権限の設定が必要ない．
|
|
|
85 またデフォルトで，\$HOME，/tmp，/proc，/sys，/dev がコンテナにマウントされ，サーバ上のGPUを簡単に利用できる．
|
|
|
86 コンテナイメージはSingularity Image Format(以下，sif)と呼ばれる単一ファイルベースのため，アーカイブや共有が容易である．
|
|
0
|
87
|
|
55
|
88 \section{Slurm}
|
|
|
89 Slurm\cite{slurm}はLinuxクラスタ向けのフォールトトレラント設計のジョブスケジューリングシステムである．
|
|
|
90 Slurmには以下の3つの主要機能を提供する．
|
|
|
91 \begin{itemize}
|
|
|
92 \item 計算を実行するユーザに対してリソースへの排他的，非排他的なアクセスを割り当てる
|
|
|
93 \item 割り当てられたノード上のジョブの開始，実行，モニタリングを行う
|
|
|
94 \item 待機中のジョブキューを管理することにより，リソースの競合を解決する
|
|
|
95 \end{itemize}
|
|
|
96
|
|
|
97 \section{Ceph}
|
|
|
98 Cephは，RedHat社が開発，提供する分散ファイルシステムである．
|
|
|
99 Cephは分散オブジェクトストレージであるRADOS(Reliable Autonomic Distributred Object Storage)がベースとなっている．
|
|
|
100 RAODSでは，Object Storage Daemonにデータ格納する．
|
|
|
101 オブジェクトの配置には，クラスタマップを元にControlled Replication Under Scalable Hashing(以下，CRUSH)アルゴリズムによりオブジェクトの格納先を選択する．
|
|
|
102 配置の計算に必要とする情報はごくわずかであるため，Cephクラスタ内のすべてのノードは保存されている位置を計算できる．
|
|
|
103 そのため，データの読み書きが効率化される．また，CRUSHはデータをクラスタ内のすべてのノードに均等に分散しようとする．
|
|
|
104 \par
|
|
|
105 RODOSはクラスタに保存されるデータの管理を待ち受け，保存オブジェクトへのアクセス方法としてObject Gateway，RADOS Block Device(以下，RBD)，CephFS がある．
|
|
|
106 Object GatewayはHTTP REST経由でクラスタに保存されるオブジェクトへ直接アクセスが可能である．
|
|
|
107 RBD はブロックデバイスとしてアクセスが可能で，libvirt を組み合わせてVMのディスクとして使用できる．
|
|
|
108 また，RBDドライバを搭載したOSにマップし ext4 や XFS などでフォーマットして利用できる．
|
|
|
109 CephFS は POSIX互換のファイルシステムである．
|
|
|
110 複数のアクセス方法を提供することで，用途に合わせ柔軟に変更することができる．
|
|
|
111
|
|
|
112 \section{教育情報システムの構築}
|
|
56
|
113 新システムは，VMベースのシステムからコンテナベースへ移行する．
|
|
|
114 新システムでもVM貸出サービスを継続するが，新しく搭載されるGPUをVMで利用するためにはPCIパススルーなどの設定が必要となる．
|
|
|
115 しかし，PCIパススルーでは，VMとGPUが1対1の関係になるため，GPU希望する利用者全てに割り当てることができない．
|
|
|
116 そのため，コンテナに移行することにでリソースを効率よく利用し，管理を容易にする狙いがある．
|
|
|
117 また，基幹サービスのデータをSSD上に保存することで，サービスの高速化を図る．
|
|
|
118 \par
|
|
|
119 システムは学生や教授などが利用するため，マルチユーザで利用できるコンテナエンジンが必要となる．
|
|
|
120 そこで，マルチユーザに対応しているPodmanとSingularityを採用する．
|
|
|
121 Podmanは独自の名前空間でコンテナ内で特権機能を利用できるため，特権が必要なサービスなどの実行に向いている．
|
|
|
122 また，Singularityはコンテナ内で実行ユーザの権限を引き継ぐため，利用者が作成したプログラムの実行には向いている．
|
|
|
123 だが，Podmanのrootlessでは実行できない機能があり，SingularityではイメージのBuildがキャッシュされず低速である．
|
|
|
124 そこで，Podmanをwrapperしたie-podmanを作成した．
|
|
|
125 \par
|
|
57
|
126 新システムはコンテナベースに変更したことにより，利用者は汎用サーバのリソースを利用できる．
|
|
|
127 そのため，複数の利用者が多くのリソースを要求するプログラムを実行した場合，リソース不足やリソースの競合が考えられる．
|
|
|
128 そこで，汎用サーバのリソースを効率よく利用できるようにするため，ジョブスケジューラであるSlurmにより管理を行う．
|
|
|
129 Slurmの利用方針として，最悪待ち時間を減らすのではなく，計算リソースの利用効率を上げることを重視する．
|
|
56
|
130 \par
|
|
57
|
131 旧システムで使用したファイルシステムのGFS2はロックマネージャの影響が大きく，GFS2上のVMイメージにアクセスできなくなることがあった．
|
|
|
132 新システムでは汎用サーバにSAS SSDが5TBと旧システムより多く搭載されている．
|
|
|
133 2台のサーバに演習や研究用で利用する貸出VMのイメージを保存し，残り2台には本コースで利用しているサービスを提供するVMを保存する．
|
|
|
134 汎用サーバに保存することで，単一障害時の影響を小さくすることができる．
|
|
|
135 また，Cephは自己修復と自己管理機能を持つため，ユーザのホームディレクトリとして利用する．
|
|
56
|
136
|
|
55
|
137 \section{教育情報システムの利用}
|
|
56
|
138
|
|
|
139 構築した教育情報システムの管理方法，利用方法について述べる．
|
|
|
140
|
|
55
|
141 \subsection{ie-podmanの利用}
|
|
|
142 ie-podmanはPodmanをwrappし複数ユーザで利用することができるコンテナ管理ツールである．
|
|
|
143 Podmanはマルチユーザに対応しているため，ie-podmanを利用せずともコンテナの作成などを行える．
|
|
|
144 だが，コンテナへのIPアドレスの割り当てには，root権限が必要となるためrootlessでは実行できない．
|
|
|
145 そこで，ie-podmanではPodmanのすべての機能をwrappするのではなく，rootlessでは実行できない機能を提供する．
|
|
56
|
146 \par
|
|
|
147 新しいコンテナの作成は，Podmanのrunと同じように実行できる．
|
|
|
148 run時に--gpuオプションを指定することでコンテナ内にGPUを割り当てる．
|
|
|
149 また，--ipオプションを指定することで，使用されていないIPアドレスが割り振られる．
|
|
|
150 ie-podmanを使用して，新しいコンテナの作成はソースコード\ref{pg:ie-run}のように行う．
|
|
|
151 \begin{lstlisting}[caption=コンテナの作成, label=pg:ie-run]
|
|
|
152 $ ie-podman run --ip --gpu [IMAGE_NAME]
|
|
|
153 \end{lstlisting}
|
|
|
154 \par
|
|
|
155 Singularityからsifファイルの作成はPodmanと違いイメージのBuild時にレイヤーごとにキャッシュされない．
|
|
|
156 そのため，Build中にエラーが発生すると一からBuildを再開する必要がある．
|
|
|
157 そこで，ie-podmanで作成したイメージをsifファイルへ変換する機能を作成した．
|
|
|
158 ie-podmanでイメージを作成し，ソースコード\ref{pg:ie-sif}の操作を行うことでsifファイルへ変換が行える．
|
|
|
159 \begin{lstlisting}[caption=イメージのsif変換, label=pg:ie-sif]
|
|
|
160 $ ie-podman sif [IMAGE_NAME]
|
|
|
161 \end{lstlisting}
|
|
|
162
|
|
|
163 \subsection{GPUの利用方法}
|
|
|
164 新システムでは，汎用サーバに搭載されるGPUをコンテナから利用できる．
|
|
|
165 SingularityからGPUを利用には--nvオプションを指定することで，コンテナからGPUを利用することが可能になる．
|
|
|
166 Singularityのコンテナの実行は，ソースコード\ref{pg:sing-run}の操作で行える．
|
|
|
167 \begin{lstlisting}[caption=Singularityの実行, label=pg:sing-run]
|
|
|
168 $ singularity run --nv [SIF_NAME]
|
|
|
169 \end{lstlisting}
|
|
|
170
|
|
|
171 コンテナの実行にはrun，exec，shellのサブコマンドがあり，runではsifファイルを作成する際に指定が可能なrunscriptが実行される．
|
|
|
172 また，execではイメージ内にインストールされている任意のコマンドを実行することが可能である．
|
|
|
173 PodmanやDockerではexecを実行するにはコンテナを作成する必要があるが，Singularityではsifファイルからコマンドを実行することが可能である．
|
|
|
174 これらのサブコマンドを利用し，SlurmにJobを投下時に利用するJobの実行手順を記述したBatchファイルを作成する．
|
|
|
175 BatchファイルにはJobに必要とするリソースの定義，Jobで実行したい処理を記述する．
|
|
|
176 ソースコード\ref{pg:batchfile}は2$\sim$8行目にJobに必要とするリソースを定義する．
|
|
|
177 リソースの定義した後にプログラムを実行する処理を記述する．
|
|
|
178 \begin{lstlisting}[caption=Batchファイル, label=pg:batchfile, language=Bash, numbers=left, breaklines=true, basicstyle=\ttfamily\footnotesize, frame=single]
|
|
|
179 #!/bin/bash
|
|
|
180 #SBATCH --job-name sample
|
|
|
181 #SBATCH --output logs/%x-%j.log
|
|
|
182 #SBATCH --error logs/%x-%j.err
|
|
|
183 #SBATCH --nodes 1
|
|
|
184 #SBATCH --cpus-per-task 8
|
|
|
185 #SBATCH --gpus tesla:1
|
|
|
186 #SBATCH --time 01:00
|
|
|
187
|
|
|
188 singularity exec --nv [SIF_NAME] [COMMANDS]
|
|
|
189 \end{lstlisting}
|
|
|
190
|
|
|
191 Batchファイルを作成後，ソースコード\ref{pg:s-cmd}の1行目の操作でJobを投下することが可能である．
|
|
|
192 また，2行目の操作でJobの各種情報，3行目で投下したJobを停止することができる．
|
|
|
193 SlurmはユーザごとにJobが管理されるため，他ユーザのJobを停止するこはできない．
|
|
|
194 \begin{lstlisting}[caption=Jobの投下, label=pg:s-cmd, frame=single, numbers=left]
|
|
|
195 sbatch [BATCH_FILENAME]
|
|
|
196 squeue
|
|
|
197 scansel [JOB_ID]
|
|
|
198 \end{lstlisting}
|
|
55
|
199
|
|
|
200 \section{教育情報システムの評価}
|
|
|
201 \subsection{ie-podmanの評価}
|
|
56
|
202 RootlessのPodman，Singularityの不便な点を補うため，Podmanのwrapperであるie-podmanを作成した．
|
|
|
203 ie-podmanにより特権が必要な機能も，利用者に特別な権限を与えることなく利用できるようになる．
|
|
|
204 また，ie-podmanはrootfullのPodmanをwrapperすることにより，コンテナやイメージがSSD上に保存される．
|
|
|
205 そのため，rootlessのPodmanより高速化を図ることが可能になる．
|
|
|
206 \par
|
|
|
207 そこで，ie-podmanでのイメージのBuild速度の比較を行う．
|
|
|
208 速度の比較を行うコンテナエンジンは，Docker，ie-podman，rootlessのPodmanである。
|
|
|
209 図\ref{fig:ie-podman-review}はコンテナエンジンにおけるイメージのBuild速度である．
|
|
|
210 \begin{figure}[H]
|
|
|
211 \begin{center}
|
|
|
212 \includegraphics[width=90mm]{fig/container2.pdf}
|
|
|
213 \end{center}
|
|
|
214 \caption{書込み速度の比較}
|
|
|
215 \label{fig:ie-podman-review}
|
|
|
216 \end{figure}
|
|
|
217
|
|
|
218 Dockerやie-podmanのBuildに掛かる時間は1分未満だが，rootlessのPodmanでは3分程掛かっている．
|
|
|
219 RootlessのPodmanはコンテナイメージをユーザのホームディレクトリに保存する．
|
|
|
220 また，rootlessでは重複排除をサポートしていないVFSストレージに制限される．
|
|
|
221 RootlessのPodmanは独自の名前空間内で特権機能を利用できるようにするため，rootfullと比べ経由する関数が多くなる．
|
|
|
222 そのため，rootlessではrootfullと比べsyscallが多く呼ばれることにより，他と比べイメージのBuild速度が遅くなっているのではないかと考える．
|
|
|
223
|
|
55
|
224 \subsection{ファイルシステムの評価}
|
|
56
|
225 旧システムのVM保存場所として利用していたGFS2，ユーザのホームディレクトリとして利用していたNFSとの速度比較を行う．
|
|
|
226 ベンチマークにはddコマンドを使用する．
|
|
|
227 データの変換方法にfdatasyncを指定することで，書き込み終了の直前にsyncを1回要求するため，実際の動作に近い動作で測定が可能である．
|
|
|
228 \par
|
|
|
229 図\ref{fig:write}はCephFS，Ceph RBD，GFS2，NFSにおけるファイルサイズに対する書き込み速度である．
|
|
|
230 \begin{figure}[H]
|
|
|
231 \begin{center}
|
|
|
232 \includegraphics[width=90mm]{fig/Write.pdf}
|
|
|
233 \end{center}
|
|
|
234 \caption{書込み速度の比較}
|
|
|
235 \label{fig:write}
|
|
|
236 \end{figure}
|
|
|
237
|
|
|
238 旧システムのホームディレクトリは，iSCSI経由でマウントされたデバイスをNFSから提供していた．
|
|
|
239 iSCSIの通信には10Gbpsの回線で接続されているが，NFSの提供はVMで行われており，1Gbpsで提供されていた．
|
|
|
240 そのため，10Gbpsの回線で接続し，マウントしているCephでは書き込み速度の改善が見られる．
|
|
|
241 しかし，GFS2は10Gbpsで接続されたクラスタで構成されているが，Cephより低速である．
|
|
|
242 旧システムでは，パッケージ等のアップデートがされておらず，Kernelの更新もされていなかった．
|
|
|
243 KernelはI/Oに関する多くの機能を提供するため，GFS2の書き込みより，Cephが高速になったのではないかと考えられる．
|
|
|
244 \par
|
|
|
245 今回の計測では，読み込み速度の測定を行えなかった．
|
|
|
246 これは，旧システムで読み込み時にバッファキャッシュを削除せずに測定を行ったためである．
|
|
|
247 そのため，純粋な読み込み速度を測定することができなかったことは反省点である．
|
|
55
|
248
|
|
|
249 \section{まとめ}
|
|
56
|
250 今年度のシステム更新で教育情報システムの構築を行い，VMベースからコンテナベースへの移行ができた．
|
|
|
251 また，学生が利用できる学習環境としてVM貸出サービスだけでなく，コンテナ環境も利用できるようにしたことにより，学生が自由にサーバのリソースを利用できるようになった．
|
|
|
252 コンテナ環境として採用したPodman，Singularityの不便な点を補うために作成したie-podmanの評価を行った．
|
|
|
253 新しく採用したCephと，旧システムのファイルシステムとして利用されたGFS2，NFSとの書き込み速度の比較を行い，速度向上がみられた．
|
|
55
|
254
|
|
|
255 \section{今後の課題}
|
|
56
|
256 旧システムのVM貸出サービスは講義等で告知されたりしたが，実際にはあまり周知されておらず利用も少なかった．
|
|
|
257 これは，システム管理チームからの利用方法について周知等が少なかったことも原因として挙げられる．
|
|
|
258 本研究で構築した教育情報システムは，VMからコンテナまで利用できる．
|
|
|
259 だが，利用は主にCLIから操作を行い，プログラムの実行にはSlurmを利用する．
|
|
|
260 VM貸出サービスの変更や，コンテナ環境の利用方法についてまとめる必要がある．
|
|
|
261 また，SlurmのJobの投下方法や必要なリソースの要求方法などをまとめ，定期的な周知を行う必要がある．
|
|
|
262 \par
|
|
|
263 ie-podmanで使用するネットワーク構成はプレフィックス長が24であるため，最大254個のIPアドレスしか割り当てできない．
|
|
|
264 そのため，コンテナを削除せず停止のままでは，割り当て可能なIPアドレスが枯渇する．
|
|
|
265 そこで，ie-podmanが利用するネットワーク構成の変更を行う，もしくはコンテナが停止のまま数日経つ場合にie-podmanから自動削除する必要がある．
|
|
0
|
266
|
|
|
267 \begin{thebibliography}{9}
|
|
55
|
268
|
|
|
269 \bibitem{podman} Podman，https://podman.io/，2021/1/4.
|
|
|
270 \bibitem{singularity} Singularity，https://sylabs.io/singularity/，2021/1/8.
|
|
|
271 \bibitem{slurm} Slurm, https://slurm.schedmd.com/overview.html, 2021/1/14.
|
|
|
272 \bibitem{ceph} Ceph，https://docs.ceph.com/en/latest/，2021/1/12.
|
|
|
273
|
|
0
|
274 \end{thebibliography}
|
|
|
275
|
|
|
276 \nocite{*}
|
|
|
277 \bibliographystyle{junsrt}
|
|
|
278 \bibliography{reference}
|
|
|
279 \end{document}
|
