Mercurial > hg > Papers > 2020 > mk-sigiot
annotate paper/mk-wm.tex @ 8:aa9a8f31b61d
update tex
| author | Ken Miyahira <e175733@ie.u-ryukyu.ac.jp> |
|---|---|
| date | Tue, 04 Aug 2020 16:41:57 +0900 |
| parents | 790bc05dc78c |
| children | bf3c55a19edb |
| rev | line source |
|---|---|
| 0 | 1 %% |
| 2 %% 研究報告用スイッチ | |
| 3 %% [techrep] | |
| 4 %% | |
| 5 %% 欧文表記無しのスイッチ(etitle,eabstractは任意) | |
| 6 %% [noauthor] | |
| 7 %% | |
| 8 | |
| 9 %\documentclass[submit,techrep]{ipsj} | |
| 10 \documentclass[submit,techrep,noauthor]{ipsj} | |
| 11 | |
| 12 | |
| 13 | |
| 14 \usepackage[dvips,dvipdfmx]{graphicx} | |
| 15 \usepackage{latexsym} | |
| 16 \usepackage{listings} | |
| 17 \lstset{ | |
| 18 language=C, | |
| 19 tabsize=2, | |
| 20 frame=single, | |
| 21 basicstyle={\tt\footnotesize}, % | |
| 22 identifierstyle={\footnotesize}, % | |
| 23 commentstyle={\footnotesize\itshape}, % | |
| 24 keywordstyle={\footnotesize\ttfamily}, % | |
| 25 ndkeywordstyle={\footnotesize\ttfamily}, % | |
| 26 stringstyle={\footnotesize\ttfamily}, | |
| 27 breaklines=true, | |
| 28 captionpos=b, | |
| 29 columns=[l]{fullflexible}, % | |
| 30 xrightmargin=0zw, % | |
| 31 xleftmargin=1zw, % | |
| 32 aboveskip=1zw, | |
| 33 numberstyle={\scriptsize}, % | |
| 34 stepnumber=1, | |
| 35 numbersep=0.5zw, % | |
| 36 lineskip=-0.5ex, | |
| 37 } | |
| 38 \usepackage{caption} | |
| 39 | |
| 40 | |
| 41 \def\Underline{\setbox0\hbox\bgroup\let\\\endUnderline} | |
| 42 \def\endUnderline{\vphantom{y}\egroup\smash{\underline{\box0}}\\} | |
| 43 \def\|{\verb|} | |
| 44 % | |
| 45 | |
| 46 %\setcounter{巻数}{59}%vol59=2018 | |
| 47 %\setcounter{号数}{10} | |
| 48 %\setcounter{page}{1} | |
| 49 \renewcommand{\lstlistingname}{Code} | |
| 50 | |
| 51 \begin{document} | |
| 52 | |
| 53 | |
| 54 \title{情報工学科演習用のコンテナ技術を用いた新規サービスの設計・実装} | |
| 55 | |
| 56 %\etitle{How to Prepare Your Paper for IPSJ SIG Technical Report \\ (version 2018/10/29)} | |
| 57 | |
| 58 \affiliate{KIE}{琉球大学大学院理工学研究科情報工学専攻} | |
| 59 \affiliate{IE}{琉球大学工学部工学科知能情報コース} | |
| 60 | |
| 61 | |
| 62 \author{宮平 賢}{Miyahira Ken}{IE}[mk@cr.ie.u-ryukyu.ac.jp] | |
| 63 \author{河野 真治}{Shinji Kono}{IE}[kono@ie.u-ryukyu.ac.jp] | |
| 64 | |
| 65 \begin{abstract} | |
| 66 IT技術を学ぶ時の学習環境の 1つとして, OS 上の隔離された環境を構築する技術であるコンテナがある. これらはローカルに設置された計算機, あるいはクラウド上に作られる. | |
| 67 作成されるコンテナは学生, あるいは教員側から適切に管理するシステムが必要となる. | |
| 68 管理システムはマルチユーザで動作するのは当然として, 利用者や管理者に適したUI, sudo権限で動作するコンテナへの対処などが含まれる. | |
| 69 学生の演習には, Webサービスの実装や人工知能の学習などがある. そのため, 気軽に開発環境やテスト環境などを用意できる利用のしやすさが重要である. | |
| 70 本稿ではコンテナ管理ソフトウェアである Docker, Singularity を用いた新規 Web サービスの設計・実装を行う. | |
| 71 \end{abstract} | |
| 72 | |
| 73 | |
| 74 \maketitle | |
| 75 | |
| 76 \section{はじめに} | |
| 77 情報通信技術の普及に伴い学生が学ぶ学習環境が必要となる。その学習環境として VM や コンテナにより, 手軽に開発し試せる技術が普及している。 | |
| 78 だが, 手元の PC 上で VM や コンテナを立ち上げ, 開発を行うことはできるが, VM や コンテナの使用には高性能 PC や 有料のクラウドサービスが必要になる場合がある。 | |
| 79 この大きな負担を学生に負わせない仕組みが必要である。\par | |
| 5 | 80 琉球大学工学部工学科知能情報コースでは希望の学生に学科のブレードサーバから仮想環境を貸出すサービスを行なっている。貸出をする VM のデフォルトのスペックでは |
| 81 不足の場合, 要望に応じてスペックの変更を行なっている。だが, 貸出サービスでは GPU を利用した処理環境を提供することができない。 | |
| 0 | 82 %だが, 貸出サービスでは近年盛んに行われている人工知能の研究に必要な環境を提供することができない。 |
| 5 | 83 GPU が搭載されている PC は研究室によっては用意されているが, 研究室に所属していない学生は利用することができない。そのため, 新たな仕組みが必要である。\par |
| 84 学科のブレードサーバに搭載される GPU は VM の貸出サービスでは利用することができない。そこでコンテナ技術を利用する。 | |
| 85 コンテナ管理ソフトウェアである Docker では NVIDIA Container Toolkit である nvidia-docker を利用することで, 複数のコンテナで GPU を共有することができる。 | |
| 86 Docker は基本的に root 権限で動作する。また一般ユーザが docker コマンドを使用するには docker グループに追加する必要がある。 | |
| 87 そのため Docker をマルチユーザ環境で使用すると, 他ユーザのコンテナへアクセスができるなどセキュリティの問題がある。\par | |
| 0 | 88 そこで, 本論文では, Docker と マルチユーザ環境で利用しやすい Linux コンテナである Singularity を利用したコンテナ貸出サービスを提案する。 |
| 5 | 89 このコンテナ貸出サービスでは, Web コンソールからコンテナの操作を行うことで他ユーザのコンテナへの操作をさせない。また, 本コースの類似サービスの課題でもあったデータの永続化を |
| 90 Singularity で, 外部リポジトリの利用を Docker の操作を HTTP API で提供することで解消する。 | |
| 0 | 91 |
| 92 | |
| 5 | 93 \section{本コースの類似サービス} |
| 94 本サービスに類似したサービスとして, Docker をラップし複数のユーザで利用することを目的とした ie-docker \cite{ie-docker}, Kubernetes を利用した教育用コンテナ貸出を目的とした, digdog \cite{digdog} がある。 | |
| 0 | 95 \subsection{ie-docker} |
| 96 ie-docker とは Docker をラップし複数のユーザで利用することのできるコンテナ管理ツールである。 | |
| 97 利用する学生は ssh でブレードサーバへ接続し, ie-docker を使用してコンテナを操作することができる。 | |
| 98 ie-docker は UID 及び GID 情報を取得し他のユーザのコンテナを操作させない。 | |
| 5 | 99 またユーザが使える docker の機能を制限する。表\ref{tb:ie-docker}が ie-docker で利用できる機能である。 |
| 0 | 100 |
| 101 \begin{table}[htb] | |
| 102 \begin{center} | |
| 103 \caption{ie-docker のコマンド} | |
| 104 \begin{tabular}{c|l} \hline | |
| 105 ps & 起動中のコンテナの一覧を表示する \\ \hline | |
| 106 run & コンテナを作成する \\ \hline | |
| 107 start & コンテナを起動する \\ \hline | |
| 108 stop & コンテナを停止する \\ \hline | |
| 109 attach & 起動しているコンテナに attach する \\ \hline | |
| 110 cp & コンテナにファイルを送信する \\ \hline | |
| 111 rm & コンテナを削除する \\ \hline | |
| 112 \end{tabular} | |
| 113 \label{tb:ie-docker} | |
| 114 \end{center} | |
| 115 \end{table} | |
| 116 | |
| 117 \subsection{digdog} | |
| 118 digdog とは Kubernetes を利用したコンテナ貸出サービスである。 | |
| 119 学生は Dockerfile を GitLab CI/CD を利用して GitLab Registry に Docker イメージを登録する。 | |
| 5 | 120 学科アカウントを使用して Web サービスへログインし, 登録した Docker イメージでコンテナを作成することができる。 |
| 121 コンテナ作成時は digdog が Kubernetes に Deployment を設定する。Deployment は学生のアカウント名で作成された Namespace に設定される。 | |
| 122 Namespace は RBAC を用いたリソース操作のアクセス制御が設定されている。そのため学生は Kubernetes コマンドである kubectl コマンドで 手元の PC から Pod の操作を行うことができる。 | |
| 0 | 123 RBAC で許可されているリソース操作は表\ref{tb:digdog}である。 |
| 124 | |
| 125 \begin{table}[htb] | |
| 126 \begin{center} | |
| 127 \caption{kubectl のコマンド} | |
| 128 \begin{tabular}{c|l} \hline | |
| 129 get & Pod の一覧を表示する \\ \hline | |
| 130 log & Pod の Log を表示する \\ \hline | |
| 131 exec & Pod にアクセスする \\ \hline | |
| 132 \end{tabular} | |
| 133 \label{tb:digdog} | |
| 134 \end{center} | |
| 135 \end{table} | |
| 136 | |
| 5 | 137 |
| 138 \section{サービスの設計} | |
| 139 学生が学習環境を利用する流れを図\ref{fig:wm} に示し, 概要を以下で説明する。 | |
| 140 | |
| 141 \subsection{利用技術} | |
| 142 サービスではコンテナ貸出を行う。 | |
| 143 そこで, コンテナ管理ソフトウェアである Docker, コンテナオーケストレーションソフトである Kubernetes, マルチユーザ環境に適した Linux コンテナである Singularity を利用する。\par | |
| 144 サービスは Docker や Kubernetes のみで提供することもできる。だが, コンテナ内のデータの永続化が問題となる。そのため Singularity を利用する。 | |
| 145 Singularity では デフォルトで \$HOME, /tmp, /proc, /sys, /dev がコンテナにマウントされる。そのため, コンテナのデータの永続化や大量のデータを扱う場合に適している。 | |
| 146 | |
| 147 \subsection{コンテナの作成} | |
| 148 学生は学科アカウントで Web コンソールへログインする。Web コンソールでは 学生のコンテナ一覧や Docker イメージ一覧を確認することができる。 | |
| 149 コンテナ作成を選択するとコンテナを作成するために必要な情報を入力する。入力する内容は表\ref{tb:wmcon} である。コンテナ名には学生のアカウント名が補完されるため, 他の学生と被ることはない。 | |
| 150 Docker イメージは Docker Hub に登録されているイメージや, 作成したイメージを入力することができる。環境変数とゲストポートはスペース区切りで複数入力することができる。 | |
| 151 ホストポートは, エフェメラルポート の範囲から設定される。学生は設定されたホストポートを使用してコンテナのサービスへアクセスする。 | |
| 152 また, 学生はコンテナに対して Web コンソールから, または手元の PC から操作することができる。 | |
| 153 必要なくなったコンテナは Web コンソールのコンテナ一覧から削除することができる。 | |
| 154 | |
| 155 \begin{table}[htb] | |
| 156 \begin{center} | |
| 157 \caption{コンテナ作成時の入力内容} | |
| 158 \begin{tabular}{c|l} \hline | |
| 159 ContainerName & コンテナ名 \\ \hline | |
| 160 Image & Docker イメージ \\ \hline | |
| 161 Environments & コンテナ作成時の環境変数 \\ \hline | |
| 162 GuestPort & コンテナが使用するポート番号 \\ \hline | |
| 163 \end{tabular} | |
| 164 \label{tb:wmcon} | |
| 165 \end{center} | |
| 166 \end{table} | |
| 167 | |
| 168 \subsection{イメージの作成} | |
| 169 Docker イメージの作成は学科で利用している GitLab の CI/CD 機能を使用する。 | |
| 8 | 170 学生は学科 GitLab から CI/CD トークンを取得し, Web コンソールで取得したトークンをセットする。この時 Docker 側に GitLab Runner \cite{gitlabrunner} の立ち上げを依頼する。 |
| 5 | 171 トークンの設定後, Web コンソールから CI/CD 用の Yaml ファイルをダウンロードし Dockerfile と一緒に学科 GitLab のリポジトリに Push する。 |
| 172 Docker イメージの Build が成功すると Web コンソールのイメージ一覧で確認ができる。作成した Docker イメージは編集からイメージの使い方を記述でき, 他の学生に共有するか設定を行える。 | |
| 173 必要なくなったイメージは Web コンソールのイメージ一覧から削除することができる。 | |
| 174 | |
| 175 \subsection{Singularity の利用} | |
| 176 Singularity は Docker イメージをSingularity 用に Build することで, Docker イメージを使用することができる。 | |
| 177 だが, イメージの Build には sudo 権限が必要となる。Docker イメージの Build を申請性にすると, 管理者の仕事が増え, 学生も利用しづらい。 | |
| 178 また, Singularity はユーザ権限で動作するため, 学生が ssh でブレードサーバへ接続し利用する方が適している。 | |
| 179 そこで, Web コンソールから Singularity 用のイメージをダウンロードできる仕様とする。\par | |
|
6
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
180 学生は利用したいイメージをダウンロードし, ブレードサーバへ送信して Singularity を使用する。Singularity を利用する流れを図\ref{fig:singu} に示す。 |
| 0 | 181 |
| 182 \begin{figure}[tb] | |
| 183 \begin{center} | |
| 184 \includegraphics[width=80mm]{Images/whalemountain.pdf} | |
| 185 \end{center} | |
| 186 \caption{システム構成} | |
| 187 \label{fig:wm} | |
| 188 \end{figure} | |
| 189 | |
|
6
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
190 \begin{figure}[tb] |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
191 \begin{center} |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
192 \includegraphics[width=80mm]{Images/singularity.pdf} |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
193 \end{center} |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
194 \caption{Singularityの利用} |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
195 \label{fig:singu} |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
196 \end{figure} |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
197 |
| 5 | 198 \section{サービスの実装} |
| 7 | 199 本コースでは学科システムを教員の指導の下, 学生主体でシステム管理チームと呼ばれる組織によって構築・運用・管理が行われている。 |
| 200 学科システムはブレードサーバを 4 台, SAN 用ストレージと汎用ストレージをそれぞれ 2台ずつ導入している。本コースの基幹サービスはこのブレードサーバの仮想環境上で VM として動作している。 | |
| 201 新たにサービスを実装するとなると, システム管理チームが運用・管理を行いやすい実装にする必要がある。\par | |
| 202 Web コンソールや Docker の操作を 1 つにまとめると, Docker コンテナの作成が 1台のブレードサーバのみになってしまう。 | |
| 203 そこで, コンテナ貸出システムは, 機能ごとに以下の 3 つにサービスに分ける。 | |
| 204 Docker や Kubernetes の操作を HTTP API で提供することで, 図\ref{fig:api} のようにリクエスト先の変更で複数のブレードサーバにコンテナを分散することができる。 | |
|
6
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
205 だが, 現時点では未実装である。\par |
| 5 | 206 実装にはDocker や Kubernetes の実装言語であり, 操作するためのライブラリが揃っている Go 言語を使用する。 |
| 207 \begin{itemize} | |
|
6
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
208 \item Web コンソール |
| 5 | 209 \item Docker の操作 |
| 210 \item Kubernetes の操作 | |
| 211 \end{itemize} | |
| 212 | |
|
6
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
213 \begin{figure}[tb] |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
214 \begin{center} |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
215 \includegraphics[width=80mm]{Images/apihukusu.pdf} |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
216 \end{center} |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
217 \caption{機能の分散} |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
218 \label{fig:api} |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
219 \end{figure} |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
220 |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
221 \subsection{Web コンソール} |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
222 Web コンソールは本コースの学生や教員が利用するため, 学科のアカウントでログインできる LDAP 認証が必須である。 |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
223 また, GUI で操作するため, 新しく GUI の操作に慣れる必要があることから, ユーザが操作しやすい必要がある。\par |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
224 Docker の操作や Kubernetes の操作を行う HTTP API はセッション管理を行わないため, Web コンソールで管理する必要がある。 |
| 7 | 225 そのため, ユーザのコンテナやイメージの情報をデータベースに格納して管理する。 |
|
6
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
226 ユーザのアカウントID と コンテナに紐づけられたアカウントID が等しい場合のみ操作を行うことができる。そのため, 他のユーザのコンテナやイメージを操作できない。 |
| 7 | 227 また, ユーザが作成する Docker イメージは他のユーザに共有や非共有ができる。共有されたイメージは共有イメージの一覧に表示され, 他のユーザがコンテナ作成時に利用することができる。 |
|
6
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
228 コンテナ作成時にイメージの確認が行われることで, 非共有に設定したイメージを他のユーザが利用することはできない。 |
| 0 | 229 |
| 5 | 230 \subsection{Docker の操作} |
| 7 | 231 Docker は Docker Engine API を提供している。Docker デーモンは指定した IP アドレスと ポート を リッスンする。 IP アドレスと ポートの指定を行うことで外部から Docker の操作が可能になる。 |
| 232 だが, Dockr デーモンが稼働しているホスト上の root アクセスを得られるため, 推奨されてない。 | |
| 233 また, 本論文で実装するサービスでは Docker のすべての操作を必要としない。そこで, Docker の操作を行うための SDK \cite{sdk} を使用し, 必要な機能のみを実装する。\par | |
| 5 | 234 サービスを提供する上で Docker の必要となる操作は以下である。 |
| 235 \begin{itemize} | |
| 236 \item コンテナの作成 | |
| 237 \item コンテナの削除 | |
|
6
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
238 \item コンテナでのコマンド実行 |
| 5 | 239 \item コンテナへファイル送信 |
|
6
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
240 \item イメージ一覧の取得 |
| 5 | 241 \item イメージの削除 |
| 242 \end{itemize} | |
| 0 | 243 |
| 8 | 244 コンテナは, 表\ref{tb:wmcon} で入力した情報を下に作成を行う。コンテナ名は Web コンソールからリクエストを送るタイミングで補完される。 |
| 245 また, コンテナが属するネットワーク名も補完される。リクエストからコンテナを作成後, 作成したコンテナID や ネットワークID を返却する。 | |
| 246 返却したコンテナID や ネットワークID を下にコンテナ削除やコマンドの実行, ファイルの送信を処理する。 | |
| 247 Docker イメージは GitLab CI/CD を利用して作成するが, Build が成功したかを判断することはできない。 | |
| 248 そのため, Web コンソール側から 5 分に一度イメージの更新リクエストが送られ, Docker イメージの一覧をリストにまとめ返却を行う。\par | |
| 249 ユーザが作成するコンテナとは別に GitLab CI/CD で Docker イメージを Build するための GitLab Runner を立てる必要がある。 | |
| 250 立ち上げはユーザが Web コンソールで CI/CD トークンの設定時に行われる。GitLab Runner はユーザごとに立ち上げることで, 複数のユーザが同時に Build を行うことができる。 | |
| 5 | 251 |
| 252 \subsection{Kubernetes の操作} | |
|
6
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
253 実装には Kubernetes の操作を行うためのライブラリである client-go \cite{kubecli} を使用する。 |
|
db794a6414e4
update tex, add figs
Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
parents:
5
diff
changeset
|
254 |
| 5 | 255 |
| 256 \section{サービスの評価} | |
| 257 | |
| 258 \section{類似サービスとの評価} | |
| 0 | 259 |
| 260 %\begin{lstlisting}[frame=lrbt,label=src:example,caption={コード書き方例}] | |
| 261 %package main | |
| 262 %import "fmt" | |
| 263 | |
| 264 %func main() { | |
| 265 % fmt.Println("Hello, World!!") | |
| 266 %} | |
| 267 %\end{lstlisting} | |
| 268 | |
| 269 \section{今後の課題} | |
| 270 | |
| 271 \section{まとめ} | |
| 272 | |
| 273 \nocite{*} | |
| 274 \bibliographystyle{ipsjunsrt} | |
| 275 \bibliography{mk-wm} | |
| 276 | |
| 5 | 277 \end{document} |