Mercurial > hg > Papers > 2021 > mk-thesis
changeset 29:7154e9689864
update newsystem
author | Ken Miyahira <e175733@ie.u-ryukyu.ac.jp> |
---|---|
date | Fri, 05 Feb 2021 20:33:39 +0900 |
parents | 511bd4ef58b5 |
children | c4118dd96310 |
files | paper/chapter/new_system.tex paper/chapter/system_usage.tex paper/fig/backfill.pdf paper/fig/system.graffle paper/final_thesis.pdf |
diffstat | 5 files changed, 25 insertions(+), 3 deletions(-) [+] |
line wrap: on
line diff
--- a/paper/chapter/new_system.tex Tue Feb 02 21:01:58 2021 +0900 +++ b/paper/chapter/new_system.tex Fri Feb 05 20:33:39 2021 +0900 @@ -75,6 +75,28 @@ そこで, Podmanをwrapperしたie-podmanを作成した。 ie-podmanはコンテナに個別のIPアドレスを割り当てる際に利用する。 +\subsection{Slurm} +旧システムではVMベースのため, 利用者が演習や研究等のプログラムは決められたリソースで実行する必要があった。 +新システムはコンテナベースに変更したことにより, 利用者は汎用サーバのリソースを利用できる。 +そのため, 複数の利用者が多くのリソースを要求するプログラムを実行した場合, リソース不足やリソースの競合が考えられる。 +そこで, 汎用サーバのリソースを効率よく利用できるようにするため, ジョブスケジューラであるSlurmにより管理を行う。 +Slurmは最悪待ち時間を減らすのではなく, 計算リソースの利用効率を上げることを重視する。 +そのため, Jobの優先順位は以下のように設定を行う。 +\begin{itemize} + \item 要求するリソースの少ないJobの優先度を高くする + \item 実行時間が短いJobの優先度を高くする + \item これまでのJobの実行履歴で優先度は変化しない +\end{itemize} +また, Slurmに登録されるJobはバックフィルを採用する。 +バックフィルは図\ref{fig:backfill}のように, 後から投下されたJobが, 現在処理されているJobの実行時間以内であり, 空きリソースで処理可能ならば, 先に投下されたJobより先に処理される。 +\begin{figure}[H] + \begin{center} + \includegraphics[width=150mm]{fig/backfill.pdf} + \end{center} + \caption{バックフィル} + \label{fig:backfill} +\end{figure} + \subsection{FileSystem} 旧システムではVMのイメージをクラスタファイルシステムであるGFS2に保存し運用していた。 このGFS2の運用には別途クラスタを構成する必要があるため, 単一障害が発生により多くのサービスに影響を与えることがあった。
--- a/paper/chapter/system_usage.tex Tue Feb 02 21:01:58 2021 +0900 +++ b/paper/chapter/system_usage.tex Fri Feb 05 20:33:39 2021 +0900 @@ -78,7 +78,7 @@ $ ie-podman run --ip --gpu --name [CONTAINER_NAME] [IMAGE] \end{verbatim} -現在のPodmanはrootlessでコンテナイメージの作成は低速である。 +新システムにインストールされているPodmanはrootlessでコンテナイメージの作成は低速である。 これは, 開発段階ということ, 新システムのユーザのホームディレクトリはCephFSで提供されているためである。 ie-podmanはrootのPodmanを利用しSSD上に作成されるため, Podmanと比較し高速である。 イメージ名はコンテナ名と同じくユーザ名で補完されることで, 他ユーザと重複することはない。 @@ -87,7 +87,7 @@ $ ie-podman build --tag [IMAGE_NAME] [CONTEXT] \end{verbatim} -作成したコンテナイメージは下記の操作で一覧を表示することができる。 +また, 作成したコンテナイメージは下記の操作で一覧を表示することができる。 一覧で表示されるイメージはie-podmanで作成したイメージのみである。 \begin{verbatim} $ ie-podman images @@ -105,7 +105,7 @@ $ ie-podman sif [IMAGE_NAME] \end{verbatim} -本コースではコンテナレジストリを導入し利用している。 +新システムではコンテナベースでシステムを構築するため, コンテナレジストリを導入した。 レジストリの利用は学内ネットワークから可能であり, pushやpullが可能である。 ie-podmanからだけでなく, Podmanや手元のPCのDockerからも利用できる。 レジストリへの登録には, 登録するイメージにtagを付けpushする必要がある。