Mercurial > hg > Papers > 2021 > mk-thesis

comparison paper/chapter/new_system.tex @ 29:7154e9689864

Find changesets by keywords (author, files, the commit message), revision number or hash, or revset expression.
update newsystem
author Ken Miyahira <e175733@ie.u-ryukyu.ac.jp>
date Fri, 05 Feb 2021 20:33:39 +0900
parents 511bd4ef58b5
children acbdce4a79d7
comparison
equal deleted inserted replaced
28:511bd4ef58b5 29:7154e9689864
73 rootlessでWebなどのサービスを実行しアクセスするにはポートフォワードを設定する必要がある。 73 rootlessでWebなどのサービスを実行しアクセスするにはポートフォワードを設定する必要がある。
74 だが, 利用者が使用するポートを汎用サーバで開放することはセキュリティ的にできない。 74 だが, 利用者が使用するポートを汎用サーバで開放することはセキュリティ的にできない。
75 そこで, Podmanをwrapperしたie-podmanを作成した。 75 そこで, Podmanをwrapperしたie-podmanを作成した。
76 ie-podmanはコンテナに個別のIPアドレスを割り当てる際に利用する。 76 ie-podmanはコンテナに個別のIPアドレスを割り当てる際に利用する。
77 77
78 \subsection{Slurm}
79 旧システムではVMベースのため, 利用者が演習や研究等のプログラムは決められたリソースで実行する必要があった。
80 新システムはコンテナベースに変更したことにより, 利用者は汎用サーバのリソースを利用できる。
81 そのため, 複数の利用者が多くのリソースを要求するプログラムを実行した場合, リソース不足やリソースの競合が考えられる。
82 そこで, 汎用サーバのリソースを効率よく利用できるようにするため, ジョブスケジューラであるSlurmにより管理を行う。
83 Slurmは最悪待ち時間を減らすのではなく, 計算リソースの利用効率を上げることを重視する。
84 そのため, Jobの優先順位は以下のように設定を行う。
85 \begin{itemize}
86 \item 要求するリソースの少ないJobの優先度を高くする
87 \item 実行時間が短いJobの優先度を高くする
88 \item これまでのJobの実行履歴で優先度は変化しない
89 \end{itemize}
90 また, Slurmに登録されるJobはバックフィルを採用する。
91 バックフィルは図\ref{fig:backfill}のように, 後から投下されたJobが, 現在処理されているJobの実行時間以内であり, 空きリソースで処理可能ならば, 先に投下されたJobより先に処理される。
92 \begin{figure}[H]
93 \begin{center}
94 \includegraphics[width=150mm]{fig/backfill.pdf}
95 \end{center}
96 \caption{バックフィル}
97 \label{fig:backfill}
98 \end{figure}
99
78 \subsection{FileSystem} 100 \subsection{FileSystem}
79 旧システムではVMのイメージをクラスタファイルシステムであるGFS2に保存し運用していた。 101 旧システムではVMのイメージをクラスタファイルシステムであるGFS2に保存し運用していた。
80 このGFS2の運用には別途クラスタを構成する必要があるため, 単一障害が発生により多くのサービスに影響を与えることがあった。 102 このGFS2の運用には別途クラスタを構成する必要があるため, 単一障害が発生により多くのサービスに影響を与えることがあった。
81 また, ユーザのホームディレクトリもVMでGFS2をマウントしNFSで提供されていた。 103 また, ユーザのホームディレクトリもVMでGFS2をマウントしNFSで提供されていた。
82 そのため, NFSを提供するVMが停止することでユーザへの影響があった。 104 そのため, NFSを提供するVMが停止することでユーザへの影響があった。