view Paper/chapter/ie-system.tex @ 23:8c6eb24536be default tip

update
author kiyama <e185758@ie.u-ryukyu.ac.jp>
date Fri, 16 Feb 2024 08:36:07 +0900
parents 12648d2915e9
children
line wrap: on
line source

\chapter{現行のシステム}

\section{オンプレミス環境}
物理サーバーは2Uサーバーを6台導入している.
このうち4台の2Uサーバーは仮想環境を提供するKVMやGPUリソースを使用できるsinglarityなどを提供している.(表\ref{tb:2U-server})
それぞれにamane,braun,christina,daruと名前が付いている.
amaneはグローバルIPを持つサーバーで他3台のプライベートサーバーにアクセスする為の踏み台サーバーや学生の研究・演習環境として稼働している.
braunは主に学科に提供するサービスが稼働している.christinaは学科webサーバーが稼働している.daruは主に2年次後期の授業のOSの演習実験用のサーバーである.
2台の2Uサーバーはディスクサーバーとして稼働しており,分散ファイルストレージのcephで管理されている.(表\ref{tb:disk-server})

\begin{table}[htb]
    \begin{center}
    \caption{物理サーバースペック}
    \begin{tabular}{|c|c|} \hline
    CPU & Intel Xeon Gold 6238 (2.10GHz/22Core) \\ \hline
    GPU & Nvidia Tesla V100S \\ \hline
    RAM & 512GB \\ \hline
    NVMe SSD & 1.5TB \\ \hline
    SAS SSD & 5TB \\ \hline
    \end{tabular}
    \label{tb:2U-server}
    \end{center}
\end{table}

\begin{table}[htb]
    \begin{center}
    \caption{ディスクサーバースペック}
    \begin{tabular}{|c|c|} \hline
    CPU & Intel Xeon Silver 4208 \\ \hline
    RAM & 128GB \\ \hline
    SAS HDD & 300GB/15000rpm x 2 \\ \hline
    NLSAS HDD & 4TB/7200rpm x 12 \\ \hline
    \end{tabular}
    \label{tb:disk-server}
    \end{center}
\end{table}

また,基幹サービスや学生のホームディレクトリのバックアップ用としてNASを一台導入している.(表\ref{tb:NAS-server})
バックアップ元となるファイルはcephで基幹サーバー同士で分散されていることもあり,バックアップ処理を行う一台の基幹サーバーのみアクセス出来るようにしている.

\begin{table}[htb]
    \begin{center}
    \caption{NASスペック}
    \begin{tabular}{|c|c|} \hline
    CPU & Intel Atom C3538 \\ \hline
    RAM & DDR4 ECC 8GB \\ \hline
    SAS HDD & 4GB x 4 \\ \hline
    RAID & 5 \\ \hline
    実効容量 & 12GB \\ \hline
    \end{tabular}
    \label{tb:NAS-server}
    \end{center}
\end{table}



\section{ネットワーク構成}
現行のシステムで導入されたネットワーク機器は表表\ref{tb:networkmachine}のようになっている.
システム更新前は48ポートの機器を使用していたがWi-Fiなどの無線LANの利用率が高かった事からシステム更新時に24ポートの機器が主になった.

\begin{table}[H]
    \begin{center}
    \caption{導入したネットワーク機器一覧}
    \begin{tabular}{|c|c|c|} \hline
        用途 & 機材名 & 台数\\ \hline
        メインスイッチ  & WS-C3850-24S-S & 2\\ \hline
        メインスイッチ  & WS-C3850-12XS-S & 2\\ \hline
        ルームスイッチA & WS-C2960L-24TS-JP & 11\\ \hline
        ルームスイッチB & WS-C2960L-48TS-JP & 2\\ \hline
        ルームスイッチC & WS-C3650-8X24PD-L & 4\\ \hline
        フロアスイッチA & WS-C3650-8X24PD-L & 4\\ \hline
        フロアスイッチB & WS-C3650-12X48FD-L & 4\\ \hline
        UTM & FG200E & 1\\ \hline
    \end{tabular}
        \label{tab:networkmachine}
    \end{center}
\end{table}


VLAN構成は旧システムの構成を継続して使用されている.表\ref{tb:networkVLAN}にVLAN構成を示す.

\begin{table}[H]
    \begin{center}
    \caption{現行システムにおけるVLAN設計表}
    \scalebox{0.7}{
        \begin{tabular}{|c|c|c|c|c|} \hline
            用途  & IP/PREFIX & gateway & VLAN & 備考 \\ \hline \hline
            \multicolumn{5}{|l|}{内向き} \\ \hline
            フラットセグメント & 10.0.0.0/20 & 10.0.15.254 & 62 & NAT(NAT-IP:133.13.48.128/29) \\ \cline{2-3} 
            & 2001:2f8:1c:a504::/64 & 2001:2f8:1c:a504::1 & & \\ \hline
            無線LANセグメント  & 10.10.0.0/20 & 10.10.15.254 & 63 & NAT(NAT-IP:133.13.48.136/29)\\ \cline{2-3}
            & 2001:2f8:1c:a506::/64 & 2001:2f8:1c:a506::1 & & \\ \hline
            SSL-VPNセグメント  & 10.15.0.0/24 & 10.15.0.254 & 64 & NAT(NAT-IP:133.13.48.152/32) \\ \cline{2-3}
            & 2001:2f8:1c:a508::/64 & 2001:2f8:1c:a508::1 & &  \\ \hline
            事務 & 10.20.0.0/24 & 10.20.0.254 & 52 & NAT(NAT-IP:133.13.48.160/32) \\ \cline{2-3}
            & 2001:2f8:1c:a510::/64 & 2001:2f8:1c:a510::1 & &  \\ \hline
            長田研 & 10.50.0.0/24 & 10.50.0.254 & 53 & NAT(NAT-IP:133.13.48.162/32) \\ \cline{2-3}
            & 2001:2f8:1c:a520::/64 & 2001:2f8:1c:a520::1 & &  \\ \hline
            オンプレサーバー用 & 10.100.0.0/24 & 10.100.0.254 & 348 & NAT(NAT-IP:133.13.48.164/32) \\ \cline{2-3}
            & 2001:2f8:1c:a530::/64 & 2001:2f8:1c:a530::1 & &  \\ \hline
            基幹サーバー(内側) & 10.100.10.0/24 & 10.100.10.254 & 350 & NAT(NAT-IP:133.13.48.166/32) \\ \cline{2-3}
            & 2001:2f8:1c:a532::/64 & 2001:2f8:1c:a532::1 & &  \\ \hline
            ストレージ用 & 10.100.20.0/24 & 10.100.20.254 & 352 & NAT(NAT-IP:133.13.48.168/32) \\ \cline{2-3}
            & 2001:2f8:1c:a534::/64 & 2001:2f8:1c:a534::1 & &  \\ \hline
            講義システム用 & 10.100.30.0/24 & 10.100.30.254 & 353 & NAT(NAT-IP:133.13.48.170/32) \\ \cline{2-3}
            & 2001:2f8:1c:a536::/64 & 2001:2f8:1c:a536::1 & &  \\ \hline
            プリンタ用 & 10.240.0.0/24 & 10.240.0.254 & 360 & NAT(NAT-IP:133.13.48.172/32) \\ \cline{2-3}
            & 2001:2f8:1c:a538::/64 & 2001:2f8:1c:a538::1 & &  \\ \hline
            ネットワーク機器 & 10.250.0.0/24 & 10.250.0.254 & 360 & NAT(NAT-IP:133.13.48.174/32) \\ \cline{2-3}
            & 2001:2f8:1c:a540::/64 & 2001:2f8:1c:a540::1 & &  \\ \hline
            DMZ(内側) & 10.255.0.0/24 & & 362 & \\ \cline{2-3}
            & 2001:2f8:1c:a550::/64 & 2001:2f8:1c:a550::1 & &  \\ \hline \hline
            \multicolumn{5}{|l|}{外向き} \\ \hline
            DMZ(外側) & 133.13.254.56/29 & & 363 &\\ \cline{2-3}
            & センター側による & & &  \\ \hline
            基幹サーバー(外部) & 133.13.48.0/24 & 133.13.48.254 & 48 & \\ \cline{2-3}
            & 2001:2f8:1c:a500::/64 & 2001:2f8:1c:a500::1 & &  \\ \hline
            一般公開用 & 133.13.50.0/24 & 133.13.50.254 & 50 & \\ \cline{2-3}
            & 2001:2f8:1c:a502::/64 & 2001:2f8:1c:a502::1 & & \\ \hline
        \end{tabular}
    }
        \label{tab:networkVLAN}
    \end{center}
\end{table}

\section{仮想環境}
学科システムでは複数の仮想環境を提供している.
一つは旧システムでも使用していたオープンソースソフトウェアのKVMである.2020年のシステム更新直後は基幹サービスを稼働する為に使用していたが,2024年現在では学生の実験演習用の環境として利用されている.一般ユーザーである学生はvirshコマンドのラッパーであるie-virshコマンドを使用する事で自由にVMを作成することが可能である.
続いてコンテナ型の仮想環境のpodmanがある.podmanの利点としてマルチユーザーに対応しており,ルートレスな点が挙げれらる.2024年現在ほとんどの基幹システムはpodmanコンテナで構築されている.しかし,コンテナにIPを紐づけるにはroot権限が必要である事からie-podmanが開発された.
最後にHPC環境に設計されているsingularityがある.簡単にGPUリソースが使用出来る為,機械学習用の環境として利用されている.

\section{基幹システム}
現行システムでは,利用者への教育研究用システムの提供にあたって,サービスごとにサーバーを立てている.
以下に基幹システム並びに役割を述べる.

\begin{itemize}
    \item extpdns
    \begin{itemize}
        \item DNS
    \item 外向け権威DNSサーバ
    \end{itemize}
    \item powerdns
    \begin{itemize}
        \item DNS
    \item 内向け権威DNSサーバ
    \end{itemize}
    \item recpdns
    \begin{itemize}
        \item DNS
    \item フルリゾルバ
    \end{itemize}
    \item ldap-cons-server
    \begin{itemize}
        \item LDAPサーバ
    \end{itemize}
    \item ldap-prov-server
    \begin{itemize}
        \item LDAPのセカンダリ
    \end{itemize}
    \item registory
    \begin{itemize}
        \item コンテナレジストリ
    \item Docker Hubの制限に引っかかることを防ぐ
    \end{itemize}
    \item Akatsuki
    \begin{itemize}
        \item 学科のWebサービスAkatsuki
    \end{itemize}
    \item ie-web-nginx
    \begin{itemize}
        \item 学科サイトの公開
    \end{itemize}
    \item gitlab
    \begin{itemize}
        \item 学科のGitLabサーバ
    \end{itemize}
    \item GitLab-runner
    \begin{itemize}
        \item GitLab runner
    \end{itemize}
    \item ie-web-nginx-ldap-auth1
    \begin{itemize}
        \item 学科関係者向けの認証
    \item 公開できない内容など
    \end{itemize}
\end{itemize}

\section{Akatsuki}
AkatsukiはRuby on Railsで作成されたウェブアプリケーションである.マシンへの学内IPの紐付け,学内ドメイン管理,LDAPユーザーの作成,ログインshellの変更ができる.Akatsukiの画面を図\ref{fig:akatsuki}に示す.

\begin{figure}[htpb]
    \begin{center}
        \includegraphics[clip,width=12.0cm]{./fig/akatsuki.png}
    \caption{Akatsukiの画面}
    \label{fig:akatsuki}
    \end{center}
\end{figure}

\section{さくらクラウドの利用}
基幹サーバは計画停電などの影響で年に数回停止する.その為,基幹サービスの冗長構成やmattermostの稼働にさくらの専用サーバを利用している.
以下にさくらで稼働しているサービスを示す.
\begin{itemize}
    \item mattermost
    \begin{itemize}
        \item 学内チャットツール
    \end{itemize}
    \item pdns-ext-sec
    \begin{itemize}
        \item DNS
        \item 外向け権威DNSサーバセカンダリ
    \end{itemize}
    \item psono
    \begin{itemize}
        \item Psono パスワード管理ツール
    \end{itemize}  
    \item proxy
    \begin{itemize}
        \item 停電時のコースweb
    \end{itemize} 
\end{itemize}