title: ログ取集・管理をメッセージング経由で適切に設定する手法の提案
author: Mizuki Kiyama
profiles: 琉球大学

# 本研究での取り組み


* 学科システムへの監視システム提案
    * 今まではZabbixでシステムを監視していた
    * Prometheus, Loki, Grafanaに置き換える

* Mattermostのスラッシュコマンドを用いたアラートルールの編集
    * 運用を通して必要なログを選択していく仕組みを構築した


# 学科システム
* 学科システムは約300人の学生と教員に対して様々なサービスを提供している
* 学内ネットワークや、貸出用の仮想マシン (Virutal Machine: VM) など、授業や研究を円滑に進める為のサービスを、24時間365日提供している
* 学科システムはシステム管理チームによって管理されている
    * 有志の職員と学生を中心に構成されている．
    * 教師１名、職員２名、学生11名

# 安定した運用の為の構築
* 一般的にシステムを保守・運用する上で障害は必ず発生する
    * 悪意のある障害：外部からの攻撃
    * 悪意のない障害：ハードウェアなどの物理故障
* 原因追求の為、様々なサービスの死活管理とログ調査が必要である
    * 問題発生時にアラートを送信する監視システム(Prometherus)
    * ログの情報を集約する(Loki)
    * これらの情報を可視化する(Grafana)

# 学科システムのトラブルの例
1. クラウドサーバーのHDDが物理故障していた為アクセス不可 (2021/8/2)
2. サーバー交換により復旧 (2021/8/6)
3. 計画停電によりオンプレサーバーが故障 (2021/8/10)
4. 復旧時にファームウェアアップデートによりKVMのIPv4が停止 (2021/8/17)


1.はHDD故障アラームを処理していれば早期に対応できた可能性がある

# Gitlabトラブルの対処
* Gitlabの自動アップデートはメジャーアップデートに対応してなかった
* 学生に対しGitlabから不正なアクセスのメールを確認していたが調査しなかった
* Gitlabの脆弱性を利用され攻撃に利用された
* 新しいバージョンのGitlabを導入しアカウントを移行することで復旧


Gitlabのログを監視していれば対応できた

# 監視システムでの問題
* アラート送信の機能は運用する中で過不足が無いように調整が必要
* 通常の編集方法ではサーバーにログインが必要
* 作業内容はScrapboxに記述することになっている
* 他のシス管メンバーが変更を見落とす可能性がある

# アラート編集の問題の解決案
* オープンな環境(Mattermost)でアラートを編集できるようにする
* アラートルール変更をした際の見落としを防げる

# 研究目的
* システム障害の早期発見・発生時の円滑な対応を目的とした監視システムの提案
* 組織としての理解度向上を目的としたアラートルール編集方法の提案

# 使用するサービス
* Prometheus
    * オープンソースの監視システム
    * コンポーネントはExporterからデータを取得する
* Exporter
    * 対象となるサービスのデータを Prometheusに送信する
* Alertmanager
    * Prometheusのアラート管理コンポーネントツール

# 使用するサービス
* Grafana
    * 収集されたデータをダッシュボードを用いて可視化する
* Grafana Loki(Loki)
    * オープンソースのログ収集ツール
    * 後述するPromtailからログを取得する
* Promtail
    * サービスのログをlokiに対して送信するツール

# 監視システム（サービス監視）
下図のようにサービスの情報を収集しブラウザで確認できる

<img src="./img/monitoring_system-Page-3.drawio.svg" width="1000px">


# 監視システム（サービス監視）
grafanaでダッシュボードを用いて可視化  
nginxの例　サービスの状態、処理された接続の総数、接続の状態

<img src="./img/grafana-prometheus.png" width="1000px">
<!-- ![grafana](./img/grafana-prometheusのコピー.png) -->

# 監視システム（ログ収集）
下図がサービスのログを収集しブラウザで確認できるまでの流れである

<img src="./img/loki-ページ3.drawio.svg" width="1000px">

# 監視システム（ログ収集）
grafanaのダッシュボードを用いて可視化  
sshの例  ログの総数、エラーの総数、単位時間ごとのログ出力の数
<img src="./img/loki-dashboard.png" width="1000px">

# 監視システム（アラート送信）
右図がログに対しアラートルールを設定しMattermostからアラートを確認出来るまでの流れである


<img src="./img/monitoring_system-Page-1.svg" width="1000px">

# 監視システム（アラート送信）
Mattermostに送信されるアラートは以下のような形式

<img src="./img/Mattermost-alert.png" width="900px">


# Mattermostでのアラートルール編集
/から始まるコマンドを打つ事で設定したWeb APIにGET/POSTリクエストを送信可能  
以下がMattermostのスラッシュコマンドからアラートを編集するまでの流れ


<img src="./img/alert-figur.drawio.svg" width="1000px">



# スラッシュコマンド一覧
以下が今回作成したスラッシュコマンド一覧

| コマンド | 機能 |
| ---- | ---- |
| /alert add NAME LABEL PATTERN TIME  |  アラートルールの追加  |
|||
| /alert list  ALL NAME  |  アラートルールの表示  |
|||
| /alert delete NAME |  アラートルールの削除  |


# Mattermostでのアラートルール編集
以下のようにコマンドを用いることでアラートが編集可能  
図はaddを実行した結果

<img src="./img/add2.png" width="1000px">


# Mattermostでのアラートルール編集
以下のようにコマンドを用いることでアラートが編集可能  
図はlist allを実行した際の結果

<img src="./img/list.png" width="1000px">


# Mattermostでのアラートルール編集
以下のようにコマンドを用いることでアラートが編集可能  
図はdeleteを実行した際の結果

<img src="./img/delete.png" width="1000px">

# 設定例
* 外部公開されているシステムの攻撃を検知する事が可能だと考える
    * 外部公開されているシステムの脆弱性をついた攻撃はPOSTメソッドで行われる事が多い
    * 一定時間に大量のPOSTがあった際に検知するよう設定することで攻撃を事前に防げる

* 誤ったアラートルールを設定した場合
    * 必要以上にアラートが発生する
    * deleteコマンドでMattermostからすぐに削除することができる

# まとめ
* 障害対応のための監視システムを提案した
* Mattermostからアラートルールを編集できるスラッシュコマンドを作成した
* CLI上での変更方法と比べて情報共有にかかる手間や調べる手間が少ない事から第三者が確認しやすいと考える

# 今後の課題
* 収集したデータのバックアップや提案環境の構築場所を運用にするに当たって改善する必要がある
* 本研究では監視対象を限定したので稼働しているサービスすべてを監視する必要がある
* 現在はオンプレ環境でのみ動作している為クラウドにセカンダリを構築し冗長化する必要がある
* このアートルール設定では管理者の技量に左右されてしまう為改善する必要がある
* チャットツールでは過去に遡っての確認が難しい為Gitlab Scrapboxとの連携する必要がある