Autocruise

之前曾經處理過一個關於容器平台監控儀表板的問題，寫在這邊作爲記錄並分享。 具體問題狀況：在一個 UCP 叢集環境下，共安裝設定了 10 個節點，包含 UCP manager 以及 UCP worker，而且爲了支持 HA，設定有 3 個 UCP manager，確保高可用性，作爲監控管理用途。所使用的 UCP 版本是 v3.1.1. 運行經過一段時間，其中一個 UCP manager 節點的儀表板無 metrics 資料顯示，如下圖標示： 其他兩個 UCP manager 節點儀表板顯示正常。 另外通過 docker ps 命令檢查每個節點的 ucp containers 狀態， 發現 ucp proxy 等 agents 用途的 containers 狀態是健康的，節點之間的 TLS 連線應不是問題， 用 docker logs 命令檢查 UCP controller 的日誌內容，如下截圖， 試着以 docker restart 命令重新啓動 UCP controller containers ，但是問題仍然存在沒有解決。 接下來試着看 UCP metrics containers 的情況，在 UCP v3.1.1 由 ucp-metrics 來負責， 這部分實際上是以 Prometheus 為功能基礎來輔助達到 UCP 儀表板監控功能， 在 UCP v3.1.1 的 Prometheus 監控是以 Kubernetes deployment 的方式來佈署， 定義成一個 daemonset 指定運行在 Docker EE 容器平台上的每個 UCP manager 節點。 Prometheus 使用 TSDB 格式，通過 volume 機制在本地端儲存 metrics 資料，對應的本地路徑為 /var/lib/docker/volumes/ucp-metrics-data/_data/wal/ 這路徑保存時間序列的 metrics 資料庫。如果這個路徑有問題，則需要重建。 註：WAL 的全名是 Write Ahead Log. 通過下面命令重設 ucp-metrics (註：要先設定好 ucp bundles): $ kubectl -n kube-system delete da...

如何在 Docker EE 環境下運用整合的 Kubernetes orchestration 做 HPA (Horizontal Pod Autoscaler) 功能? 以下操作皆在 LINUX 環境下運行. 現有一個已建立好的 Docker EE UCP 叢集, 並且已經將設定好帶有 administration 權限的 client bundle 下載在客戶主機並在一個已開啓的 terminal 操作. Docker EE 引擎版本是: # docker version Client: Version: 18.09.3 API version: 1.39 Go version: go1.10.6 Git commit: 142dfce Built: Thu Feb 28 06:08:17 2019 OS/Arch: linux/amd64 Experimental: true Server: Docker Enterprise 2.1 Engine: Version: 18.09.5 API version: 1.39 (minimum version 1.12) Go version: go1.10.8 Git commit: be4553c Built: Thu Apr 11 06:23:08 2019 OS/Arch: linux/amd64 Experimental: false Universal Control Plane: Version: 3.1.4 ApiVersion: 1.39 Arch: amd64 BuildTime: Wed Feb 27 22:26:43 UTC 2019 GitCommit: 29b16f9 GoVersion: go1.10.6 MinApiVersion: 1.20 Os: ...