网站欢迎页代码,网站论坛源码,如何做网站的悬浮窗口,福州网站建设找时时在网络《OpenShift / RHEL / DevSecOps 汇总目录》 本文在 OpenShift 4.17 RHACM 2.12 环境中进行验证。 文章目录 多集群观察技术架构安装多集群观察功能监控多集群的运行状态监控多集群的应用运行在被管集群监控应用运行在管理集群监控被管集群的应用运行 参考 多集群观察技术架构…《OpenShift / RHEL / DevSecOps 汇总目录》 本文在 OpenShift 4.17 RHACM 2.12 环境中进行验证。 文章目录 多集群观察技术架构安装多集群观察功能监控多集群的运行状态监控多集群的应用运行在被管集群监控应用运行在管理集群监控被管集群的应用运行 参考 多集群观察技术架构
RHACM 可以集中监控被管 OpenShift 集群的运行情况这是主要通过运行在 RHACM Hub 上的 Multicluster Observability Operator 实现的。如下图RHACM Hub 通过 Observatorium API Gateway 从被管集群的 Metrics-Collector 获取观察数据后再通过 Thanos 保存到 S3 对象存储中并通过 Grafana 进行数据展示。
安装多集群观察功能
以下示例将使用 minio 来存储观察数据
在运行 ACM 的集群执行命令安装 minio 环境。注意在 multicluster-observability-operator/examples/minio/minio-pvc.yaml 中使用了名为 gp2 的 StorageClass 创建文件类型 PVC可以更换当前集群中可用的 StorageClass。
$ oc new-project open-cluster-management-observability
$ git clone https://github.com/liuxiaoyu-git/multicluster-observability-operator.git
$ oc apply -k multicluster-observability-operator/examples/minio/ -n open-cluster-management-observability执行命令可以查看为 thanos 提供的 S3 存储访问方式。
$ oc extract secret/thanos-object-storage --to- -n open-cluster-management-observability
# thanos.yaml
type: s3
config:bucket: thanosendpoint: minio:9000insecure: trueaccess_key: miniosecret_key: minio123执行命令在 RHACM Hub 中安装“观察”功能。注意在 multiclusterobservability.yaml 中使用了名为 gp2 的 StorageClass 创建文件类型 PVC可以更换当前集群中可用的 StorageClass。
$ oc apply -f https://raw.githubusercontent.com/liuxiaoyu-git/rhacm-workshop/master/03.Observability/exercise/multiclusterobservability.yaml -n open-cluster-management-observability安装后可以查看在 open-cluster-management-observability 中运行的的 Pod 和部署的资源。
$ oc get pod -n open-cluster-management-observability
NAME READY STATUS RESTARTS AGE
endpoint-observability-operator-6678757f7b-ptv9s 1/1 Running 0 8m26s
metrics-collector-deployment-5d77dc68cc-dw55m 1/1 Running 0 8m22s
minio-7cfdffb54b-6knmt 1/1 Running 0 33m
observability-alertmanager-0 4/4 Running 0 8m27s
observability-alertmanager-1 4/4 Running 0 7m55s
observability-alertmanager-2 4/4 Running 0 7m23s
observability-grafana-68b8d97758-kvvl5 3/3 Running 0 8m28s
observability-grafana-68b8d97758-l2m5m 3/3 Running 0 8m28s
observability-observatorium-api-7d58fc44d9-lqww5 1/1 Running 0 7m50s
observability-observatorium-api-7d58fc44d9-qqshk 1/1 Running 0 7m53s
observability-observatorium-operator-6fc6567b69-7lzd2 1/1 Running 0 8m29s
observability-rbac-query-proxy-64464bcf75-g6tpv 2/2 Running 0 8m27s
observability-rbac-query-proxy-64464bcf75-m2gcb 2/2 Running 0 8m27s
observability-thanos-compact-0 1/1 Running 0 8m18s
observability-thanos-query-d88f57fb5-5x8q6 1/1 Running 0 8m18s
observability-thanos-query-d88f57fb5-b947p 1/1 Running 0 8m18s
observability-thanos-query-frontend-8c97b5775-4st2v 1/1 Running 0 8m18s
observability-thanos-query-frontend-8c97b5775-hgx9b 1/1 Running 0 8m18s
observability-thanos-query-frontend-memcached-0 2/2 Running 0 8m18s
observability-thanos-query-frontend-memcached-1 2/2 Running 0 8m15s
observability-thanos-query-frontend-memcached-2 2/2 Running 0 8m12s
observability-thanos-receive-controller-7d48bcbc66-ndgjx 1/1 Running 0 8m18s
observability-thanos-receive-default-0 1/1 Running 0 8m18s
observability-thanos-receive-default-1 1/1 Running 0 7m59s
observability-thanos-receive-default-2 1/1 Running 0 7m51s
observability-thanos-rule-0 2/2 Running 0 8m18s
observability-thanos-rule-1 2/2 Running 0 8m
observability-thanos-rule-2 2/2 Running 0 7m39s
observability-thanos-store-memcached-0 2/2 Running 0 8m18s
observability-thanos-store-memcached-1 2/2 Running 0 8m15s
observability-thanos-store-memcached-2 2/2 Running 0 8m12s
observability-thanos-store-shard-0-0 1/1 Running 0 8m18s
observability-thanos-store-shard-1-0 1/1 Running 0 8m18s
observability-thanos-store-shard-2-0 1/1 Running 0 8m18s
uwl-metrics-collector-deployment-74f6dbcbdb-4zhxn 1/1 Running 0 8m22s成功部署“观察”后可以在 ACM 控制台的 Clusters 页面中右上方看到 Grafana 链接。
监控多集群的运行状态
进入 Grafana 后可以看到被管集群的运行状态。 进入上图的一个集群可以查看该集群的运行情况。 查看被管集群确认在 open-cluster-management-addon-observability 项目中有以下 Pod 运行。
$ oc get pod -n open-cluster-management-addon-observability
NAME READY STATUS RESTARTS AGE
endpoint-observability-operator-795464bd6c-8qrr8 1/1 Running 0 75m
metrics-collector-deployment-dfc647-lsgqt 1/1 Running 0 75m进入 Grafana 的 Dashborads可以看到下图显示的预制仪表盘。可进入这些仪表盘查看。 在管理集群中执行以下命令将 observability-thanos-query-frontend 服务暴露为 Route然后用浏览器打开 Route 地址。
$ oc expose svc observability-thanos-query-frontend --namequery-frontend -n open-cluster-management-observability
$ oc get route query-frontend -n open-cluster-management-observability -ojsonpath{.spec.host}在 metrics 中可以看到所有可用的查询指标。在 Thanos Query 页面中查询 cluster:capacity_cpu_cores:sum 可以看到每个被管集群的 CPU 总量。
监控多集群的应用运行
在被管集群监控应用运行
参照《OpenShift 4 - 用 Prometheus 和 Grafana 监视用户应用定制的观测指标视频》。
在被群集群中编辑 cluster-monitoring-config 对象将 enableUserWorkload 设为 true主要就可对对用户负载进行监控。
$ oc edit ConfigMap cluster-monitoring-config -n openshift-monitoringapiVersion: v1
kind: ConfigMap
metadata:name: cluster-monitoring-confignamespace: openshift-monitoring
data:config.yaml: |enableUserWorkload: true在被管集群部署测试用的 nginx。
$ git clone https://github.com/liuxiaoyu-git/openshift-demos.git
$ cd openshift-demos/workload-monitoring-for-user-defined-projects
$ oc create -k deploy进入控制台的 “观察 - 指标” 菜单在指标页面中将 nginx_http_requests_total 填入 “表达式” 中确认可以查出 nginx 的监控指标。
在管理集群监控被管集群的应用运行
在管理集群中创建名为 observability-metrics-custom-allowlist 的 ConfigMap其中定义了可以从被管集群中访问的 Metrics。
$ oc apply -n open-cluster-management-observability -f - EOF
kind: ConfigMap
apiVersion: v1
metadata:name: observability-metrics-custom-allowlist
data:metrics_list.yaml: |names:- nginx_http_requests_total- nginx_up- nginx_connections_active- nginx_exporter_build_info- nginx_connections_handled- nginx_connections_reading- nginx_connections_waiting- nginx_connections_writing- nginx_connections_accepted
EOF在 ACM 管理集群的 Grafana 控制台中进入 Metrics 菜单然后点击 New metrics exploration 按钮。然后在 Search metrics 中查找和 nginx 相关的项目。 在上图中的 nginx_http_requests_total 区域点击右侧的 Select。可以看到图中的数据已经变为 per-second rate 显示。 可在 Metrics 页面中为显示的监控图增加适当的 Lable。 在 Grafana 控制台中进入 Explore 菜单在 A 区域的 Metric 中填入 nginx_http_requests_total然后点击页面右侧的 Run query 按钮。此时会显示 nginx_http_requests_total 的监控图。
参考
https://github.com/michaelkotelnikov/rhacm-workshop https://github.com/wael2000/rh-rhacm-workshop https://github.com/stolostron/multicluster-observability-operato https://medium.com/dlakshma/multi-cluster-observability-with-red-hat-acm-39f6b3cdbbe4 https://docs.google.com/document/d/1mdY6J6Jimsw7A2n7sv9vFjzM2IHD8-Ku9ZNy2iKfgb8/edit?tabt.0 https://www.redhat.com/en/blog/observability-for-istio-multicluster-service-mesh-in-red-hat-advanced-cluster-management-for-kubernetes https://www.redhat.com/en/blog/leveraging-netobserv-metrics-red-hat-advanced-cluster-management-kubernetes https://www.redhat.com/en/blog/observability-across-openshift-cluster-boundaries-with-distributed-data-collection https://www.redhat.com/en/blog/custom-queries-for-observability-using-grafana-and-apis https://www.redhat.com/en/blog/your-guide-to-openshift-observability-part-1 https://github.com/liuxiaoyu-git/openshift-demos/blob/master/workload-monitoring-for-user-defined-projects/README.md
