Prometheus監控k8s指標表達式梳理

Pod內存使用率的計算

通過docker-cadvisor的方式啟動的metrics監控使用container_memory_rss

通過prometheus在k8s中啟動的方式獲取的metrics監控使用container_memory_usage_bytes或container_memory_working_set_bytes

Pod 內存使用率的計算就簡單多了，直接用內存實際使用量除以內存限制使用量即可：

cadvisor容器 內存使用率大于90%

sum?by(name,?id,?job,?node)?(container_memory_rss{image!="",job="ali-prod-executor-cadvisor"})?/?sum?by(name,?id,?job,?node)?(container_spec_memory_limit_bytes{image!="",job="ali-prod-executor-cadvisor"})?*?100?!=?+Inf?>?80

k8s方式 方法1

avg?by(pod_name)?(container_memory_usage_bytes{pod_name!="",image!~".*pause-amd64:1031|.*pause-amd64:3.0"}?/?container_spec_memory_limit_bytes{pod_name!="",image!~".*pause-amd64:1031|.*pause-amd64:3.0"})?*?100?>?90

方法2

sum?by(pod_name,?namespace,?job)?(container_memory_working_set_bytes{image!="",image!~"xxxxx.com/xxs/pause.+",job!="xxxd-executor-cadvisor"})?/?sum?by(pod_name,?namespace,?job)?(container_spec_memory_limit_bytes{image!="",image!~"reg.linkdoc-inc.com/ops/pause.+",job!="ali-prod-executor-cadvisor"})?*?100?!=?+Inf?>?90

容器的CPU使用率：

sum?by(pod_name,?namespace,?job)?(rate(container_cpu_usage_seconds_total{image!=""}[1m]))?/?(sum?by(pod_name,?namespace,?job)?(container_spec_cpu_quota{image!=""}?/?100000))?*?100?>?90

容器入帶寬大于50M

sum?by?(namespace,job,pod_name)?(irate(container_network_receive_bytes_total{image!=""}[3m]))??/?1024?/1024?>?50

容器出帶寬大于50M

sum?by?(namespace,job,pod_name)?(irate(container_network_transmit_bytes_total{image!=""}[1m]))??/?1024?/1024?>?50