Merge pull request #238 from openinfradev/develop

20240517 develop to release ( v4.0.0 )
openinfradev · May 17, 2024 · eb5b524 · eb5b524
2 parents 1054f00 + 15e62a7
commit eb5b524
Show file tree

Hide file tree

Showing 18 changed files with 174 additions and 279 deletions.
diff --git a/aws-msa-reference/lma/site-values.yaml b/aws-msa-reference/lma/site-values.yaml
@@ -152,7 +152,7 @@ charts:
       - tag: kube.*
         bufferChunkSize: 2M
         bufferMaxSize: 5M
-        do_not_store_as_default: false
+        do_not_store_as_default: true
         index: container
         loki_name: taco-loki
         memBufLimit: 20MB
@@ -274,6 +274,8 @@ charts:
     # - --deduplication.replica-label="replica"
     storegateway.persistence.size: 8Gi
     ruler.nodeSelector: $(nodeSelector)
+    ruler.service.type: LoadBalancer
+    ruler.service.annotations: $(awsNlbAnnotation)  
     ruler.alertmanagers:
     - http://alertmanager-operated:9093
     ruler.persistence.size: 8Gi
@@ -283,60 +285,6 @@ charts:
           rules:
           - alert: "PrometheusDown"
             expr: absent(up{prometheus="lma/lma-prometheus"})
-          - alert: node-cpu-high-load
-            annotations:
-              message: 클러스터({{ $labels.taco_cluster }})의 노드({{ $labels.instance }})의 idle process의 cpu 점유율이 3분 동안 0% 입니다. (현재 사용률 {{$value}})
-              description: 워커 노드 CPU가 과부하 상태입니다. 일시적인 서비스 Traffic 증가, Workload의 SW 오류, Server HW Fan Fail등 다양한 원인으로 인해 발생할 수 있습니다.
-              Checkpoint: 일시적인 Service Traffic의 증가가 관측되지 않았다면, Alert발생 노드에서 실행 되는 pod중 CPU 자원을 많이 점유하는 pod의 설정을 점검해 보시길 제안드립니다. 예를 들어 pod spec의 limit 설정으로 과도한 CPU자원 점유을 막을 수 있습니다.
-              summary: Cpu resources of the node {{ $labels.instance }} are running low.
-              discriminative: $labels.taco_cluster, $labels.instance
-            expr: (avg by (taco_cluster, instance) (rate(node_cpu_seconds_total{mode="idle"}[60s]))) < 0 #0.1 # 진짜 0?
-            for: 3m
-            labels:
-              severity: warning
-          - alert: node-memory-high-utilization
-            annotations:
-              message: 클러스터({{ $labels.taco_cluster }})의 노드({{ $labels.instance }})의 Memory 사용량이 3분동안 80% 를 넘어서고 있습니다. (현재 사용률 {{$value}})
-              descriptioon: 워커 노드의 Memory 사용량이 80%를 넘었습니다. 일시적인 서비스 증가 및 SW 오류등 다양한 원인으로 발생할 수 있습니다.
-              Checkpoint: 일시적인 Service Traffic의 증가가 관측되지 않았다면, Alert발생 노드에서 실행되는 pod중 Memory 사용량이 높은 pod들에 대한 점검을 제안드립니다.
-              summary: Memory resources of the node {{ $labels.instance }} are running low.
-              discriminative: $labels.taco_cluster, $labels.instance
-            expr: (node_memory_MemAvailable_bytes/node_memory_MemTotal_bytes) <  0.2
-            for: 3m
-            labels:
-              severity: warning
-          - alert: node-disk-full
-            annotations:
-              message: 지난 6시간동안의 추세로 봤을 때, 클러스터({{ $labels.taco_cluster }})의 노드({{ $labels.instance }})의 root 볼륨은 24시간 안에 Disk full이 예상됨
-              description: 현재 Disk 사용 추세기준 24시간 내에 Disk 용량이 꽉 찰 것으로 예상됩니다.
-              Checkpoint: Disk 용량 최적화(삭제 및 Backup)을 수행하시길 권고합니다. 삭제할 내역이 없으면 증설 계획을 수립해 주십시요.
-              summary: Memory resources of the node {{ $labels.instance }} are running low.
-              discriminative: $labels.taco_cluster, $labels.instance
-            expr: predict_linear(node_filesystem_free_bytes{mountpoint="/"}[6h], 24*3600) < 0
-            for: 30m
-            labels:
-              severity: critical
-          - alert: pvc-full
-            annotations:
-              message: 지난 6시간동안의 추세로 봤을 때, 클러스터({{ $labels.taco_cluster }})의 파드({{ $labels.persistentvolumeclaim }})가 24시간 안에 Disk full이 예상됨
-              description: 현재 Disk 사용 추세기준 24시간 내에 Disk 용량이 꽉 찰것으로 예상됩니다. ({{ $labels.taco_cluster }} 클러스터, {{ $labels.persistentvolumeclaim }} PVC)
-              Checkpoint: Disk 용량 최적화(삭제 및 Backup)을 수행하시길 권고합니다. 삭제할 내역이 없으면 증설 계획을 수립해 주십시요.
-              summary: Disk resources of the volume(pvc) {{ $labels.persistentvolumeclaim }} are running low.
-              discriminative: $labels.taco_cluster, $labels.persistentvolumeclaim
-            expr: predict_linear(kubelet_volume_stats_available_bytes[6h], 24*3600) < 0 # kubelet_volume_stats_capacity_bytes
-            for: 30m
-            labels:
-              severity: critical
-          - alert: pod-restart-frequently
-            annotations:
-              message: 클러스터({{ $labels.taco_cluster }})의 파드({{ $labels.pod }})가 30분 동안 5회 이상 재기동 ({{ $value }}회)
-              description: 특정 Pod가 빈번하게 재기동 되고 있습니다. 점검이 필요합니다. ({{ $labels.taco_cluster }} 클러스터, {{ $labels.pod }} 파드)
-              Checkpoint: pod spec. 에 대한 점검이 필요합니다. pod의 log 및 status를 확인해 주세요.
-              discriminative: $labels.taco_cluster, $labels.pod, $labels.namespace
-            expr: increase(kube_pod_container_status_restarts_total{namespace!="kube-system"}[60m:]) > 2 # 몇회로 할 것인지?
-            for: 30m
-            labels:
-              severity: critical
 
 - name: thanos-config
   override:

diff --git a/aws-msa-reference/policy/kustomization.yaml b/aws-msa-reference/policy/kustomization.yaml
@@ -0,0 +1,5 @@
+resources:
+  - ../base
+
+transformers:
+  - site-values.yaml
diff --git a/aws-msa-reference/policy/site-values.yaml b/aws-msa-reference/policy/site-values.yaml
@@ -0,0 +1,26 @@
+apiVersion: openinfradev.github.com/v1
+kind: HelmValuesTransformer
+metadata:
+  name: site
+
+global:
+  nodeSelector:
+    taco-lma: enabled
+  clusterName: cluster.local
+  storageClassName: taco-storage
+  repository: https://openinfradev.github.io/helm-repo/
+
+charts:
+- name: opa-gatekeeper
+  override: 
+    postUpgrade.nodeSelector: $(nodeSelector)
+    postInstall.nodeSelector: $(nodeSelector)
+    preUninstall.nodeSelector: $(nodeSelector)
+    controllerManager.nodeSelector: $(nodeSelector)
+    audit.nodeSelector: $(nodeSelector)
+    crds.nodeSelector: $(nodeSelector)
+
+    enableDeleteOperations: true
+
+- name: policy-resources
+  override: {}
diff --git a/aws-reference/lma/site-values.yaml b/aws-reference/lma/site-values.yaml
@@ -152,7 +152,7 @@ charts:
       - tag: kube.*
         bufferChunkSize: 2M
         bufferMaxSize: 5M
-        do_not_store_as_default: false
+        do_not_store_as_default: true
         index: container
         loki_name: taco-loki
         memBufLimit: 20MB
@@ -274,6 +274,8 @@ charts:
     # - --deduplication.replica-label="replica"
     storegateway.persistence.size: 8Gi
     ruler.nodeSelector: $(nodeSelector)
+    ruler.service.type: LoadBalancer
+    ruler.service.annotations: $(awsNlbAnnotation)
     ruler.alertmanagers:
     - http://alertmanager-operated:9093
     ruler.persistence.size: 8Gi
@@ -283,61 +285,7 @@ charts:
           rules:
           - alert: "PrometheusDown"
             expr: absent(up{prometheus="lma/lma-prometheus"})
-          - alert: node-cpu-high-load
-            annotations:
-              message: 클러스터({{ $labels.taco_cluster }})의 노드({{ $labels.instance }})의 idle process의 cpu 점유율이 3분 동안 0% 입니다. (현재 사용률 {{$value}})
-              description: 워커 노드 CPU가 과부하 상태입니다. 일시적인 서비스 Traffic 증가, Workload의 SW 오류, Server HW Fan Fail등 다양한 원인으로 인해 발생할 수 있습니다.
-              Checkpoint: 일시적인 Service Traffic의 증가가 관측되지 않았다면, Alert발생 노드에서 실행 되는 pod중 CPU 자원을 많이 점유하는 pod의 설정을 점검해 보시길 제안드립니다. 예를 들어 pod spec의 limit 설정으로 과도한 CPU자원 점유을 막을 수 있습니다.
-              summary: Cpu resources of the node {{ $labels.instance }} are running low.
-              discriminative: $labels.taco_cluster, $labels.instance
-            expr: (avg by (taco_cluster, instance) (rate(node_cpu_seconds_total{mode="idle"}[60s]))) < 0 #0.1 # 진짜 0?
-            for: 3m
-            labels:
-              severity: warning
-          - alert: node-memory-high-utilization
-            annotations:
-              message: 클러스터({{ $labels.taco_cluster }})의 노드({{ $labels.instance }})의 Memory 사용량이 3분동안 80% 를 넘어서고 있습니다. (현재 사용률 {{$value}})
-              descriptioon: 워커 노드의 Memory 사용량이 80%를 넘었습니다. 일시적인 서비스 증가 및 SW 오류등 다양한 원인으로 발생할 수 있습니다.
-              Checkpoint: 일시적인 Service Traffic의 증가가 관측되지 않았다면, Alert발생 노드에서 실행되는 pod중 Memory 사용량이 높은 pod들에 대한 점검을 제안드립니다.
-              summary: Memory resources of the node {{ $labels.instance }} are running low.
-              discriminative: $labels.taco_cluster, $labels.instance
-            expr: (node_memory_MemAvailable_bytes/node_memory_MemTotal_bytes) <  0.2
-            for: 3m
-            labels:
-              severity: warning
-          - alert: node-disk-full
-            annotations:
-              message: 지난 6시간동안의 추세로 봤을 때, 클러스터({{ $labels.taco_cluster }})의 노드({{ $labels.instance }})의 root 볼륨은 24시간 안에 Disk full이 예상됨
-              description: 현재 Disk 사용 추세기준 24시간 내에 Disk 용량이 꽉 찰 것으로 예상됩니다.
-              Checkpoint: Disk 용량 최적화(삭제 및 Backup)을 수행하시길 권고합니다. 삭제할 내역이 없으면 증설 계획을 수립해 주십시요.
-              summary: Memory resources of the node {{ $labels.instance }} are running low.
-              discriminative: $labels.taco_cluster, $labels.instance
-            expr: predict_linear(node_filesystem_free_bytes{mountpoint="/"}[6h], 24*3600) < 0
-            for: 30m
-            labels:
-              severity: critical
-          - alert: pvc-full
-            annotations:
-              message: 지난 6시간동안의 추세로 봤을 때, 클러스터({{ $labels.taco_cluster }})의 파드({{ $labels.persistentvolumeclaim }})가 24시간 안에 Disk full이 예상됨
-              description: 현재 Disk 사용 추세기준 24시간 내에 Disk 용량이 꽉 찰것으로 예상됩니다. ({{ $labels.taco_cluster }} 클러스터, {{ $labels.persistentvolumeclaim }} PVC)
-              Checkpoint: Disk 용량 최적화(삭제 및 Backup)을 수행하시길 권고합니다. 삭제할 내역이 없으면 증설 계획을 수립해 주십시요.
-              summary: Disk resources of the volume(pvc) {{ $labels.persistentvolumeclaim }} are running low.
-              discriminative: $labels.taco_cluster, $labels.persistentvolumeclaim
-            expr: predict_linear(kubelet_volume_stats_available_bytes[6h], 24*3600) < 0 # kubelet_volume_stats_capacity_bytes
-            for: 30m
-            labels:
-              severity: critical
-          - alert: pod-restart-frequently
-            annotations:
-              message: 클러스터({{ $labels.taco_cluster }})의 파드({{ $labels.pod }})가 30분 동안 5회 이상 재기동 ({{ $value }}회)
-              description: 특정 Pod가 빈번하게 재기동 되고 있습니다. 점검이 필요합니다. ({{ $labels.taco_cluster }} 클러스터, {{ $labels.pod }} 파드)
-              Checkpoint: pod spec. 에 대한 점검이 필요합니다. pod의 log 및 status를 확인해 주세요.
-              discriminative: $labels.taco_cluster, $labels.pod, $labels.namespace
-            expr: increase(kube_pod_container_status_restarts_total{namespace!="kube-system"}[60m:]) > 2 # 몇회로 할 것인지?
-            for: 30m
-            labels:
-              severity: critical
-
+
 - name: thanos-config
   override:
     objectStorage:

diff --git a/aws-reference/policy/kustomization.yaml b/aws-reference/policy/kustomization.yaml
@@ -0,0 +1,5 @@
+resources:
+  - ../base
+
+transformers:
+  - site-values.yaml
diff --git a/aws-reference/policy/site-values.yaml b/aws-reference/policy/site-values.yaml
@@ -0,0 +1,26 @@
+apiVersion: openinfradev.github.com/v1
+kind: HelmValuesTransformer
+metadata:
+  name: site
+
+global:
+  nodeSelector:
+    taco-lma: enabled
+  clusterName: cluster.local
+  storageClassName: taco-storage
+  repository: https://openinfradev.github.io/helm-repo/
+
+charts:
+- name: opa-gatekeeper
+  override: 
+    postUpgrade.nodeSelector: $(nodeSelector)
+    postInstall.nodeSelector: $(nodeSelector)
+    preUninstall.nodeSelector: $(nodeSelector)
+    controllerManager.nodeSelector: $(nodeSelector)
+    audit.nodeSelector: $(nodeSelector)
+    crds.nodeSelector: $(nodeSelector)
+
+    enableDeleteOperations: true
+
+- name: policy-resources
+  override: {}
diff --git a/byoh-reference/lma/site-values.yaml b/byoh-reference/lma/site-values.yaml
@@ -155,7 +155,7 @@ charts:
       - tag: kube.*
         bufferChunkSize: 2M
         bufferMaxSize: 5M
-        do_not_store_as_default: false
+        do_not_store_as_default: true
         index: container
         loki_name: taco-loki
         memBufLimit: 20MB
@@ -282,6 +282,8 @@ charts:
     # - --deduplication.replica-label="replica"
     storegateway.persistence.size: 8Gi
     ruler.nodeSelector: $(nodeSelector)
+    ruler.service.type: LoadBalancer
+    ruler.service.annotations: $(awsNlbAnnotation)    
     ruler.alertmanagers:
     - http://alertmanager-operated:9093
     ruler.persistence.size: 8Gi
@@ -291,60 +293,6 @@ charts:
           rules:
           - alert: "PrometheusDown"
             expr: absent(up{prometheus="lma/lma-prometheus"})
-          - alert: node-cpu-high-load
-            annotations:
-              message: 클러스터({{ $labels.taco_cluster }})의 노드({{ $labels.instance }})의 idle process의 cpu 점유율이 3분 동안 0% 입니다. (현재 사용률 {{$value}})
-              description: 워커 노드 CPU가 과부하 상태입니다. 일시적인 서비스 Traffic 증가, Workload의 SW 오류, Server HW Fan Fail등 다양한 원인으로 인해 발생할 수 있습니다.
-              Checkpoint: 일시적인 Service Traffic의 증가가 관측되지 않았다면, Alert발생 노드에서 실행 되는 pod중 CPU 자원을 많이 점유하는 pod의 설정을 점검해 보시길 제안드립니다. 예를 들어 pod spec의 limit 설정으로 과도한 CPU자원 점유을 막을 수 있습니다.
-              summary: Cpu resources of the node {{ $labels.instance }} are running low.
-              discriminative: $labels.taco_cluster, $labels.instance
-            expr: (avg by (taco_cluster, instance) (rate(node_cpu_seconds_total{mode="idle"}[60s]))) < 0 #0.1 # 진짜 0?
-            for: 3m
-            labels:
-              severity: warning
-          - alert: node-memory-high-utilization
-            annotations:
-              message: 클러스터({{ $labels.taco_cluster }})의 노드({{ $labels.instance }})의 Memory 사용량이 3분동안 80% 를 넘어서고 있습니다. (현재 사용률 {{$value}})
-              descriptioon: 워커 노드의 Memory 사용량이 80%를 넘었습니다. 일시적인 서비스 증가 및 SW 오류등 다양한 원인으로 발생할 수 있습니다.
-              Checkpoint: 일시적인 Service Traffic의 증가가 관측되지 않았다면, Alert발생 노드에서 실행되는 pod중 Memory 사용량이 높은 pod들에 대한 점검을 제안드립니다.
-              summary: Memory resources of the node {{ $labels.instance }} are running low.
-              discriminative: $labels.taco_cluster, $labels.instance
-            expr: (node_memory_MemAvailable_bytes/node_memory_MemTotal_bytes) <  0.2
-            for: 3m
-            labels:
-              severity: warning
-          - alert: node-disk-full
-            annotations:
-              message: 지난 6시간동안의 추세로 봤을 때, 클러스터({{ $labels.taco_cluster }})의 노드({{ $labels.instance }})의 root 볼륨은 24시간 안에 Disk full이 예상됨
-              description: 현재 Disk 사용 추세기준 24시간 내에 Disk 용량이 꽉 찰 것으로 예상됩니다.
-              Checkpoint: Disk 용량 최적화(삭제 및 Backup)을 수행하시길 권고합니다. 삭제할 내역이 없으면 증설 계획을 수립해 주십시요.
-              summary: Memory resources of the node {{ $labels.instance }} are running low.
-              discriminative: $labels.taco_cluster, $labels.instance
-            expr: predict_linear(node_filesystem_free_bytes{mountpoint="/"}[6h], 24*3600) < 0
-            for: 30m
-            labels:
-              severity: critical
-          - alert: pvc-full
-            annotations:
-              message: 지난 6시간동안의 추세로 봤을 때, 클러스터({{ $labels.taco_cluster }})의 파드({{ $labels.persistentvolumeclaim }})가 24시간 안에 Disk full이 예상됨
-              description: 현재 Disk 사용 추세기준 24시간 내에 Disk 용량이 꽉 찰것으로 예상됩니다. ({{ $labels.taco_cluster }} 클러스터, {{ $labels.persistentvolumeclaim }} PVC)
-              Checkpoint: Disk 용량 최적화(삭제 및 Backup)을 수행하시길 권고합니다. 삭제할 내역이 없으면 증설 계획을 수립해 주십시요.
-              summary: Disk resources of the volume(pvc) {{ $labels.persistentvolumeclaim }} are running low.
-              discriminative: $labels.taco_cluster, $labels.persistentvolumeclaim
-            expr: predict_linear(kubelet_volume_stats_available_bytes[6h], 24*3600) < 0 # kubelet_volume_stats_capacity_bytes
-            for: 30m
-            labels:
-              severity: critical
-          - alert: pod-restart-frequently
-            annotations:
-              message: 클러스터({{ $labels.taco_cluster }})의 파드({{ $labels.pod }})가 30분 동안 5회 이상 재기동 ({{ $value }}회)
-              description: 특정 Pod가 빈번하게 재기동 되고 있습니다. 점검이 필요합니다. ({{ $labels.taco_cluster }} 클러스터, {{ $labels.pod }} 파드)
-              Checkpoint: pod spec. 에 대한 점검이 필요합니다. pod의 log 및 status를 확인해 주세요.
-              discriminative: $labels.taco_cluster, $labels.pod, $labels.namespace
-            expr: increase(kube_pod_container_status_restarts_total{namespace!="kube-system"}[60m:]) > 2 # 몇회로 할 것인지?
-            for: 30m
-            labels:
-              severity: critical
 
 - name: thanos-config
   override:

diff --git a/byoh-reference/policy/kustomization.yaml b/byoh-reference/policy/kustomization.yaml
@@ -0,0 +1,5 @@
+resources:
+  - ../base
+
+transformers:
+  - site-values.yaml
diff --git a/byoh-reference/policy/site-values.yaml b/byoh-reference/policy/site-values.yaml
@@ -0,0 +1,26 @@
+apiVersion: openinfradev.github.com/v1
+kind: HelmValuesTransformer
+metadata:
+  name: site
+
+global:
+  nodeSelector:
+    taco-lma: enabled
+  clusterName: cluster.local
+  storageClassName: taco-storage
+  repository: https://openinfradev.github.io/helm-repo/
+
+charts:
+- name: opa-gatekeeper
+  override: 
+    postUpgrade.nodeSelector: $(nodeSelector)
+    postInstall.nodeSelector: $(nodeSelector)
+    preUninstall.nodeSelector: $(nodeSelector)
+    controllerManager.nodeSelector: $(nodeSelector)
+    audit.nodeSelector: $(nodeSelector)
+    crds.nodeSelector: $(nodeSelector)
+
+    enableDeleteOperations: true
+
+- name: policy-resources
+  override: {}
diff --git a/byoh-ssu-reference/lma/site-values.yaml b/byoh-ssu-reference/lma/site-values.yaml
@@ -172,7 +172,7 @@ charts:
       - tag: kube.*
         bufferChunkSize: 2M
         bufferMaxSize: 5M
-        do_not_store_as_default: false
+        do_not_store_as_default: true
         index: container
         loki_name: taco-loki
         memBufLimit: 20MB

diff --git a/byoh-stage-reference/lma/site-values.yaml b/byoh-stage-reference/lma/site-values.yaml
@@ -171,7 +171,7 @@ charts:
       - tag: kube.*
         bufferChunkSize: 2M
         bufferMaxSize: 5M
-        do_not_store_as_default: false
+        do_not_store_as_default: true
         index: container
         loki_name: taco-loki
         memBufLimit: 20MB

diff --git a/byoh-suy-reference/lma/site-values.yaml b/byoh-suy-reference/lma/site-values.yaml
@@ -171,7 +171,7 @@ charts:
       - tag: kube.*
         bufferChunkSize: 2M
         bufferMaxSize: 5M
-        do_not_store_as_default: false
+        do_not_store_as_default: true
         index: container
         loki_name: taco-loki
         memBufLimit: 20MB