반응형 분류 전체보기77 AWS EKS AutoScaling 속도 비교(Cluster Autoscaler vs Kerpenter) Auto Scaling Group(ASG)와 Karpenter의 auto scaling이 발생하는 속도에서 꽤 많은 차이를 보인다.그렇다면, ASG를 사용하는 환경에서 속도를 줄일 수 있는 방법은 없을까? 생각하다 한 가지 기능을 발견하여 테스트해 보았다. 바로 Warm Pool 기능이다.Auto Scaling Group(ASG)의 Warm Pool 기능은 노드를 미리 초기화하고, 초기화된 노드는 시작되었다가 중지(Stop) 상태로 대기하게 된다. 그런 상태에서 Scale-out이 발생하여 desired 값이 증가하면 중지 상태로 대기하고 있던 노드를 구동시킨다. Warm Pool에 있는 노드는 대기 상태이기 때문에 Scale-out 발생하는 데 필요한 시간을 줄일 수 있고, 대기 상태에 있는 노드는 추.. 2023. 10. 22. Karpenter로 AWS EKS 환경에 AutoScaling 구현하기 AWS 환경에서 EKS를 운영하면서 자동으로 확장 및 축소되는 기능을 설정하려면 AutoScaling 기능이 필요하다.이를 위해 일반적으로 Cluster Autoscaler(CA)를 사용한다. 그러나 최근에 Karpenter라는 제품에 대한 관심이 늘어나고 있어, Karpenter 기준으로 두 제품을 사용하여 비교해 보고 느낀 차이점을 작성해 보려 한다. Karpenter란?Karpenter는 Cluster Autoscaler와 유사하게 Kubernetes 클러스터에서 자동 스케일링을 관리하기 위한 오픈 소스 도구이다. 아래 그림을 통해 두 제품의 실제 작동 방식을 비교해 보자.Cluster Autoscaler(CA)의 동작은 아래와 같다.HPA에 의해 자동확장 또는 재배포하여 새로운 Pod가 생성된다.. 2023. 10. 18. AWS EKS 노드그룹 자동 시작, 중지하기 사내 AWS EKS 테스트 환경을 구성한 후 사용 중인 리소스로 인해 발생하는 비용을 효율적으로 관리하기 위해서는 퇴근 시간 등 비활성 기간에 해당 환경을 사용 중지 처리하는 것이 중요하다. 그러나 이러한 작업을 매일 수동으로 조작하기에는 번거롭고 종종 잊어버리는 경우가 발생한다.본 글에서는 이 문제를 해결하고 이러한 프로세스를 자동화하기 위해 자동 시작 및 중지 스케줄링을 설정하기 위한 방법을 기술한다. 목차 방법 1 : AWS CLI + Linux Crontab 사용 방법 2 : Terraform + Linux Crontab 사용 방법 3 : Auto Scaling 그룹 작업 예약" data-ke-type="html">HTML 삽입미리보기할 수 없는 소스 " dat.. 2023. 10. 17. Opentelemetry를 사용하여 Prometheus Metrics 수집하기 일반적으로 Helm chart(prometheus-community.github.io)를 사용하여 Prometheus를 설치하면 node-exporter와 kube-state-metrics 수집기가 기본으로 활성화되어 Kubernetes 리소스 관련 메트릭 데이터를 자동으로 수집한다. (관련 구성 참고 :Prometheus + Grafana 설치) 이번 글에서는 Prometheus에서 기본으로 제공하는 수집기가 아닌 opentelmetry 수집기를 사용하여 메트릭을 수집하는 실습을 다룰 것이다. 그렇기 때문에 기본으로 제공하는 Prometheus 수집기 및 Scrape 설정을 모두 비활성화 후 구성해야 한다. OpenTelemetry exporter에서 prometheus로 metric을 전송하는 방법.. 2023. 10. 11. OpenTelemetry란? OpenTelemetry란? OpenTelemetry는 traces, metrics 및 logs와 같은 telemetry 데이터를 생성하고 관리하기 위해 설계된 Observability 프레임워크 및 도구로, 애플리케이션의 동작을 추적하고 성능 문제나 에러를 식별하여 이를 신속하게 해결할 수 있게 도와준다. OpenTelemetry는 벤더 및 도구에 종속되지 않고, Jaeger 및 Prometheus와 같은 오픈 소스 도구뿐만 아니라 상용 제품을 포함한 다양한 Observability 백엔드와 함께 사용할 수 있으며, Cloud Native Computing Foundation(CNCF) 프로젝트로 활발한 커뮤니티 활동을 통해 개발 및 유지되고 있다. 클라우드 컴퓨팅, 마이크로서비스 아키텍처의 증가, 그.. 2023. 9. 18. Fluent Bit을 사용하여 Amazon S3로 로그 전송하기 해당 글은 [Fluent Bit을 사용하여 Cloudwatch log group으로 로그 전송하기] 실습 구성에 이어서 진행한다. [INPUT]에 대한 설정은 위 글을 참조하면 된다. Fluent Bit은 로그 데이터를 비용 측면과 효율성을 고려하여 효율적으로 저장하고 활용하기 위해 Amazon S3 Output 플러그인을 활용하여 Amazon S3로 전송하여 보관할 수 있다. 실습전제 조건AWS EKS 클러스터Helm CLI 도구설치 환경AWS EKS v1.22Helm v3.8.2설치 버전Fluent Bit 1.9.10 실습 절차 1. Multipart Upload 와 PutObject 2. 데이터 유실 방지 (store_dir) 3. Amazon S3 OUTPUT 구성 .. 2023. 7. 22. Fluent Bit을 사용하여 Cloudwatch log group으로 로그 전송하기 Fluent bit이란?Fluent Bit은 다양한 로그 및 메트릭 데이터를 수집하고 처리하기 위한 경량의 오픈 소스 데이터 수집 및 전송 솔루션이다. Fluent Bit은 다양한 플러그인 아키텍처를 제공하여 Prometheus 및 OpenTelemetry와 같은 다른 에코시스템과 통합할 수 있다. 또한, 최적의 성능을 제공하기 위해 설계되었다. 경량의 디자인과 최소한의 리소스 사용을 지향하여 대규모 환경에서도 효율적으로 동작한다. 작은 메모리와 CPU 리소스를 사용하여 데이터 수집 및 처리를 수행하므로, 시스템 부하를 최소화하면서도 높은 성능을 유지할 수 있다. 아래는 Fluentd와 Fluent Bit을 비교한 내용이다.TextFluentdFlunet Bit범위컨테이너/서버임베디드 Linux/컨테이너.. 2023. 7. 17. 이전 1 ··· 3 4 5 6 7 8 9 ··· 11 다음 728x90 반응형
