본문 바로가기
반응형

전체 글79

Fluent Bit을 사용하여 Amazon S3로 로그 전송하기 해당 글은 [Fluent Bit을 사용하여 Cloudwatch log group으로 로그 전송하기] 실습 구성에 이어서 진행한다. [INPUT]에 대한 설정은 위 글을 참조하면 된다. Fluent Bit은 로그 데이터를 비용 측면과 효율성을 고려하여 효율적으로 저장하고 활용하기 위해 Amazon S3 Output 플러그인을 활용하여 Amazon S3로 전송하여 보관할 수 있다. 실습전제 조건AWS EKS 클러스터Helm CLI 도구설치 환경AWS EKS v1.22Helm v3.8.2설치 버전Fluent Bit 1.9.10 실습 절차 1. Multipart Upload 와 PutObject 2. 데이터 유실 방지 (store_dir) 3. Amazon S3 OUTPUT 구성 .. 2023. 7. 22.
Fluent Bit을 사용하여 Cloudwatch log group으로 로그 전송하기 Fluent bit이란?Fluent Bit은 다양한 로그 및 메트릭 데이터를 수집하고 처리하기 위한 경량의 오픈 소스 데이터 수집 및 전송 솔루션이다. Fluent Bit은 다양한 플러그인 아키텍처를 제공하여 Prometheus 및 OpenTelemetry와 같은 다른 에코시스템과 통합할 수 있다. 또한, 최적의 성능을 제공하기 위해 설계되었다. 경량의 디자인과 최소한의 리소스 사용을 지향하여 대규모 환경에서도 효율적으로 동작한다. 작은 메모리와 CPU 리소스를 사용하여 데이터 수집 및 처리를 수행하므로, 시스템 부하를 최소화하면서도 높은 성능을 유지할 수 있다. 아래는 Fluentd와 Fluent Bit을 비교한 내용이다.TextFluentdFlunet Bit범위컨테이너/서버임베디드 Linux/컨테이너.. 2023. 7. 17.
EKS add-on(vpc-cni) 업그레이드 이슈 본 글은 EKS add-on 업그레이드 중 발생한 이슈 내용을 기록하기 위한 글이다. 아래는 AWS에서 제공하는 EKS 버전 공식 지원 종료 날짜이다.Kubernetes 버전 업스트림 릴리스 Amazon EKS 릴리스 Amazon EKS 지원 종료 1.262022년 12월 9일2023년 4월 11일2024년 6월1.252022년 8월 23일2023년 2월 22일2024년 5월1.242022년 5월 3일2022년 11월 15일2024년 1월1.232021년 12월 7일2022년 8월 11일2023년 10월1.222021년 8월 4일2022년 4월 4일2023년 6월 4일1.212021년 4월 8일2021년 7월 19일2023년 2월 15일1.202020년 12월 8일2021년 5월 18일2022년 11월 .. 2023. 5. 24.
EKS Pod 전용 Security group (SecurityGroupPolicy) 일반적으로 EKS에서 Pod의 트래픽은 EKS Worker Node Security group의 In/Out 규칙을 따른다. 하지만 Pod용 Security groups을 적용하면 이때부터 EKS Worker Node Security group의 규칙을 따르지 않고 Pod 전용 Security group의 규칙을 따르게 된다. 사용방법은 간단하다. apiVersion: vpcresources.k8s.aws/v1beta1 kind: SecurityGroupPolicy metadata: name: policy-test spec: podSelector: matchLabels: app: static-client securityGroups: groupIds: - {security-groups id} --- api.. 2023. 5. 18.
ArgoCD란? 개념부터 설치 배포까지 ArgoCD란?기존의 소프트웨어를 배포하고 관리하는 방식은 문제점이 많았다. 인프라 환경을 수동적으로 관리하고, 소프트웨어와 인프라를 따로 관리하는 경우가 많았기에 이로 인해 인프라와 소프트웨어 간의 불일치가 발생하게 되었고, 배포 및 운영 과정에서 문제가 발생할 가능성이 높았다. 이러한 기존의 접근 방식에 대한 대안으로 GitOps가 탄생했다.GitOps는 Git 저장소를 사용하는 소프트웨어 배포 접근 방식이다. GitOps 방식은 인프라와 소프트웨어를 함께 관리하기 때문에 Git 버전 관리 시스템과 운영 환경 간의 일관성을 유지하여 소프트웨어 간의 불일치 문제를 해결한다. 또한 모든 코드와 인프라 변경 사항이 Git 저장소에 저장되기 때문에, 변경 내역을 추적하고 롤백을 쉽게 수행할 수 있다. Ar.. 2023. 5. 12.
Prometheus HA 구성2 (With 샤딩 + Thanos) 샤딩이란? 샤딩(Sharding)은 대규모 데이터를 처리할 때 데이터를 분산하여 저장하는 데이터베이스 아키텍처 디자인 패턴이다.이 패턴은 수평적 확장을 위한 방법 중 하나로, 데이터를 분할하고 각각의 작은 파티션(shard)에 저장함으로써 전체 시스템의 성능과 확장성을 향상시킨다. " data-ke-type="html">HTML 삽입미리보기할 수 없는 소스 본 글에서는 Promethes 샤딩과 Thanos를 구성하고 Tagers이 어떻게 분산되는지 확인하는 실습을 다룬다. 실습 구성을 간단히 표현하면 다음과 같다. Prometheus를 설치하면 기본 샤드값은 1인데, 이 값을 2로 확장하면 아래와 같이 Prometheus configuration의 "scrape_configs.[ job_name].re.. 2023. 5. 10.
728x90
반응형

티스토리툴바