반응형 monitoring5 [Jenkins] 파이프라인 실시간 모니터링 환경 구성하기 Jenkins는 자동화된 빌드 → 테스트 → 배포를 수행하는 인기 있는 오픈소스 CI/CD 도구이다.규모가 커지고 파이프라인이 복잡해질수록 Jenkins의 빌드 현황이나 성공률, 실패 건수, 대기 시간 같은 주요 지표를 실시간으로 모니터링하는 게 점점 더 중요해지고 있다. Jenkins 상태 모니터링이 중요한 이유는?장애 대응 시간 줄이기:빌드가 실패하거나 대기 시간이 급격히 늘어나는 등 이상 징후를 바로 파악해 빠르게 문제에 대응할 수 있다.운영 효율성 향상:자주 발생하는 에러나 병목 구간이 보이면, 파이프라인을 개선 방향을 쉽게 찾을 수 있다.투명한 커뮤니케이션 및 협업:개발자뿐 아니라 QA, 인프라팀까지 누구나 현재 Jenkins에 무슨 일이 있는지 직관적으로 볼 수 있다.지속적인 개선:빌드 성공률.. 2025. 5. 27. [Grafana Loki]란? 개념부터 설치까지 Grafana Loki란?Grafana Loki는 Prometheus에서 영감을 받은 로그 집계 시스템으로, 로깅 및 이벤트 데이터를 수집, 저장 및 검색하기 위한 오픈 소스 플랫폼이다. 비용 효율적으로 운영하기 쉽게 설계되었으며 Grafana Labs에서 Loki 프로젝트 개발을 주도하고 있다. Loki는 로그 전체 TEXT가 아닌 metadata만 인덱싱하는 방식을 취한다.이런 최소 인덱싱 접근 방식은 다른 솔루션보다 적은 저장 공간이 필요함을 의미한다. Grafana Loki는 아래와 같이 작동한다.Loki를 위해 만들어진 로그 수집 도구인 Promtail을 통해 로그를 가져와 로그를 저장한다. 이후 Grafana에서 LogQL이라는 쿼리 언어를 통해 로그를 검색하게 된다. 또한 경고 규칙을 설정하.. 2023. 11. 1. [Fluent bit]을 사용하여 Cloudwatch log group으로 로그 전송하기 Fluent bit이란?Fluent Bit은 다양한 로그 및 메트릭 데이터를 수집하고 처리하기 위한 경량의 오픈 소스 데이터 수집 및 전송 솔루션이다. Fluent Bit은 다양한 플러그인 아키텍처를 제공하여 Prometheus 및 OpenTelemetry와 같은 다른 에코시스템과 통합할 수 있다. 또한, 최적의 성능을 제공하기 위해 설계되었다. 경량의 디자인과 최소한의 리소스 사용을 지향하여 대규모 환경에서도 효율적으로 동작한다. 작은 메모리와 CPU 리소스를 사용하여 데이터 수집 및 처리를 수행하므로, 시스템 부하를 최소화하면서도 높은 성능을 유지할 수 있다. 아래는 Fluentd와 Fluent Bit을 비교한 내용이다.TextFluentdFlunet Bit범위컨테이너/서버임베디드 Linux/컨테이너.. 2023. 7. 17. [Prometheus] HA 구성 1 (with Thanos) "> Prometheus는 쿠버네티스 환경에서 인기 있는 오픈소스 모니터링 도구이다.하지만 몇 가지 치명적인 단점이 있다. 확장 및 고가용성의 한계Prometheus는 단일 서버로 동작하게 설계되어 있다. 즉, 서버가 내려가면 그 시간 동안 메트릭을 수집할 수 없게 됨을 의미한다. 이를 보완하기 위해 프로메테우스 서버를 2개로 하여 모니터링을 하면 하나의 서버가 내려가더라도 다른 하나의 서버로 메트릭을 볼 수 있지만, 여전히 근본적인 해결이 안된 불완전한 아키텍처로 샤딩, Prometheus Federation 구성 등의 추가 작업이 필요하다.오래된 데이터 보관의 어려움Prometheus는 메트릭을 로컬 디스크에 수집하여 보관하는데, 저장소의 용량이 한계에 도달하면 오래된 데이터가 자동으로 삭제되어 일정.. 2023. 5. 3. [Prometheus] + Grafana 초간단 설치 본 글에서는 Prometheus와 grafana를 설치하고 대시보드를 통해 간단하게 메트릭 수집을 확인하는 실습을 다룬다. Prometheus와 Grafana는 Helm 차트("prometheus-community.github.io")를 사용하여 Kubernetes 환경에서 간단하게 설치할 수 있다. (Grafana만 따로 설치하고 싶다면 참고 : [Grafana 설치] ) 설치를 완료하면 아래와 같은 Pod가 설치되는데, 각각의 역할은 다음과 같다.alertmanagerPrometheus에서 수집된 경고 알림을 관리하고 전송하는 기능을 담당한다.grafanaGrafana 서버로, Prometheus에서 수집된 데이터를 시각화하는 대시보드를 제공하는 서버이다.kube-state-metricsKubern.. 2023. 4. 29. 이전 1 다음 728x90 반응형
