[Docker] 프로메테우&그라파나로 모니터링하기

회사에서 APM TF로 pinpoint, skywalking 등 여러 툴을 써보았지만…결과적으로 돌고 돌아 프로메테우스+그라파나가 대시보드 커스터마이즈 및 데이터 수집에서 압도적으로 좋은 것 같았다.

프로메테우스와 그라파나는 이전 그렙에 있을 때 인프라 상태등을 모니터링하기 위해 도입했었는데, 그당시 보고 나도 한번 해보고 싶다는 생각이 들었던 적이 있다.

2년정도 지난 것 같은데, 지금에서야 하는 이유는 현재 회사에 필요한 것이라고 생각이 들었기 때문이다.

왜 갑자기 필요하다고 생각하게 되었나…

현재 회사에서는 고객이 전화나 메일 등으로 이슈 제기를 하는 경우에 관련 로그를 찾고 이를 수정하는 형식으로 이뤄졌다. 이렇게 되면 이슈나 문제점을 누군가가 불편을 겪고 나서야 인지를 한다는 문제점이 있다.

내가 느끼기에는 고객이나 사용자가 이런 불편을 겪지 않는 것이 서비스를 운영 및 개발하는 입장에서 중요하다고 판단이 되며, 단순히 기능 개발 및 테스트 코드를 작성하는 수준이 아니라 지속적인 모니터링이 필요하다고 생각한다.

위 문제점을 해결하기 위해서 현재 회사에서 사용중인 센트리에 알림 기능을 슬렉과 연동할 예정이고, 그라파나와 프로메테우스를 통해 인프라 및 서버와 관련된 부분을 확인할 수 있게 개선해 볼 생각이다.

테스트

아래는 내가 현재 공부중인 내용이다. 크게 쿠버네티스, Docker, 일반 서버 기준으로 대시보드를 구성할 예정이다. 현재 회사에서는 AWS, Proxmox 등을 이용하는 중이다. 우선 현재 내 홈서버에 구축한 뒤에 회사 서버에 적용하여 대시보드를 구성할 예정이다.

여기서 AWS 모니터링, 로그인 정책 등 생각한 부분이 많기 때문에 로컬에서는 간단히 실습해보고 회사에서 조금 우여곡절을 겪으면서 내 개인 레포에도 업데이트 해볼 생각이다.

레포지토리

나중에 돈 모아서 내 개인 홈서버를 구축하면 아래 레포를 통해 모니터링을 구축해볼 생각이다.

• https://github.com/rha6780/prometheus-grafana-dashboards