아파치 로그 모니터링 시스템 구축하기 - 개요(ELK)

 

현재 운영 중인 프로젝트 서버의 로그를 모니터링하고자 ELK 파이프라인을 구축했다. 그래서 서비스 ELK 파이프라인 구축하기 전, 시험 삼아 apache 로그 모니터링 시스템을 구축했던 과정을 블로그에 우선 기록해 보려고 한다.

 

로그 모니터링 시스템을 구축하는 이유?

현재 작은 서비스를 운영 중인데, 로그를 수집하여 어떤 버그와 장애가 발생하는지 확인하고자 구축했다. 또한 로그 모니터링 시스템을 구축하게 된다면, 원하는 로그들을 따로 수집하여 데이터 주도 서비스 운영에 도움이 되었으면 하는 마음으로 구축했다.

 

ELK 이란?

Elastic search + Logstash + Kibana의 약자로 Elastic Stack이며, Elastic Stack은 모든 유형의 데이터를 대규모로 수집, 분석, 검색 및 시각화하는 데 도움이 되는 기능들을 제공한다.

• beat는 경량 데이터 수집기이며, 그중 filebeat 서비스를 이용하여 로그 데이터를 수집했다.
• logstash는 데이터 처리 도구이며, 데이터를 수집하고 변환시켜 원하는 저장소에 전달한다.
• elastic search는 검색 엔진으로, 데이터를 중앙에 저장하여 검색 및 분석할 수 있다.
• kibana는 elasitc search에 저장된 데이터를 시각화하여 보여준다. 또한 브라우저를 이용해 쉽게 검색할 수 있다.

 

 

ELK를 로그 수집 서비스로 선택한 이유

1. 오픈소스이며 비용이 들지 않는다.
   • 현재 사용하고자 하는 ELK 스택 기능들은 무료로 사용할 수 있어, 비용 부담이 들지 않는다. (몇 기능은 비용이 든다..)
2. 수집, 변환, 분석, 시각화 연동 최고
   • 다른 서비스와 연동하지 않고 ELK 스택으로 수집부터 시각화(브라우저 인터페이스)까지 가능하다.
3. TLS 연결
   • Elastic search와 TLS 연결을 비교적 쉽게 할 수 있다.
   • 물론 다른 서비스를 이용해도 TLS 연결이 가능하겠지만, Elastic search의 프로그램들을 이용하여 쉽게 TLS 연결을 할 수 있다.
4. 참고 자료가 많다.
   • 처음 로그 시스템을 입문하게 된 입장에서, ELK 서비스를 공부하기 위한 참고 자료가 많다.
   • 공식 문서만 봐도 쉽게 이해할 수 있다..! ELK 독스 짱 !!

 

 

AWS 아키텍처

• 아파치에 접속한 로그들을 ELK를 이용하여 모니터링하고자 한다.
• 아파치 로그 파일을 filbeat이 수집하여 logstash에 전달한다.
• logstash는 전달받은 로그들을 변환시켜 elastic search에 저장한다.
• elastic search는 로그들을 저장 및 검색할 수 있게 한다.
• kibana를 통해 저장된 데이터들을 시각화로 확인할 수 있다.