통계(Accounting)를 이용한 서버 시스템 모니터링 ¶

참고자료 :

본 문서는 위 자료를 참고로 리눅스에 맞게 적절하게 수정한 내용입니다. 현재 국내에서는 리눅스 관련 서버관리측면에서 자세한 내용을 설명한 자료가 부족하다고 생각이 됩니다. 이글이 실제 서버를 운영하고 관리하는 분들에게 도움이 되었으면 좋겠습니다.

물론 현재는 PC급 하드웨어의 성능이 워낙 빠르게 발전하고 있지만 서버관리자는 언제나 최악의 상황을 염두에 두고 시스템을 관리해야 할 것입니다.

일반적으로 Accounting을 통계로 번역하는것갈으므로 아래에서는 Accounting대신 통계라는 단어를 사용하겠습니다.

이 문서는 상업적인 목적이 아닌 한 자유롭게 배포할 수 있습니다. 그렇지만 배포시에는 출처와 저자, 본 주의사항을 밝혀주어야 합니다. 또한 상업적으로 사용할 경우에는 본 저자의 동의를 얻어야 합니다.

먼저 통계란 리눅스에서 수행된 명령들을 요약하고 기록하는 것입니다. 수행명령, 사용자, 소요된 CPU시간, 메모리, 디스크 I/O등을 분석하여 시스템운영 및 관리에 사용할 수 있습니다. 또한 시스템의 튜닝을 위해서는 가장 기본적인 작업이라고도 할 수 있습니다.

통계 시스템은 시스템의 중요한 정보를 쉽게 모을 수 있습니다. 시스템 성능에 관심을 가진다면 실제 시스템이 어떤 활동을 하는지에 대해서 알아야 합니다. 사용자가 어떤 프로그램을 돌리는가, 이러한 프로그램에서 시스템 시간을 얼마나 소비하는가, 일반적인 유틸리티가 얼마나 시스템 시간을 소비하는가, 어떤 사용자가 시스템의 자원을 적절하게 사용하는가 등등.

어떤 프로그램이 시스템의 시간과 메모리를 잡아먹는지 알았다면 이제 시스템 튜닝 전략을 세울 수 있겠지요. 내부용으로 프로그램을 개발했다면 개발자가 더 뛰어난 알고리즘을 가지고 프로그램을 설계하라고 할 수 있고, 메모리를 맣이 사용하는 프로그램이라면 메모리를 절약할 방법에 대해서 찾아보아야 할 것입니다. 디스크 I/O를 많이 사용하는 프로그램이라면 더 빠른 디스크를 장착할 수가 있을 것입니다. 시스템에 문제가 생기기전에 이러한 시스템 정보를 가지고 있다면 훨씬 수월하게 문제를 해결할 수 있습니다. see also TuningStrategy.

현재 리눅스에서 통계 시스템은 BSD 스타일을 따르고 있습니다. System V 통계 시스템이 BSD에 비해 다양한 통계 자료를 제공하는것 같습니다.

이러한 통계기능은 리눅스 커널 수준에서 지원되어야하며 시스템 차원에서 제어를 지원해야 합니다. 리눅스의 경우는 커널 1.3.73이후 버전에서 이러한 기능을 지원한다고 합니다. 최근에 나온 레드햇 및 국내 배포판 등에서는 지원되는 것으로 알고 있습니다. 만약 레드햇 호환 배포판을 사용하고 있다면 다음 rpm명령으로 확인하면 됩니다. (지금 이글을 보는 사람들이라면 아주 초보자는 아니라고 생각되기에 개별적인 명령어에 대한 설명은 생략합니다)

# rpm -qa | grep psacct
psacct-6.3-10

없다면 각 배포판 사이트를 통해서 쉽게 구할 수 있을 것입니다.

필자가 설치한 프로그램목록은 다음과 같습니다.

# rpm -ql psacct
/sbin/accton
/usr/bin/ac
/usr/bin/lastcomm
/usr/info/accounting.info.gz
/usr/man/man1/ac.1
/usr/man/man1/lastcomm.1
/usr/man/man8/accton.8
/usr/man/man8/sa.8
/usr/sbin/accton
/usr/sbin/dump-acct
/usr/sbin/dump-utmp
/usr/sbin/sa
/var/log/pacct
/var/log/savacct
/var/log/usracct

부팅하면서 통계 프로그램을 시작하려면 부팅 스크립트를 수정해야 합니다. 이건 /etc/rc.d/rc.sysinit 에 다음과 같은 내용을 추가하면 됩니다. 통계시스템은 accton 명령을 이용해 실행합니다. /var/log/pacct 파일은 rpm으로 설치하는 경우 자동으로 설치가 되지만 만약 자동으로 생기지 않는 경우 touch 명령 등으로 생성을 해 주어야합니다. 이 파일은 통계기록를 하는 파일이라고 생각하면 됩니다.

여기서 주의할 것은 /var/log 가 속한 파일 시스템이 95%이상 차면 통계시스템이 자동으로 멈춤니다. 이걸 명심하세요

pacct 파일은 계속 모든 것을 기록하니깐 금새 커지겠지요? 그러므로 주기적으로 sa -s 를 실행시키면 요약 파일인 /var/log/savacct 파일에 pacct의 내용을 압축해서 병합합니다. -s 옵션에 대해서는 뒤에서 sa의 옵션을 참고하세요.

통계 시스템이 작동되면 정기적으로 보고서를 만들기 이해 sa 유틸리티를 이용합니다. sa를 옵션없이 사용하면 시스템에서 실행되었던 모든 명령에 대한 요약내용을 출력합니다. 한번 볼까요?

(근데 이건 예제로는 좀 맞지 않는것 같습니다만 이해해주세요...)

# sa 

   75563  169479.02re     510.44cp         0avio       506k
   14056     450.37re     448.85cp         0avio       497k   webalizer
     361   91931.12re      37.86cp         0avio      1355k   httpd*
     275       7.50re       5.38cp         0avio       402k   gawk
   14056     455.55re       4.95cp         0avio       438k   weblog
   14226     588.92re       2.57cp         0avio       437k   sh
      11      18.88re       2.45cp         0avio       332k   slocate
     162     670.85re       1.46cp         0avio       666k   in.telnetd
    2298      45.83re       1.09cp         0avio      2858k   mysqld*
     325       0.86re       0.76cp         0avio       642k   ps
     358    1185.61re       0.66cp         0avio       454k   bash
    1419       0.48re       0.47cp         0avio       283k   rmmod

출력내용은 끝의 접미사로 구분을 합니다.

• none : 실행된 횟수. 가장 첫컬럼.
• re : 명령을 실행하는데 사용된 실제시간(분단위). 총경과시간.
• cp : 명령을 실행하는데 사용된 총 CPU시간(분단위), system + user time, 기본적으로 CPU 시간을 기준으로 정렬합니다.
• avio : 실행시 평균 I/O 연산 횟수.
• k : 평균 물리적 메모리 사용량. (kilobytes 단위). 여기서 평균이란 프로그램의 CPU시간에 근거함. (This average is the integral of physical memory used over time(storage interval), divided by the total CPU time.)
• none : 프로그램이름. 가장 마지막 컬럼.
  
  

출력내용에서 첫번째 줄은 실행된 모든 명령에 대한 것을 보여주지만 그다지 유용하지는 않을 것입니다. 그 이후부터는 총 CPU 시간에 대해 정렬해서 보여줍니다. 총CPU 시간에서 실행된 횟수를 나누면 실행될때마다 CPU시간을 얼마나 썼는지 나오겠지요? 실행횟수가 100번이고 CPU 시간이 10000이면 한번에 100분의 CPU시간을 쓴 것이지요.

여기서 자세히 내용을 분석하면 어떤 것이 CPU 시간을 많이 사용하는지, I/O 연산을 많이 하는지, 메모리를 많이 쓰는지 나올 것입니다.

NFS같은 daemon은 CPU시간도 많이 쓰겠지만 I/O 를 훨씬 많이 쓸 것입니다.(avio) 어떤 프로그램은 CPU시간을 적게 쓰더라도 아주 자주 실행될 수도 있습니다. 아주 자주 실행되는 프로그램은 메모리도 많이 쓰므로 메모리에 문제가 생길 수 있겠지요. emacs 등의 에디터는 실행시 CPU시간은 적게 사용하더라도 총경과시간은 엄청날 수 있겠지요. 왜냐면 프로그래머가 터미널앞에서 않아서 타이핑은 안치고 엄청나게 머리만 굴리면서 시간을 보낼 수도 있으니 깐요. gcc등 컴파일러의 경우는 CPU시간도 많이 쓰겠지만 I/O연산은 적을 것이고 메모리는 많이 필요할 것입니다.

-d 옵션을 사용하면 avio(평균 i/o연산)를 기준으로 출력합니다. 그러면 어떤 프로그램이 I/O를 많이 사용하는지 볼 수 있을 것입니다. 당근 위에서 말한것처럼 NFS같은게 1등을 차지하겠지요.

이런 식으로 CPU 시간, 메모리, I/O를 많이 사용하는 대표적인 프로그램이 어떤 것인지 알아낼 수 있습니다. 이걸 가지고 파일시스템 설계를 다시 할 수도 있고 I/O를 많이 사용하는 프로그램에 I/O 자원을 더 줄 수도 있을 것입니다. 큐잉 시스템을 사용하는 경우 CPU 집약적인 작업과 I/O 집약적인 작업의 큐를 분리할 수 있을 것입니다. CPU와 메모리를 한번에 많이 사용하는 프로그램을 여러개 띄우지 않을 것입니다. I/O를 많이 사용하는 프로그램을 여러개 띄우지않도록 조심하게 될 것입니다. 그런데 CPU를 많이 사용하는 프로그램과 I/O를 많이 사용하는 프로그램을 동시에 띄우는것은 시스템에 미치는 영향이 다르기때문에 괜찮겠지요?

끝에 *가 붙은 것은 daemon 프로세스입니다. daemon과 쉘같은 프로그램은 실제로 아무일도 하지 않더라도 총경과시간은 길 것입니다. 이러한 프로그램은 또한 CPU시간이 길어지겠지요. 이것때문에 sa 결과를 잘못 볼 위험도 생깁니다. 센드메일 예를 들어볼까요? 센드메일은 큰 용량의 메일큐를 처리하려면 메모리가 많이 필요합니다. 그렇지만 대몬으로 실행되기때문에 실제로 아무일도 하지 않더라도 CPU 시간은 커지고 이에 따라 평균메모리 사용량은 작게 나타납니다. 위에서 설명했듯이 평균 메모리 사용량이란게 CPU시간을 근거로 해서 계산하니깐요. 알고보면 무지 메모리 많이 쓰는 것인데요.

/var/log/pacct 파일에 프로세스 통계가 기록이 됩니다. (이건 raw 파일이라고 생각하면 됩니다) sa -s 하면 현재의 기록을 /var/log/savacct 에 기록합니다. /var/log/usracct 파일은 사용자 id별로 통계기록을 보관합니다. 좀 헷갈리죠? 그러니깐 모든 기록을 pacct에 가지고 있다가 sa -s 하는 순간 명령어별로 관련된 기록은 savacct에, 사용자별로른 usracct에 기록을 하는 것입니다. sa 를 옵션없이 사용하면 처음부터 현재까지 전체 통계내용을 확인하는 것입니다. (이 부분이 처음에는 무지 헷갈릴 것입니다)

sa 와 관련된 옵션은 man sa 하면 나옵니다.

주요한 몇가지만 소개합니다.

• -a : 모든 명령
• -b : 평균 CPU 시간에 따라 정열 -> CPU많이 쓰는 놈을 잡아라(cp)
• -d : 평균 I/O 연산따라 정열 -> I/O많이 쓰는 놈(avio)
• -i : savacct 요약 파일을 생략. 이건 sa -s 한 이후의 통계를 보여줌.
• -k : 평균 메모리 사용량에 따라 정열 -> 메모리 많이 쓰는 놈(k)
• -l : 시스템 cpu 시간과 사용자 cpu 시간을 분리해서 보여줌.
• -m : 각 사용자에 따른 통계
• -n : 실행숫자. 자주 실행된 놈 찾기
• -s : 현재의 통계 기록을 savacct 파일에 병합하기
• -t : CPU 시간 총경과시간(re)
  
  

아래 스크립트는 통계 자료를 자동으로 모으는 스크립트입니다. 이걸 매일마다 cron으로 돌려서 시스템을 분석하면 되겠지요. 이 스크립트는 자기의 필요에 맞게 고쳐서 사용하면 될 것입니다.

ac 프로그램은 /var/log/wtmp 파일에서 사용자의 로그인, 로그아웃에 관련된 데이터를 이용해 연결 시간을 출력합니다. (시간단위)

# ac
        total       26.84

주요한 옵션으로 -p와 -d가 있습니다. -p는 사용자별로 -d는 날짜별로 출력합니다. 두가지를 동시에 쓰면 날짜별, 사용자별로 분류해서 출력합니다. 개별 사용자들의 접속 시간을 24시간 단위로 보여주는데 전체 사용시간을 보는것은 그다지 의미가 없을것같네요. 이걸 이용하면 누가 가장 많이 시스템을 쓰는지 알 수 있겠지요? 참고로 사용자의 활동 상황을 추적할 수 있는 또 다른 프로그램으로는 last 와 lastcomm 등이 있습니다. last는 사용자가 로그인한 정보를 보여줍니다. 이또한 /var/log/wtmp 파일을 이용하지요. lastcomm은 위에서 설명한 패키지에 같이 포함이 되어있습니다. 이는 이전에 실행된 명령들에 관한 정보를 보여줍니다. 요 두가지 프로그램은 특정한 시기에 누가 로그인했는지 그리고 누가 프로그램을 실행했는지 알아내는데 도움을 줄 수 있습니다. 그렇지만 아주 정확히 찾아내기는 힘들겠죠?

처음 말을 했던대로 최근 하드웨어가 워낙 빠르고 발전하고 성능이 뛰어나다보니 시스템 최적화에 대한 고민은 덜 수가 있을 것입니다. 또한 실제로 서버 최적화를 한다는게 말만큼 쉬운것은 아니고 차라리 하드웨어를 구입하는게 가장 쉬운 방법이겠지요. 그렇지만 현재의 시스템에서 최적의 성능을 내려고한다면 위의 내용들이 어느정도 도움을 줄 수는 있을 것이며 서버 관리자는 항상 서버의 상태에 대해서 관심을 가지고 있어야겠지요. 기계를 탓하기전에 얼마나 애정(?)을 가지고 관심있게 시스템을 관리했는지 생각합시다.