[Linux] crontab, 쉘 스크립트 조합으로 리눅스 로그 관리하기 (feat.crontab)

 

 

개요(feat. Linux) 

* 왜 이 작업을 하는거지?

📝 OS를 사용하는 순간부터 우리는 필수적으로 Storage capacity 관리를 하게 된다.

OS가 설치되며 기본적으로 가져가는 용량을 뺀 나머지의

한정된 용량속에서 우리는 OS를 사용하게 되는데,

관리를 하지 않으면 윈도우에서 우리가 늘 'C:\ 드라이브' 에 용량이 부족 또는 Mac OS에서 APFS의 Volume 이 가득차서 일부 서비스가 동작하지 않거나, 원하는 자료를 다운로드 받지 못하게 된다.

 

이 사례가 일반 데스크탑 또는 랩탑이 아닌 실무에서 사용하는 서버에 적용될 경우 더 이상 로그를 쌓을 수 없어 서비스가 서버리게 되는 경우도 심심치 않게 볼 수 있다.

 

사용하지 않거나 오래된 파일들을 보관 주기에 따라 보관하며 (보관 시, 용량의 차지를 줄이기 위해 압축하여 보관) 정해진 일정량 만큼의 데이터를 지속적으로 유지하여 관리 하는게 OS를 제대로 사용할 수 있는 첫 번째 방법이다.

 

여기서 보관주기(Crontab)와 유지 관리를 위한 간단한 기본 스크립트 프로그래밍(Shell Script)를 통해 간략하게 사용하고자 한다.

보관주기와 프로그래밍에 'Crontab' 과 'Shell Script' 를 사용하는 이유는 모든 OS에서 별도의 모듈 설치 없이 기본적으로 OS 에 내장되어 지원하기 때문이다.

Crontab

Crontab 이란?

Crontab은 리눅스 운영체제에서 배치 작업을 스케쥴링 하기 위한 프로그램으로, 특정 시간 또는 정기적인 주기에 따라 작업이 실행되게끔 스케쥴링을 할 수 있다.

 

Crontab은 아래와 같이 주기를 설정할 수 있다.

   *          *          *         *          *
분(0-59)  시간(0-23)  일(1-31)   월(1-12)   요일(0-7)

---

Crontab 적용

우리는 아래 예제를 이용하여 개발/운영 등 실무에 적용할 예정이다. 쉘 스크립트가 실행되며 남기는 로그들을 기록하는 것과 그렇지 않은 것 두 가지 스타일 중 원하고자 하는 내용을 선택하도록 한다.  (Tip. 실무에서 log를 백업하는 과정 중 중요도에 따라 저장하는 내용이 다르다.

WEB 실행 로그나, 간단한 서비스 실행 로그와 같은 경우에는 과감하게 지우며, 지우면서 남기는 로그는 저장하지 않는다. )

#매월 1일 00시 00분에 /app/cron/ 경로에 있는 log_backup.sh 프로그램을 실행한다. 
#실행되며 남기는 로그는 저장하지 않는다.
00 00 1 * * /app/cron/log_backup.sh < /dev/null 1>/dev/null 2>&1

#매월 1일 00시 00분에 /app/cron/ 경로에 있는 tomcat_log_backup.sh 프로그램을 실행한다. 
#실행되며 남기는 로그 /app/logs/ 경로에 있는 tomcat_cron.log 파일에 저장한다.
00 00 1 * * /app/cron/tomcat_log_backup.sh > /app/logs/tomcat_cron.log

Shell Script

Shell Script 란?

쉘 스크립트란 간단히 말하자면 Unix/Linux 커맨드등을 나열해서 프로그래밍하여 실행하는 것이다.

이 또한 아주 간단한 프로그래밍 이기 때문에, 언제, 어디서, 어떤 조건으로 어떠한 명령을 실행시킬 것인가 ? 등을 할 수 있다.

 

Shell Script 적용

우리는 아래 예제를 이용하여 적용해보고자 한다.

*매달 1일에 지난 달 데이터를 백업하며, 90일간의 데이터를 유지한다. 4개월 이상 지난 Dir은 삭제한다.

#! /bin/sh
. ~/.bash_profile

#System : Backup
#Purpose : Log Backup
#author : ooweat

#매달 1일에 지난 달 데이터를 백업
currdate=`date '+%Y%m%d'`
#지난 달
BACKUP_MONTH=`date +%Y%m -d '-1month'`
RM_MONTH=`date +%Y%m -d '-4month'`
FILE_STYLE=*`date +%Y-%m -d '-1month'`*

#Tomcat 사용 시,
TARGETPATH="/app/service/tomcat/logs"
#기타 Service 사용 시,
#TARGETPATH="/app/service/logs"

echo '#####################################################################################'
echo '##########################[ MONTHLY LOG BACKUP START ]###############################'
echo '#############################[ JOBDATE ]#############################################'
echo '############################[ '$currdate' ]#############################################'
echo '#####################################################################################'

cd $TARGETPATH
if [ ! -d $BACKUP_MONTH ]
then
        mkdir -p $BACKUP_MONTH
        chmod 775 $BACKUP_MONTH
fi
echo '#####################################################################################'
echo 'Log Files Moved On Monthly Dir'
echo '#####################################################################################'
#파일 이동
mv $TARGETPATH/$FILE_STYLE $TARGETPATH/$BACKUP_MONTH/

#백업 디렉토리로 이동
cd $TARGETPATH/$BACKUP_MONTH/

echo '#####################################################################################'
echo 'Files xz'
echo '#####################################################################################'
#압축
xz ./*

cd $TARGETPATH
cd $(pwd)
echo '#####################################################################################'
echo 'Delete Old Files'
echo '#####################################################################################'
#생성일로부터, 90일이 지난 파일 삭제
find $TARGETPATH/* -mtime +90 -exec rm {} \;
echo '#####################################################################################'
echo 'Delete Old Dir'
echo '#####################################################################################'
find $TARGETPATH/$RM_MONTH -exec rmdir {} \;