Spring Batch

 

 

Spring Batch

일괄처리를 통해 여러 개의 작업을 미리 정해진 순서에 따라 중단 없이 처리하는 것

 

　Spring Batch 의 5가지 특징

1. 대용량 처리: 대량의 데이터를 가져오거나, 전달하거나, 계산하는 등의 처리가 가능해야 한다.

2. 견고성: 잘못된 데이터를 충돌/중단 없이 처리할 수 있어야 한다.

3. 자동화: 사용자 개입없이 실행되어야 한다.

4. 신뢰성: 무엇이 잘못되었는지를 추적할 수 있어야 한다. (로깅, 알림)

5. 성능: 지정한 시간 안에 처리를 완료하거나, 동시에 실행되는 다른 프로그램을 방해하지 않아야 한다.

Spring Scheduler

특정한 시간에 등록한 작업을 자동으로 실행시키는 것

　Spring Scheduler의 3가지 특징

1. Spring Framework의 기본 기능으로 의존성이 불필요 하다.

2. 접근성: 간단한 어노테이션 선언만으로 사용이 가능하다. (@Component, @Scheduled)

3. 싱글 쓰레드: 스케줄러는 한 개의 쓰레드로 동작한다.

언제 쓸까?

정산이나 데이터 백업 등 같이 대량의 데이터를 처리할 때 사용한다.

 

개인적으로 Spring Scheduler 를 이용해 이미 정해진 배치들에 대한 상태를 모니터링하는 배치로도 사용하고 있는데,

Single Thread 로 동시성이나 분산에 대한 걱정없이 가볍게 사용할 수 있는 이점이 있다.

 

사용자와의 인터랙션이 없기 때문에 사용자 중심의 에러 처리를 고려하지 않아도 되지만 로그와 별도의 알림을 설정해서 모니터링을 진행해야 한다.

전략

Batch 하나 개발하는데 전략까지 필요할까?

답은 "YES"

 

배치는 코어 데이터를 많이 다루기 때문에 데이터의 안정성이 보장되어야 하며, 예상 배치 시간의 확인과 시스템의 볼륨을 확인할 수 있어야 한다. 또 시스템과의 동시성 검토와 모니터링이 필수적으로 가능해야 한다.

 

다음으로 운용과 설계에 대한 기초 전략을 세웠으니 세부 분류를 진행한다.

처리하고자 하는 배치의 입력을 구분하여야 한다.

 

현업에서 사용한 내용은 아래와 같이 크게 3가지의 구분이 나온다.

1. 데이터베이스 //예시) 데이터베이스에서 정산을 진행할 목록을 나열해 배치를 진행한다.

2. 파일 //예시) 외부연동을 통해 전달받은 결과 파일이나 직전의 배치를 통해 완료된 파일로 배치를 진행한다.

3. 메시지 //예시) Queue 구조에서 대기열에 있는 메시지에 대해 배치를 진행한다.

 

주의해야 할 7가지

1. 확장성 - 언제든 조건이 추가될 수 있음에 대비해야 한다.

2. 단위 테스트 - 정확한 디버깅을 위해 단위 테스트가 가능해야 한다.

3. 직관성 - 필요한 리소스만 선언하여 사용할 수 있어야 한다.

4. 재사용성 - 필수적인 기능을 재사용 가능해야 한다.

5. 시간제약 - 정확한 측정 아래 계획된 시간 내 진행될 수 있도록 해야 한다.

6. 독립적 - 다른 스레드와 관계없이 하나의 Job 으로써 독립적으로 실행되어야 한다.

7. 상태성 - 배치가 진행되며 현재 상태를 남겨야 한다. (BatchStatus - STARTED, FAILED, COMPLETED)