[News Batch] JPA Batch작업 성능 문제 해결

[wjkim9]

문제 상황 요약

하루 동안 발행된 뉴스를 API를 호출하여 JPA로 DB에 INSERT하는 작업을 수행.

API 300회 호출, 29681건 데이터 저장
수행 시간 : 718.68초
성능 개선을 요구함.

문제 발생

매일 자정이 되는 시간 그 전날 발행된 뉴스를 DB에 INSERT하는 작업을 진행하는 도중 수행 시간이 오래 걸려 서버에 부하가 걸리는 문제가 발생.

원인 분석

한 건의 뉴스를 JPA가 DB에 INSERT하기 위해 매 회 DB에 쿼리문을 날림.
ex) 29681건의 데이터 저장을 위해 쿼리 29681회 수행.

해결 방안

대량의 데이터를 DB에 빠른 속도로 저장하기 위해
SpringBatch, JDBC 등을 방법을 모색하고,
로그를 남겨 성능 분석을 하여 더 나은 방법을 강구할 것.