스크래핑 작업 시간에 대해서

[Atriel1999]

현재 배치작업을 진행하면
수집 데이터 요약

총 기사 수: 161개
언론사별 기사 수:

DA (동아일보): 157개
KM (국민일보): 4개

시간 분석

시작 시간: 2025-05-14 09:40:27.234195 (가장 오래된 타임스탬프)
종료 시간: 2025-05-14 09:41:05.789487 (가장 최근 타임스탬프)
총 소요 시간: 38.555292초 (약 38.6초)

처리 속도 계산

평균 처리 시간 (전체): 38.555292초 ÷ 161개 = 0.2394 초/기사
처리 속도: 161개 ÷ 38.555292초 = 4.1759 기사/초

38초동안 161개의 기사를 수집했는데
이 정도 속도면 적절히 빠른 속도일까요?
언론사 3개로 이정도 시간이면 나중에는 더 부하가 심할꺼 같은데

스크래핑 비동기 처리가 필요할까요?

[thelightway24]

스크래핑의 비동기 처리가 가능하다면 이상적이라고 생각합니다.
WebClient와 JDBC를 활용해 요청부터 저장까지 전 과정을 비동기로 처리할 수 있다면 더할 나위 없이 좋겠습니다.

다만, 현재는 비동기 처리에 대한 이해가 깊지 않은 상태에서 이를 적용하는 것이 쉽지 않다고 판단하여,
우선은 배치 작업에서 스레드 수를 늘려 동기 방식으로 병렬 처리하는 방법을 선택했습니다.

향후 언론사가 많이 추가되어 스레드 수 증가만으로는 한계가 생긴다면,
배치의 분산 처리나 말씀해주신 비동기 처리 방식도 적극적으로 고려할 필요가 있다고 생각합니다.

참고로, 현재 배치는 1개의 언론사를 기준으로 설정되어 있어 처리 속도가 느릴 수 있습니다.
Discussion을 작성해주신 분께서는 혹시 배치 설정을 조정하여 개선을 시도해보셨을까요?