해당 크롤러 사용하시는 분들은 동작 시간을 고려하시길 바랍니다.

[EugeneYoo]

2021.08~2021.10 까지의 IT 관련 뉴스 데이터 수집에 걸린 시간은 7시간 정도이고

2021.08~2021.09 까지의 경제, 정치 관련 뉴스 데이터 수집에 걸린 시간은 약 8시간 정도입니다.

아마 경제, 정치 관련 뉴스가 IT 관련 보다 많아서 생긴 차이 같습니다.

처음에 크롤링을 실행하고 나서 생각보다 시간이 걸릴 것 같아서

저 같은 경우 경제, 정치 관련 데이터 수집을 위해서 컴퓨터 두 대를 활용해, 2021.08-09 하나, 2021.09-10 하나 이렇게 해서 수집을 했습니다.

카테고리 별 기사 양에 따라서 크롤링 시간이 꽤나 걸리는 것 같습니다.

미리 사용해서 데이터 수집하시는 걸 권장 드립니다.

한 달 단위로 기사를 크롤링하는 것도 소요시간이 제법 걸린다는 점을 알려드리고 싶었습니다.

해당 크롤러 덕분에 편하게 뉴스 데이터 수집을 할 수 있었습니다.

감사합니다.

[Sturtle1]

분야별로 크롤링 양은 다르겠지만, 보통 1달 정도 뉴스 스크롤 하면 기사 수가 몇 개가 되나요?

[EugeneYoo]

제가 수집했던 21.08월 기준으로

IT과학 카테고리 약 19900개
사회 카테고리는 너무 많아서 8월 1일부터 8월 23일에 끊어서 121450개
정치 카테고리 약 80,500개 정도 수집한 것 같습니다.

카테고리에 따라 기사 량이 달라서 차이가 있고, 최근 대선 같은 이슈가 있는 경우
정치 기사가 많아지는 것처럼 시기와 카테고리에 따라 차이가 있습니다.

[Sturtle1]

네 말씀감사합니다.

[pangsoo]

2021-1~2022-5-30 날짜로 크롤러 실행을 해봤는데요, 다음과 같은 텍스트만 뜨고 실행이 안돼요 ㅠ 제가 github 처음 써서 다운 방법을 잘 모르는 것 같아요. 그대로 복사해서 실행을 했고요, 안돼서 setup.py를 긁어서 또 실행을 했더니 에러가 막 떠요!
{'start_year': 2021, 'start_month': 1, 'start_day': 1, 'end_year': 2022, 'end_month': 5, 'end_day': 30}
이게 되면 정말 신기할 것 같아요, 도와주세요!