Skip to content

[feat/news] 뉴스 크롤링 & DB 저장 #1

@rossenzii

Description

@rossenzii

✨ 뉴스 크롤링 — 네이버 금융 다카테고리 수집 및 DB 저장

📌 설명

설정된 카테고리(금융, 증권 등)별로 네이버 뉴스 목록 URL을 모은 뒤
본문을 수집해 PostgreSQL articles 테이블에 저장합니다.
앱 실행 시 전체 카테고리 크롤링이 한 번 실행되며 URL 중복, 배치 조회로 저장 효율을 맞춥니다.

🛠 작업 목록

  • CrawlerProperties 기반 카테고리 URL 바인딩
  • 목록 크롤러 → 본문 크롤러(Virtual Thread) → ArticleService 저장 플로우
  • ApplicationRunner에서 crawlAll() 기동 시 실행
  • 크롤러 지연·카테고리 URL application.yml 설정

Metadata

Metadata

Assignees

No one assigned

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions