README.md

🌾CAMP (Climate And Market Prediction)

📍 프로젝트 개요

1.1. 주제 선정 배경

• 최근 배추 가격 상승의 주요 원인이 기후 변화로 인한 작황 부진이라는 기사를 읽게 됨 → 기후 변화가 농산물 가격에 미치는 영향 분석의 필요성을 체감

1.2. 프로젝트 내용

• 기후 데이터와 도매·소매 가격 데이터 활용
• 정적 자원뿐만 아니라 동적 데이터를 효과적으로 수집하고 처리하기 위해 ETL 과정을 자동화
• 머신러닝 기술을 활용해 가격 변동의 원인을 파악하고 미래 가격을 예측하는 모델 구축
• 모니터링 시스템을 통해 분산된 서버 상태를 실시간으로 확인하며 데이터 흐름의 안정성을 유지

📊 프로젝트 시각화 결과

품목(중분류) 거래 규모

도매시장 별 거래 규모	원산지별 품목 거래 규모

품목 별 가격 정보

월별 & 최근 일주일 품목별 가격 정보

반입 현황

�품목별 반입 현황 & 지역별 반입 현황

기후 & 도매 상관관계

월별 상위 5개 품목의 도매 물량 및 재배 시작 시기 평균 온도	상위 20개 재배지역 월별 강수량

도매 & 소매 상관관계

도매가 소매가 비교 & 1년 전과 현재의 소매가 비교

📬 DAGS & GLUE JOBS

Airflow DAGS	AWS GLUE JOBS

DAG FLOW

Static data DAGS	Dynamic data DAGS

🔍 ML

- 사용 모델: LightGBM
- 사용 데이터셋: 날씨 데이터와 도매 가격 데이터를 Join하여 생성한 약 1.5GB의 training set
- feature & label: 도매로 판매되기 전 6개월간의 월간 날씨 데이터와 도매 당시 물량 등을 학습하여 ‘사과’1개 / 전체 품목 에한 kg당 가격 예측

하나의 중분류에 대한 가격 예측 정확도 Explained Variance Score: 약 0.91	전체 품목에 대한 가격 예측 정확도 Explained Variance Score: 약 0.74

💾 테이블 명세

raw_data	analytics_data	ETL& ELT 과정을 거친 후 데이터 크기

⚙️ System Architecture

시스템 아키텍처

기술 스택 및 활용

아키텍처	기술 활용
Infra ETL & ELT Monitoring Visualization Co-work tool	활용 기술 비고 EC2 Airflow 서버 및 모니터링 서버 RDS Airflow Metadata DB Elasticache Airflow Redis Airflow EL 워크플로우 및 스케줄링 Glue 서버리스 Spark 환경 제공 Spark ELT 워크플로우 및 데이터 처리 S3 Data Lake 및 임시 저장소 Redshift Data Warehouse Preset 대시보드 및 시각화 도구 Prometheus 시스템 메트릭 수집 Grafana 시스템 메트릭 실시간 대시보드 및 시각화

😊멤버

박소민	김주호	신보경	김선재
날씨 데이터 파이프라인 구축 인프라 & 시각화 모니터링	소매 데이터 파이프라인 구축 인프라 & 시각화 모니터링	도매 동적 데이터 파이프라인 구축 인프라 & 시각화 ML	도매 정적 데이터 파이프라인 구축 인프라 & 시각화 ML