Skip to content
@LifeIsTravel

LifeIsTravel

README.md

✈️ LifeIsTravel

합리적으로 여행하자!

📌 프로젝트 소개

  • AWS 환경에서 Airflow Celery Executor를 구축하여 데이터 파이프라인 설계
  • 항공권 가격 추이를 한눈에 확인 가능
  • 예산 및 인기 장소 기반 항공권 + 숙소 추천 기능 제공
  • 정확한 여행 일정이 없어도 편리한 항공권 검색 서비스 제공
  • 기상 조건을 반영한 항공편 지연 확률 예측 서비스 제공

👥 구성원 소개

🗓️ 프로젝트 일정

🛠️ 기술 스택 및 프레임워크

📊 대시보드

항공권 최저가 추이

  • 출발일자와 도착일자 선택 시 일별 항공권 최저가 추이 정보 제공
  • Snowflake View로 자동 업데이트

항공사별 운항 현황

  • 일본 노선 운항 현황과 2024년 운항 횟수 제공
  • 지연 및 결항 현황 통계 제공

🏗️ 전체 아키텍처

🔄 Airflow 아키텍처

  • Celery Executor와 Auto Scaling Worker로 구성하여 분산 처리 환경 구축
  • 다수의 DAG를 동시 실행 가능

🌐 Django 아키텍처

  • Nginx(Public Subnet) → 웹 서버(Django, Private Subnet) 구조
  • DNS 서버와 연결을 통해 안정적인 서비스 제공

🔎 데이터 파이프라인

  1. 데이터 수집:

    • Apify (Skyscanner API), Open-Meteo API, Rapid API (Booking.com API), Google Places API 호출
    • Airportal 사이트에서 인천공항 출/도착 현황 데이터 크롤링
    • 모든 원본 데이터는 S3 (team5-s3/raw_data)에 적재

  2. 데이터 변환:

    • AWS Glue를 통해 데이터 변환 후 Parquet 형식으로 S3(team5-s3/transform_data)에 저장

  3. 데이터 적재:

    • 변환된 데이터는 **RDS (PostgreSQL)**와 Snowflake에 적재
    • RDS는 웹 서비스와 연결, Snowflake는 데이터 분석 및 대시보드에 활용

  4. 데이터 분석:

    • Snowflake에서 TEAM5.RAW_DATA → TEAM5.ANALYTICS로 분석 데이터 생성
    • 최신 데이터 자동 반영을 위해 VIEW 활용

  5. 서비스 제공:

    • RDS → Django 웹 서비스
    • Snowflake → Preset 대시보드

Popular repositories Loading

  1. django django Public

    JavaScript

  2. airflow airflow Public

    Airline and Hotel Reservation Data Pipeline using Apache Airflow

    Python 2

  3. model-api model-api Public

    Python

  4. terraform terraform Public

    HCL

  5. .github .github Public

  6. aws-etc aws-etc Public

    Python

Repositories

Showing 6 of 6 repositories
  • terraform Public
    LifeIsTravel/terraform’s past year of commit activity
    HCL 0 0 0 0 Updated Jan 16, 2025
  • aws-etc Public
    LifeIsTravel/aws-etc’s past year of commit activity
    Python 0 0 0 0 Updated Jan 16, 2025
  • airflow Public

    Airline and Hotel Reservation Data Pipeline using Apache Airflow

    LifeIsTravel/airflow’s past year of commit activity
    Python 0 2 4 0 Updated Jan 16, 2025
  • django Public
    LifeIsTravel/django’s past year of commit activity
    JavaScript 0 0 1 0 Updated Jan 15, 2025
  • .github Public
    LifeIsTravel/.github’s past year of commit activity
    0 0 0 0 Updated Jan 13, 2025
  • model-api Public
    LifeIsTravel/model-api’s past year of commit activity
    Python 0 0 0 0 Updated Jan 13, 2025

Top languages

Loading…

Most used topics

Loading…