👀🎧 표정 인식 기반 노래 추천 서비스

프로젝트 멤버

표정 인식 기반 노래 추천 서비스 는 사용자의 얼굴 표정을 인식하여 감정을 분석한 후, 해당 감정에 맞는 노래를 추천해주는 웹 서비스입니다.

웹페이지를 통해 사용자의 얼굴 사진을 업로드하면, AWS Rekognition을 이용하여 표정을 분석합니다. 이후 GPT API를 활용해 감정에 맞는 노래를 추천하여 사용자의 기분에 맞는 음악을 즐길 수 있도록 도와줍니다.

주요 기능:

대부분의 음악 스트리밍 서비스는 청취 기록이나 사용자의 명시적인 선호도 입력에 의존합니다. 그러나 이러한 방식은 사용자의 현재 기분을 즉각적으로 반영하지 못할 수 있습니다.

표정 인식 기반 노래 추천 서비스는 사용자의 얼굴 표정을 분석하여 즉각적으로 감정을 파악하고, 이에 맞는 음악을 추천합니다. 이를 통해 보다 개인화된 음악 경험을 제공하고, 사용자의 감정 상태에 맞춰 음악을 선택하는 과정을 간소화할 수 있습니다.

상황 1: 직장에서 스트레스를 많이 받아 지친 상태 😠
- 결과: 시스템이 지친 표정을 감지하고, 안정을 주는 음악 또는 차분한 음악을 추천하여 사용자가 휴식을 취할 수 있도록 돕습니다.
상황 2: 시험에서 원하는 결과를 얻어서 기분이 좋은 상태 🥰
- 결과: 시스템이 기쁜 표정을 감지하고, 기쁘고 활기찬 노래를 추천해서, 기쁨이 오래 지속될 수 있게 돕습니다.
상황 3: 목표했던 회사에 들어가지 못해서 상실감을 느끼는 상태 😢
- 결과: 시스템이 슬픈 표정을 감지하고, 위로가 되는 음악 또는 기분을 전환할 수 있는 음악을 추천해서 슬픔을 빨리 극복할 수 있도록 도와줍니다.

Client가 service에 facial data(사진) 전송 및 결과 요청
- 사용자는 자신의 얼굴 사진을 service에 전송합니다.
Service는 전달 받은 facial data를 AWS Rekognition에 전송, 표정 분석 요청
- 서비스는 얼굴 데이터를 AWS Rekognition에 전달하여 표정을 분석합니다.
AWS Rekognition은 표정을 분석하여 결과 값을 service에 전달
- AWS Rekognition은 얼굴 데이터를 분석하여 표정 결과를 서비스에 반환합니다.
Service는 GPT API를 사용, 분석한 표정을 통해 GPT에게 노래 추천 질문 전달
- 서비스는 분석된 표정을 바탕으로 GPT API에 적절한 노래를 추천해 달라고 요청합니다.
GPT가 맞는 노래 추천 목록 전달
- GPT는 표정에 맞는 노래 목록을 서비스에 전달합니다.
표정 상태 및 노래 추천 목록 결과를 Client에 전달
- 서비스는 최종 추천 결과를 사용자에게 반환합니다.

Python 설치
프로그램 실행에 필요한 module 설치
- terminal에 아래 내용을 입력한다.
- pip install flask boto3 python-dotenv langchain-openai
/src 폴더 내, .env 파일 생성
AWS 및 Open AI 인증키 발급
AWS 인증키 발급 후, 권한 정책에서 'AmazonRekognitionFullAccess'를 허용해야 한다.
.env 파일 내용 추가

AWS_ACCESS_KEY_ID = {your AWS access key ID}
AWS_SECRET_ACCESS_KEY = {your AWS secret access key}
OPEN_API_KEY= {your Open AI API key}

사진에서의 감정을 인식한 결과와 이를 바탕으로 추천하는 노래 제목 및 가수, YouTube Link를 제공한다. 썸네일을 클릭할 경우, 유튜브로 바로 연결되는 기능도 제공한다.

표정 인식 기반 노래 추천 서비스는 다양한 분야에서 활용될 수 있습니다

이 외에도, 감정 인식 기술을 다양한 산업과 서비스에 접목하여 새로운 사용자 경험을 창출할 수 있습니다.

Name		Name	Last commit message	Last commit date
Latest commit History 9 Commits
presentation		presentation
src		src
.gitignore		.gitignore
README.md		README.md