청각장애인을 위한 구어 학습 서비스
청각 장애인들이 실생활에서 자주 쓰이는 문장을 중심으로 구어를 학습할 수 있는 서비스 입니다.
LipRead는 AI를 통해 제작된 대화 영상을 통해 청각장애인들의 독화 훈련과 청능 훈련을 도와 다양한 상황에서 의사소통을 원활히 할 수 있도록 도움을 주고자 합니다.
LipRead PPT (https://github.com/sookmyung-graduation-project-2023/Server/blob/main/PPT.md)
2023.11.2 ~ 2024.03.19
Yun JaeEun : Back-end Developer
Lee YuJin : Front-end Developer
LipRead는 기본적으로 REST API를 통해 클라이언트와 통신합니다. Python 또는 Node.js로 구현된 Lambda를 통해 전반적인 CRUD를 수행합니다.
영상 생성 시 Lambda는 chat GPT를 통해 대화 텍스트를 생성하고 이를 EC2에 전송합니다. EC2는 OpenAI TTS를 통해 음성을 생성하고 DINet을 통해 대화 영상을 생성하며 이를 dynamoDB와 S3에 반영합니다.
클라이언트는 CloudFront를 통해 S3에 저장된 영상을 스트리밍하며, Websocket API와 DynamoDB Stream을 통해 EC2의 영상 생성 진행 상황을 실시간으로 확인합니다.
Server 설명 (https://github.com/sookmyung-graduation-project-2023/Server/blob/main/README.md)
- EC2
- 인스턴스 유형: g4dn.xlarge
- OS: ubuntu 20.04
- Framework: FastAPI
- Model: DINet
- Github: (https://github.com/MRzzm/DINet)
Chat Roleplay- API를 통해 전송된 대화 텍스트와 Open AI의 TTS를 활용해 음성 파일을 생성합니다. 그 후 DINet을 통해 영상을 생성하고 생성된 영상을 S3에 저장합니다.
모든 대화 영상이 생성되면 클라이언트의 디바이스로 알림을 전송합니다.
