MindStage는 VR 면접과 AI 평가를 결합한 몰입형 인터뷰 훈련 서비스입니다. 실제 채용 환경을 재현한 VR 씬과 실시간 AI 코치가 질문 생성, 음성 분석, 피드백 리포트를 담당합니다.
- 실감형 훈련: VR 공간에서 실제 면접관과 마주하는 듯한 경험 제공
- 맞춤형 질문: JD·자소서·대화 이력을 조합해 GPT-4o-mini가 후속 질문 생성
- 정량 평가: KoBERT 감정·의도 분석, 음성·행동 데이터를 리포트로 시각화
- 간편 검증: 모든 파일 입출력을 presigned URL로 처리해 개발·운영 부담 최소화
- 면접 관리: 면접 생성, 꼬리 질문, 종료 후 리포트 요청까지 한 번에 처리
- 자소서·채용공고 관리: VR 면접과 연동되는 직무/이력 컨텍스트 저장
- AI 질문/리포트: GPT-4o-mini 기반 질문 생성, STT/TTS, 최종 보고서 작성
- 감정·의도 분석: KoBERT INT8 모델로 역량 점수 산출 및 대화 톤 파악
- 생체 정보: 심박수·워치 데이터를 수집해 긴장도 추세 확인
- VR 씬 구성: 면접실, 프레젠테이션 룸 등 상황별 씬을 제공하며 사용자 위치·시선을 기반으로 HUD를 제어합니다.
- 컨트롤 인터페이스: 질문 재생, 답변 녹음, 심박수 확인을 VR 컨트롤러 제스처로 통합했습니다.
- 실시간 피드백: AI가 감지한 감정/의도를 VR 패널에 시각화하여 즉각적인 코칭을 제공합니다.
- 녹화/리뷰: 면접 세션을 영상·오디오로 저장해 차후 리플레이 기능과 연계할 수 있습니다.
- Spring Boot 백엔드
- 인증/인가, 면접·리포트 도메인 로직, 자소서/채용공고/워치 모듈
- MySQL, Redis, MongoDB, AWS S3 연동
- FastAPI 연동 전용 WebClient로 AI 모듈 호출
- FastAPI AI 서버
- STT(GMS Whisper), LangChain+GPT-4o-mini 질문 생성, KoBERT 감정/의도, TTS, OCR 모듈화
- 비동기 구조와 글로벌 캐시로 API 지연을 관리하고 테스트 모드를 제공합니다.
- Unity 클라이언트
- 하이브리드 UI 시스템: 데스크탑 스타일의 uGUI와 VR 전용 XR UI를 병행하여, 텍스트 입력이 많은 화면(로그인, 자소서 등)에서는 키보드/마우스 조작을 권장하는 UX를 제공합니다.
- 이중 입력 체계 (Input System): 상황에 따라 Desktop과 XR 액션 맵을 전환하며, 포커스 스왑 충돌을 방지합니다.
- 사실적 아바타: MetaHuman 파이프라인을 통해 고품질 면접관 캐릭터를 구현하고, 사용자의 HMD 위치를 추적하는 Look-At/Gaze IK를 적용하여 눈맞춤과 자연스러운 상호작용을 유도합니다.
- 정밀 립싱크 (Lip-Sync): OVRLipSync를 활용하여 15가지 Viseme(입모양)을 실시간으로 블렌딩하며, 스무딩 알고리즘을 통해 자연스러운 발화 애니메이션을 처리합니다.
- Galaxy Watch 하드웨어 연동
- 다이렉트 스트리밍: Unity 클라이언트를 거치지 않고, 워치 앱이 백엔드로 심박(HR) 데이터를 직접 전송하는 구조를 채택하여 지연을 최소화했습니다.
- 페어링 UX: 워치 앱 uuid를 통해 VR 기기와 워치를 바인딩하며, 연결 상태(연결됨/미연결)를 VR 내 설정 패널에서 실시간으로 확인 가능합니다.
- STT: presigned URL에서 음성을 다운로드해 GMS Whisper로 텍스트 변환 (테스트 스텁 지원)
- 대화 컨텍스트 구성: JD OCR, 이력서, 과거 QnA를 Merge하여 LangChain 프롬프트 생성
- 질문 생성: GPT-4o-mini가 면접관 타입(엄격/친화)을 분류하고 맞춤 질문을 반환
- 감정·의도 분석: KoBERT INT8 모델이 문장별 감정, 답변별 역량 레이블을 산출
- TTS: 질문 텍스트를 GMS TTS로 음성화해 S3에 업로드, VR 씬에서 즉시 재생
- 리포트 작성: 모든 점수·감정·QnA 기록을 기반으로 450-500자 피드백 생성
| 멤버 | 역할 |
|---|---|
| 🔵 한재성 | • VR & Unity 기능 전반 개발 • VR 씬 구성·상호작용 로직 구현 • Unity–백엔드 API 연동 |
| 🟢 강창민 | • 백엔드 기능 개발 • 인증·보안, 토큰 기반 인증 흐름 구축 • 데이터 모델링 및 관리 • 인프라 구축·배포 환경 구성 |
| 🟣 김규빈 | • VR 환경 구성 총괄 • Blendshape 제작 및 리타겟팅 • 메타휴먼/외부 모델 애니메이션 적용 • VR UX 요소 개선(시선·표정·반응) |
| 🔴 송영재 | • AI 모델 파이프라인 구축 • STT/TTS 개발 및 품질 튜닝 • 질문 생성 모델 개발 • 감정·의도 분석 및 리포트 파이프라인 설계 |
| 🟠 오승훈 | • AI 모델 연구 및 적용 • 음성 전처리·STT/TTS 보조 • 감정·의도 분석 고도화 • 질문 생성 및 AI 리포트 파트 |
| 🟡 진효창 | • 백엔드 기능 개발 • 스마트워치 연동(심박·생체 데이터 수집) • 실시간 데이터 수집/전송 API 개발 |