[Research] FLAME_PyTorch 실행 환경 구성

[oMFDOo]

FLAME_PyTorch 구동 및 분석

: FLAME(Face Lightweight Model)은 인체의 얼굴 부분을 고해상도로 표현하는 모델로, FLAME_PyTorch는 3D 얼굴 모델링 및 재구성을 위한 PyTorch 기반의 구현체이다.

주요 특징

1. 3D 얼굴 모델 생성

   • FLAME은 얼굴 표정을 묘사하는 매개변수화된 모델
   • 얼굴의 기하학적 형상을 shape, expression,pose로 나누어 제어

2. 가벼운 모델

   • 고해상도 표현이 가능하면서도 경량화된 구조를 유지해, 다양한 애플리케이션에서 실시간 처리에 적합

3. PyTorch 친화적

   • PyTorch를 사용해 빠른 모델 학습과 최적화를 지원
   • GPU 가속을 통해 빠른 처리 속도를 제공

4. 유연한 확장

   • FLAME은 기존 3D 모델링 도구(SMPL, SMPL-X)와 쉽게 통합될 수 있으며, 얼굴 재구성 및 애니메이션 데이터의 파이프라인 작업에도 활용 가능

---

주요 구성 요소

1. FLAME 모델 파일

   • FLAME 모델을 사용하려면 미리 학습된 FLAME 모델 파일(.pkl)이 필요
   • 해당 파일은 모델의 기본 구조와 학습된 매개변수를 포함

2. 모듈 구조

   • flame.py: FLAME의 주요 모델 정의
   • config.py: 모델 설정 및 기본 구성 관리
   • __init__.py: 모듈 초기화

3. Dependencies
   FLAME_PyTorch는 다음 라이브러리를 활용합니다:

   • PyTorch: 딥러닝 프레임워크
   • NumPy: 수학 연산과 배열 관리
   • SMPL-X: 3D 인체 모델 라이브러리
   • Trimesh: 3D 기하학 연산

---

참고 자료

• FLAME 논문
• 참고로 안 들어가져서 슬픔

[oMFDOo]

(1) 가상환경 설정

conda create -n FLAME_PyTorch python=3.8
conda activate FLAME_PyTorch

• 공식 문서에서는 3.7을 이용한다고 했으나, 실제 3.7 이용시 버전이 낮다는 오류가 뜰 것임
• 이는 꽤 오래된 문제 인 듯 함
  FLAME_PyTorch

(2) 코드 데려오기

git clone https://github.com/soubhiksanyal/FLAME_PyTorch.git
cd FLAME_PyTorch/

(3) 의존성 설치

pip install .

• 의존성 오류 파티지만 일단 설치 완료

[oMFDOo]

(3) 모델 다운로드

mkdir model

• 이 곳에서 FLAME 2023받아 압축을 풀어 flame2023.pkl파일을 generic_model.pkl으로 이름을 바꾸어 /model경로에 넣었다.
  
• 또한, 이 곳에서 3개를 모두 다운받아 /model경로에 넣었다.

완료 시 파일 구성

: temp는 정말 내가 임시로 잠시 넣을 모델들 갖다놓은 것이기에 무시해도 좋다.