[Research] Openpose 이용 가능성 분석

[oMFDOo]

Openpose를 이용해 70개의 데이터 중 51개의 데이터만 사용해서 피팅한다면,
3DMM 계수와의 연결이 용이할 것이라고 KETI에서 제언해주셨다.

해당 Openpose를 이용해 획득 가능한 값을 분석하고 3DMM으로 어떻게 변화를 줄 것인지 분석한다.

[oMFDOo]

OpenPose의 필요성

모델 구동과 3D 모델 생성 필요 데이터는 아래와 같다.

• 인물 이미지, 3DMM(얼굴 형상 계수, 표정 계수, 크기, 포즈), 랜드마크(68 개)

인물 이미지를 사용자가 제공한다면, 3DMM 값과 랜드마크 값의 생성이 필요해진다.
이러한 랜드마크 값은 OpenPose 혹은 MediaPipe를 이용해 획득가능하다.

OpenPose를 이용한다면 전신에 대한 정보를 획득할 수 있고,
MediaPipe를 이용한다면 얼굴에 한정적인 정보를 획득할 수 있다.

목표상 얼굴에 대해서만 생성 후, 몸은 metahuman을 이용할 것이기에
MediaPipe로도 적절하나, KETI에서 추천받았으며 더욱 많은 정보를 제공받을 수 있는 OpenPose를 우선적으로 이용해보고자 한다.

이렇게 획득한 랜드마크 정보들을 이용하여 3DMM 피팅이 필요한데,
이는 새로운 이슈를 생성해 랜드마크 추출과 동시에 더 연구해볼 생각이다.

[oMFDOo]

상업적 이용 불가로 2차 대안으로 보류됨