[Monocular Camera 3D Hand] MediaPipe Hand 2.5D 좌표를 3D 좌표로 변경하는 법 (연구중)

들어가기

새로 받은 과제. 스마트폰의 단안 카메라(Monocular Camera)로 손의 3D 좌표를 구하라!

 

기존에 널리 쓰이는 MediaPipe를 활용하는 방법, 딥러닝 기반으로 3D 좌표를 추정하는 방법 2가지를 알아보자.

 

MediaPipe Hand의 문제

MediaPipe Hand의 3D 좌표는 사실 3D가 아니다. X, Y는 우리가 아는 좌표이지만, Z는 손목을 원점으로 하는 상대 좌표이다. 그래서 Z좌표가 음수가 나올 수도 있는 것이다!

https://github.com/google/mediapipe/issues/99

Handtracking with real 3D coordinate based on camera coordinate system? · Issue #99 · google/mediapipe

 

MediaPipe Hand의 자세한 설명.

https://github.com/google/mediapipe/issues/742#issuecomment-639104199

Hand tracking landmarks - Z value range · Issue #742 · google/mediapipe

 

 

해결법?

 

1. Unity ScreenToWorldPoint ?

 

2. 연구중

 

https://arxiv.org/abs/1804.09534

위 논문은 MediaPipe 2.5D 좌표를 카메라 파라미터에 따라 실제 3D좌표로 변환하는 것이다.

카메라 파라미터를 모두 가지고 있어야하는게 단점이지만, 시도는 해볼만 하다.

 

https://github.com/google/mediapipe/issues/1153

Is it possible to get distance from camera to the hand using the z values from hand landmark detector? · Issue #1153 · google/