[논문 리뷰] Eulerian Video Magnification for Revealing Subtle Changes in the World

제목: Eulerian Video Magnification for Revealing Subtle Changes in the World
저자: Hao-Yu Wu et al. / MIT CSAIL
SIGGRAPH 2012
ACM Trans. Graph.

 

Motion Magnification이란?

 

Subtle Change Magnification이라고도 한다. 인간의 눈으로 볼 수 없는 미세한 변화를 증폭시키는 것이 목표이다.

 

이 논문의 구조는 다음과 같다.

1. 오일러 시공간 처리로 비디오 시퀀스 처리
2. 시간적 필터링과 공간적 움직임 사이의 연관성 분석
3. 증폭

 

• 이 논문에서 제시한 핵심 개념은 다음과 같다.
• 비디오 시퀀스를 서로 다른  공간 주파수 대역으로 분해하고 모든 대역에 동일한 시간 필터를 적용한다.
• 그런 다음 필터링된 공간 대역을 주어진 계수 α만큼 증폭 원래 신호에 다시 더한 다음 축소하여 출력 비디오를 생성한다.
• 시간 필터와 증폭 계수를 용도에 맞게 조정한다.
• 논문에서 사용한 예시: "이 시스템을 사용하여 사진 연사 중 거울이 뒤집히는 현상(카메라, 전체 시퀀스는 보충 동영상에서 확인할 수 있음)으로 인해 디지털 SLR 카메라의 보이지 않는 움직임을 드러냅니다."

시공간 비디오 처리

• 비디오 시퀀스를 서로 다른 공간 주파수 대역으로 분리
  • 관심있는 주파수 대역의 변화 측정
  • 라플라시안 피라미드로 윤곽선 추출
• 특정 주파수 대역의 시간적 변화 분석, 증폭할 신호 측정
  • 예시) 심장박동: 24 ~ 240 m/s

 

 

 

증폭

Temporal filter(시간 필터)는 시간에 따라 변화하는 신호를 처리하는 데 사용되는 필터입니다. 이 필터는 주로 디지털 신호 처리, 영상 처리, 음성 처리 등 다양한 분야에서 활용됩니다.

대역 통과 필터 (Bandpass filter)

특정 주파수 범위의 변화만을 선택적으로 증폭합니다.

예를 들어, 심장 박동이나 호흡과 같은 생리학적 신호를 증폭하는 데 사용됩니다.

원하는 주파수 대역을 제외한 노이즈를 제거하는 데 효과적입니다.

저역 통과 필터 (Low-pass filter):

낮은 주파수의 변화만을 통과시키고 증폭합니다.

천천히 변화하는 움직임이나 색상 변화를 강조하는 데 사용됩니다.

 

증폭 과정

 

 

활용 방안

 

될지는 잘 모르겠음