표정 포착 및 합성 기술
· A Feature-Based Approach to Facial Expression Cloning
o 연구 개요
o 연구 결과 동영상
· An Example-Based Approach for Facial Expression Cloning
o 연구 개요
o 연구 결과 동영상
· An Example-Based Approach to Text-Driven Speech Animation with Emotional Expressions
o 연구 개요
o 연구 결과 동영상
· Expression interpolation
o 연구 개요
o 연구 결과 동영상
· Expression Capturing System
o 연구 개요
o 연구 결과 동영상
- Movie
Clip 1 : Blub Generation
- Movie Clip 2 : Head Motion Tracking
- Movie Clip 3 : Expression Capture
· 외곽선 모델과 머리 추적을 이용한 실시간 표정 포착
o 연구 개요
가상 캐릭터의 사실적인 애니메이션에 있어서 얼굴 표정 생성은 매우 중요하다. 얼굴 표정이 갖는 미묘함으로 인해 인터랙티브하게 표정을 만드는 것은 매우 어려운 일이다. 따라서, 가상 인물의 사실적인 표정 생성을 위해 비디오 카메라로 실제 연기자의 표정을 포착하여 가상 캐릭터에 매핑하는 표정 포착 기술이 널리 사용된다. 표정 포착은 입력 영상으로 부터 얼굴 특징점 축출과 머리 움직임을 추적한다. 입력 영상은 조명 조건이나 잡음에 대단히 민감하므로, 표정 포착에 안정성과 성능을 높이는 것은 매우 중요한 이슈가 된다. 본 연구는 특별한 장비없이 입력영상으로 부터 직접 얼굴 특징점과 머리 움직임을 추적함으로써 실시간에 얼굴 표정을 포착한다.
o 연구 결과 동영상
- Movie Clip 1 :
Input Images and Color Space Transformation (1Megabyte)
- Movie Clip 2 : Feature Curve Extraction (1Megabyte)
- Movie Clip 3 : Head Tracking (3.6Megabyte)
- Movie Clip 4 : Facial Expression Compensation
(1.3Megabyte)
- Movie Clip 5 : Final Results (0.6Megabyte)
- Movie Clip 6 : 블럽 생성
- Movie Clip 7 : 얼굴 움직임 포착
- Movie Clip 8 : 표정 포착
· 얼굴 표정 생성
얼굴 애니메이션 생성은 크게 두가지의 과정의 결합으로 볼 수 있다. 하나는 음성에 의해서 직접적으로 제어되는 입술의 움직임이고, 다른 하나는 음성과는 직접적인 연관이 없이 기쁨, 슬픔, 놀람, 화남등의 감정에 의해 좌우되는 얼굴 표정(Facial Expression)부분이다. 전자의 경우는 음성을 입력으로 하고 자동적으로 생성되어지는 부분이며, 후자의 경우는 사용자의 입력에 의존하여야 하기 때문에 서로 병렬적으로 처리하여 얼굴 애니메이션 생성부의 최종 단계에서 조합하여 사용할 수 있다.
o 음성에 의한 입모양 제어
§ 연구 개요
음성에 의해 입모양을 제어하는 과정은 다음과 같다. 먼저 입모양에 크게 영향을 미치는 음성 성분 ([a],[e],[i],[o],[u],...)들에 대해 기본적인 입모양을 정의한다. 이때 사용되는 음성 성분들에 대한 데이터 베이스는 사용자가 생성하여야 하며, 시스템은 입력되는 임의의 음성을 미리 생성해 놓은 데이터베이스에 따라 분류하여, 해당되는 기본 입모양에 대한 적절한 가중치들을 정하고 블렌딩하여 사용한다.
§ 연구 결과 동영상
- Movie Clip 1
: 긴 음성에서의 입모양 축출
- Movie Clip 2 : "안녕하세요"
- Movie Clip 3 : "저는 팡팡입니다"
- Movie Clip 4 : 앞모습
"아에이오우으어"
- Movie Clip 5 : 옆모습
"아에이오우으어"