陳炳宇Chen, Bing-Yu臺灣大學:資訊工程學研究所梁彧Liang, YuYuLiang2010-06-092018-07-052010-06-092018-07-052009U0001-2407200919372900http://ntur.lib.ntu.edu.tw//handle/246246/185424在本論文中,我們提出一個完整的系統來實作影片中的人臉置換功。我們的系統會接受兩個輸入影片,主要目的是把其中一個影片裡色的人臉置換成另一個影片中的人臉。我們的系統分成三個主要的驟,首先我們會找出影片中的人臉位置,而且在找到的人臉上標出要的臉部特徵,其次是分析影片中人臉的表情和角度方位並且選出適當的替換表情,最後我們把選到的替換表情貼上並且把顏色做適的混成。我們的系統不需要任何3D的模型資訊,是全自動並且可以生逼真的效果。In this paper, we present a complete system for plausible face replacementf videos. In our system, we take two videos as inputs. And we aim toeplace the target human subject’s face with another human subject’s in thether video. Our replacement algorithm has three main stages. First, givenn input video, we detect all faces that are present, and align such detectedaces. Second, we analyze facial expressions of each detected faces and selectandidate face images from source video that are most similar to the targetace in pose and expression. Third, we blend candidate replacements to targetideo. Our approach requires no 3D model, is fully automatic and generateslausible results.口試委員會審定書 i文摘要 iiibstract v Introduction 1 1.1 System Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.2 Chapter Organization . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 Related Work 5 2.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 Face Replacement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.3 Face Alignment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.4 Blending . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 Face Alignment 9 3.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3.2 Bayesian formulation to Shape Registration . . . . . . . . . . . . . . . . 9 3.2.1 Problem Formulation . . . . . . . . . . . . . . . . . . . . . . . . 9 3.2.2 Prior Model in BTSM . . . . . . . . . . . . . . . . . . . . . . . 10 3.2.3 Likelihood Model in BTSM . . . . . . . . . . . . . . . . . . . . 11 3.2.4 Posterior in BTSM . . . . . . . . . . . . . . . . . . . . . . . . . 11 3.3 EM Based Parameter Estimation in BTSM . . . . . . . . . . . . . . . . . 12 3.3.1 Expectation Step . . . . . . . . . . . . . . . . . . . . . . . . . . 12 3.3.2 Maximization Step . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.4 Extensions to the BTSM . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.4.1 2D Profiles . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.4.2 Adding Virtual Shapes . . . . . . . . . . . . . . . . . . . . . . . 14 3.5 Experiment . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 3.6 Face Alignment in Video . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3.6.1 Bilateral Filtering . . . . . . . . . . . . . . . . . . . . . . . . . . 15 Temporal Segmentation And Shape Based Selection 19 4.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 4.2 Clustering . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 4.2.1 Hierarchical Clustering . . . . . . . . . . . . . . . . . . . . . . . 20 4.2.2 Mahalanobis Distance Metric . . . . . . . . . . . . . . . . . . . 20 4.2.3 Dendrogram . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 vii 4.2.4 Number of Clusters . . . . . . . . . . . . . . . . . . . . . . . . . 22 4.3 Shape Based Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 4.3.1 Difference Vector . . . . . . . . . . . . . . . . . . . . . . . . . . 23 4.3.2 Selection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 4.4 Warping Expressions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 4.4.1 Interpolation Between Clusters . . . . . . . . . . . . . . . . . . . 24 4.4.2 Warping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 Blending 27 5.1 Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 5.2 Seamlessly Cloning . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 5.2.1 Rationale . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 5.2.2 Mean Value Coordinate . . . . . . . . . . . . . . . . . . . . . . . 28 5.2.3 Face Concealment . . . . . . . . . . . . . . . . . . . . . . . . . 29 5.2.4 Replacement Region . . . . . . . . . . . . . . . . . . . . . . . . 30 5.2.5 Boundary Selection . . . . . . . . . . . . . . . . . . . . . . . . . 31 5.2.6 Mean Value Video Cloning . . . . . . . . . . . . . . . . . . . . . 33 Conclusion 35ibliography 3910092057 bytesapplication/pdfen-US人臉置換影像繪圖計算攝影學Face ReplacementImage-Based RenderingComputational Photographythesishttp://ntur.lib.ntu.edu.tw/bitstream/246246/185424/1/ntu-98-R96922034-1.pdf