吳家麟臺灣大學：資訊工程學研究所汪家偉Wang, Chia-WeiChia-WeiWang2007-11-262018-07-052007-11-262018-07-052006http://ntur.lib.ntu.edu.tw//handle/246246/54069由於資訊科技技術的快速發展，使用者往往希望能夠透過網路直接瀏覽或存取大量的影片。在這篇論文當中，我們發展出了一套能夠偵測出電影敘事結構的系統。我們的目標是利用電影的製作原理以及拍攝手法進而將電影做結構化分析。這是透過將影片中的視覺上以及聽覺上的元素結合戲劇上這些元素使用的原則來達成的。在偵測出這些元素之後，我們發展了一套美學的模組來把這些美學元素結合起來進而計算出整部電影的美學強度結構；而這個美學強度結構和電影的敘事結構是相輔相成的。最後，我們針對許多不同種類的電影做了實驗以測試我們系統的效能。實驗結果顯示出我們的系統是有效用並且重要的。With rapid advances in the information technology, user's direct access to a huge amount of videos on the Internet is desired and often required. In this thesis, we propose a method to perform high-level narrative structure extraction of films. Our objective is to utilize the knowledge of film production to analyze and extract the structure of films. This is achieved by combining visual and aural cues with cinematic principles. An aesthetic model is developed to integrate the visual and aural cues (aesthetic fields) to evaluate the aesthetic intensity curve that is associated with the narrative structure. Finally, we conduct experiments on different genres of films. Experimental results demonstrate the effectiveness and significance of our approach.1 Introduction : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 1 1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Related Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 1.3 Film Narrative Exploration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 1.3.1 The Narrative Structure of Film . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 1.3.2 The Relation between Story Intensity and Expressive Elements . . . . . . . . . . . 8 1.3.3 Expressive Elements Extraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 1.4 Thesis Structure . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2 Proposed Approach : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 13 2.1 System Overview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 2.2 Shot Detection and Key Frame Extraction . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 2.2.1 Shot Detection . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 2.2.2 Key Frame Extraction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 3 Aesthetic Field Extraction : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 18 3.1 Light . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 3.2 Color . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23 3.2.1 Hue . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24 3.2.2 Brightness and Saturation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.2.3 Contrast . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.3 Movement . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27 3.3.1 Object Motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 3.3.2 Camera Motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 3.4 Sound . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.5 Rhythm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.5.1 Shot Length . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 3.5.2 Motion Activity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33 3.5.3 Audio Energy Peak . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34 4 Aesthetic Modeling : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 35 4.1 Smoothness . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 4.2 Comparability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.3 Aesthetic Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 5 Experiment and Applications : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 42 5.1 Experiments . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 5.1.1 Data Set . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 5.1.2 Story Unit Segmentation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 5.1.3 Evaluation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 5.1.4 Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 5.1.5 Importance of Aesthetic Fields . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 5.1.6 Importance of Parameters . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55 5.2 Applications . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 5.2.1 Trailer . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56 5.2.2 Preview . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 5.2.3 Table of Content . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 6 Conclusion and Future Work : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 73 6.1 Conclusion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 6.2 Future Work . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 References : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 753163642 bytesapplication/pdfen-US美學元素敘事結構expressive elementsnarrative structureaesthetic fieldsthesishttp://ntur.lib.ntu.edu.tw/bitstream/246246/54069/1/ntu-95-R93922036-1.pdf