許永真臺灣大學：資訊工程學研究所張琮翔Chang, Tsung-HsiangTsung-HsiangChang2007-11-262018-07-052007-11-262018-07-052007http://ntur.lib.ntu.edu.tw//handle/246246/54030隨著數位攝影技術和網際網路的發達,多媒體資料的數量已經呈現爆炸性的成 長。 然而,多媒體內容的搜尋技術一直還是個很大的挑戰。 透過圖片上的語意 標註 (Semantic annotation), 雖然能幫助電腦更容易搜尋到特定資料, 但不幸的 是,全自動的圖片標註仍然是個難題, 而透過人工手動標註的過程則是太過沉悶 及費時。 在這篇論文中,我們利用人力計算 (Human Computation) 的概念設計了 一個多人線上遊戲 PhotoSlap 來標註大量的數位照片。 PhotoSlap 提供了一個讓人熱衷的互動遊戲環境, 並同時利用人類能夠快速分辨兩張照片是否是相同的人的能力來完成照片標註。 此論文延伸了 Human Computation 的研究, 提出具有生產力的遊戲(Productiv- ity Game)之概念, 以及一個一般化的遊戲性設計法則和一個量化的評估方法。 透 過焦點團體 (focus group) 而得出的實驗結果顯示, 藉由心流法則 (Flow Principle) 和戲劇性法則 (Dramatic Principle), PhotoSlap 能夠使玩家熱衷於遊戲當中, 並且 能保證一定的生產力; 以及 PhotoSlap 能有效率的將一批照片標記上人的後設資 料(metadata), 使得電腦能夠更為精準的搜尋數位照片。Multimedia content presents special challenges for the search engines. Although the search engines could benefit from semantic annotation of images, unfortunately, neither manual labeling nor automatic annotation is effective. Manual labeling is too tedious and time-consuming for humans, whereas automatic image annotation is too difficult for the computers. In this thesis, we explore the power of human computationby designing a multi-player online game, PhotoSlap, to achieve the task of annotating metadata for a collection of digital photos. PhotoSlap engages users in an interactive game that capitalizes on human ability in deciphering quickly whether the same person shows up in two consecutive images presented by the computer. This research extends human computation research toproductivity gamesin two aspects: general gameplay designing principles and quantitative evaluation metrics. In particular, PhotoSlap can be shown to keep players engaged and ensure the productivity by adopting the flow principle and the dramatic principle. A experiment has been conducted to demonstrate the game to be fun and effective in annotating people metadata for photo collections. Moreover, a second experiment has been conducted to show two gameplay designing principles to be effective in productivity games.Acknowledgments i Abstract iii List of Figures ix Chapter1 Introduction 1 1.1 Motivation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 Objectives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.3 Thesis Structure. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 Chapter2 Related Work 5 2.1 Photo Annotation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.1.1 Riya. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.1.2 LabelMe . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.2 Game Design . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.3 Human Computation . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.1 The ESPGame . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 2.3.2 Peekaboom. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 Chapter3 Semantic Annotation With AProductivity Game 12 3.1 Problem Definition . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 3.2 Proposed Solution. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 3.2.1 Productivity Games. . . . . . . . . . . . . . . . . . . . . . . . . 14 3.2.2 PhotoSlap Annotation System. . . . . . . . . . . . . . . . . . . 15 Chapter4 Gameplay Design and Analysis 18 4.1 Game Rules of PhotoSlap. . . . . . . . . . . . . . . . . . . . . . . . . . 18 4.1.1 Game Actions. . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 4.1.2 Scoring Mechanism . . . . . . . . . . . . . . . . . . . . . . . . 20 4.2 The Measurement of Productivity . . . . . . . . . . . . . . . . . . . . . 20 4.3 Principles For Productivity Game Design . . . . . . . . . . . . . . . . . 21 4.3.1 Flow Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 4.3.2 Dramatic Principle . . . . . . . . . . . . . . . . . . . . . . . . . 22 4.3.3 General Design Procedure . . . . . . . . . . . . . . . . . . . . . 25 Chapter5 Implementation and Evaluation 26 5.1 Implementation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 5.1.1 System Overview. . . . . . . . . . . . . . . . . . . . . . . . . . 26 5.1.2 PhotoSlap Annotation System. . . . . . . . . . . . . . . . . . . 27 5.1.3 PhotoSlap. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28 5.1.4 Competitor Matching. . . . . . . . . . . . . . . . . . . . . . . . 29 5.1.5 Playing With Bots . . . . . . . . . . . . . . . . . . . . . . . . . 30 5.2 Evaluation. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 5.2.1 Productivity Evaluation . . . . . . . . . . . . . . . . . . . . . . 31 5.2.2 User Study on Fun . . . . . . . . . . . . . . . . . . . . . . . . . 31 5.2.3 Gameplay Evaluation. . . . . . . . . . . . . . . . . . . . . . . . 32 Chapter6 Conclusion 35 6.1 Summary of Contributions . . . . . . . . . . . . . . . . . . . . . . . . . 36 6.2 Future Work. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36 Bibliography 385803744 bytesapplication/pdfen-US人機協力計算遊戲設計遊戲性照片標註人像辨識Human computationgame designgameplayphoto annotationface recognitionthesishttp://ntur.lib.ntu.edu.tw/bitstream/246246/54030/1/ntu-96-R94922034-1.pdf