陳志宏臺灣大學：電機工程學研究所林萬魁Lin, Wan-KueiWan-KueiLin2007-11-262018-07-062007-11-262018-07-062004http://ntur.lib.ntu.edu.tw//handle/246246/53513摘 要 關鍵字：人機介面、視訊滑鼠、人臉偵測、頭部運動 人機介面的發展已經有相當長久的歷史，目前市場最主流的人機介面即為滑鼠、鍵盤、搖桿……等手動式人機介面。早期研究者所研發的非手動式人機介面，大多必須在使用者身上穿戴一些特殊配件，在長期使用之下將會導致使用者的疲勞和不舒服；甚或有些對於電腦系統的負擔相當沈重，無法在較低階的電腦上使用，因此真正實用上的價值並不高。 本論文的目的是建構一套以數位訊號處理器 (Digital Signal Processor)為平台的視訊滑鼠系統，用來取代以往傳統的滑鼠和搖桿。本研究首先利用撰寫Matlab軟體驗證膚色偵測、嘴唇偵測等人臉偵測演算法，之後透過攝影機拍攝使用者的頭部視訊影像，並將軟體撰寫至DSP內以進行人臉偵測分析，藉以擷取出使用者視訊影像中之頭部範圍，在頭部範圍中再擷取判斷出嘴唇位置，最後透過嘴唇位置的移動來判斷滑鼠游標的動作。因為本研究以數位訊號處理器為建構平台，不但不會影響到電腦的執行效能，同時也不需要在使用者身上配戴任何設備。 目前本研究已經可以成功利用使用者的頭部運動去控制滑鼠游標的動作，並可令使用者正常應用於瀏覽網際網路、多媒體應用、甚或是電腦遊戲控制等動作。本系統捨棄了以往傳統呆板的手動控制人機介面，透過使用者最原始的肢體語言，輕鬆地和電腦進行溝通，達成所謂「互動式」人機介面的理想。Abstract Keywords: Man-machine interface, Camera Mouse, Face detection, Head motion Man-machine interface has been developed for a long time. At present, the main streams of man-machine interface products on the market are manual devices, such as mice, keyboards, and joysticks. The man-machine interfaces developed before are not friendly due to the bulky devices they put on user’s body. When users wield them for a long time, they may feel tired or uncomfortable. Moreover, some interfaces may cause additional loading on computers, so we can’t use them on low-level computers. In this thesis we constructed a DSP (Digital Signal Processor) based camera mouse system in addition to the traditional manual interfaces – mice and joysticks. The face detection algorithms including skin detection and lips detection were verified by MATLAB. During the operation video of user’s head was captured and analyzed by face detection algorithms embedded on DSP to detect human face and lips, and then the mouse cursor was controlled by lips motion. Because this system is constructed by DSP, execution performance of computers will not be affected, and no device has to be worn on user’s body. The above system can be successfully applied to some general operations, such as surfing the internet, watching multi-media programs, and playing PC games. This system has forsaken traditional mechanical manual man-machine interface, and enabled users to communicate with computers with their natural body language.目錄 誌謝 中文摘要 英文摘要 目錄 第一章 緒論 ………………………………………………………1 1.1 研究背景 ……………………………………………1 1.2 研究動機 ……………………………………………3 1.3 論文架構 ……………………………………………4 第二章 論文相關研究 ……………………………………………6 2.1 電腦人機介面相關研究 ……………………………6 2.2 人臉偵測相關研究 …………………………………10 第三章 原理與方法 ………………………………………………14 3.1 視訊滑鼠系統演算法簡介 …………………………14 3.2 使用者人臉偵測 ……………………………………16 3.2.1 YCrCb色彩空間模型 ………………………16 3.2.2 頭部偵測 ……………………………………20 3.2.3 區域成長 …………………………………….22 3.2.4 臉部特徵擷取 ……………………………….23 3.2.5 軟體運算結果 ………………………………24 3.3 滑鼠動作控制策略 …………………………………29 第四章 實驗方法、結果與分析討論 ……………………………32 4.1 實驗方法 ……………………………………………32 4.2 系統硬體平台架構 …………………………………34 4.2.1 系統方塊圖…………………………………34 4.2.2 硬體發展環境………………………………36 4.2.3 程式發展工具………………………………40 4.3 DSP實作結果 ………………………………………45 4.4 討論 …………………………………………………59 4.4.1 軟體演算法之討論…………………………60 4.4.2 硬體部分之討論……………………………60 4.4.3 系統使用情況之討論………………………63 第五章 結論及未來研究目標 ……………………………………64 5.1 結論 …………………………………………………64 5.2 未來研究目標 ………………………………………65 參考文獻 ………………………………………………………………69en-US視訊滑鼠人機介面頭部運動人臉偵測Camera MouseHead motionMan-machine interfaceFace detectionthesis