https://scholars.lib.ntu.edu.tw/handle/123456789/124555
標題: | 在互動顯示上使用捲積網路的視線偵測 Gaze Detection Using Convolutional Neural Network for Interactive Displays |
作者: | 陳昱廷 Chen, Yu-Ting |
關鍵字: | 視線偵測;捲積神經網路;互動顯示裝置;電腦視覺;人機互動;Gaze Detection;Convolutional Neural Network;Interactive Displays;Computer Vision;Human Computer Interaction | 公開日期: | 2015 | 摘要: | 現今出現了許多互動顯示裝置,像 Google Glass、 Oculus、 Samsung TV 等。而對於大型的互動顯示系統,基於視線的互動方式是一種有效率和方便的方法。然而,大部分的視線偵測系統會需要侵入式光線、頭戴式裝置或固定的頭部位置。 在這份論文中,我們展示了一種只需要 RGB-D 相機和高解析度相機的視線偵測方法。方法的重點在於使用最新的機械學習技術—捲積神經網路。我們將比較三種方法在兩種著名的網路模型的準確度。 為了收集實驗數據,我們設計了一個互動牆實驗。最後的結果顯示我們的方法在 36 個方向的視線偵測上可以達到 80% 的成功率。然而,RGB-D 資料對準確度並無貢獻。即使如此,我們的依舊有良好的準確度。 Many new interactive display devices appear recently, like Google Glass, Oculus, Samsung TV and so on. For large interactive display, like a wall, gaze-based interaction can be more effective and convenient. However, many gaze detection system need intrusive light, wearable devices or fixed head pose. In this paper, our goal is to study if head pose information can be useful for gaze detection. We propose a method which uses RGB-D camera for head pose detection and high esolution camera for gaze detection. The main idea is applying the new technology named Convolutional Neural Network (CNN) as the training process. We compared accuracy of gaze detection for interactive display between two well-known models of CNN with three approaches. We held an experiment on an interactive wall to collect data for our approach. The result shows our system can have more than 80% accuracy for 36 labels gaze detection. The head pose information provided no significant improvement. Even then, our approach still has good accuracy. |
URI: | http://ntur.lib.ntu.edu.tw//handle/246246/275997 | Rights: | 論文公開時間: 2018/8/16 論文使用權限: 同意有償授權(權利金給回饋學校) |
顯示於: | 資訊網路與多媒體研究所 |
檔案 | 描述 | 大小 | 格式 | |
---|---|---|---|---|
ntu-104-R02944014-1.pdf | 23.32 kB | Adobe PDF | 檢視/開啟 |
在 IR 系統中的文件,除了特別指名其著作權條款之外,均受到著作權保護,並且保留所有的權利。