周瑞仁臺灣大學：生物產業機電工程學研究所吳俊翰Wu, Chun-HanChun-HanWu2007-11-262018-07-102007-11-262018-07-102007http://ntur.lib.ntu.edu.tw//handle/246246/52881本研究發展一套舞台自動追蹤燈系統，提出強健而即時的追蹤演算法，並改善目前使用超音波技術昂貴與應用上諸多限制等缺點，具有經濟、節省人力、易於架設和操作之優點。系統分為影像擷取、追蹤與追蹤燈三部份。首先以機器視覺系統擷取彩色影像，操作者以滑鼠框選目標演員上下半身，接著以個人電腦進行影像處理與分析，得到演員運動資訊。追蹤階段則結合二種演算法，為本研究最重要的部份：上下半身各設計一組互鎖雙特徵均值移動演算法，與傳統均值移動(mean shift)演算法相較，多考慮了上下半身連鎖距離之特徵；另一重點為動態更新卡爾曼濾波器，將均值移動演算法計算得知的位置、速度與加速度狀態向量送入卡爾曼濾波器進行預測，考慮系統模型誤差與量測模型誤差，即時更新系統雜訊共變異矩陣與量測雜訊共變異矩陣，達到更佳的預測效果，同時以當時的預測位置作為均值移動演算法新的搜尋起點，並根據預測速度調整搜尋視窗大小。最後將預測資訊送至追蹤燈部份，經由步進馬達轉動以控制燈光照射在演員身上。實驗結果證實，若使用傳統單特徵均值移動演算法，當二位演員之某半身顏色相同且交錯時往往造成追蹤失敗，但以互鎖雙特徵均值移動演算法則可克服追蹤失敗的情形。追蹤之速度可達111.3像素/秒，可因應各種舞台表演之移動速度，符合即時運算之優點；即時更新卡爾曼濾波器動態地更新系統雜訊共變異矩陣與量測雜訊共變異矩陣，可大幅提升追蹤成功率，使卡爾曼濾波器的預測更為強健。本研究所提出之影像追蹤演算法具有強健而即時之優點，能識別、預測與追蹤舞台演員，可應用於真實舞台上的表演。An automated followspot tracking system with a robust and real-time tracking algorithm was developed. The proposed image tracking algorithm has two advantages: robustness and real-time processing. Our approach is divided into three parts: image acquisition, tracking, and spot following. In the beginning, image sequences are captured by a machine vision system. Operators select the upper body and the lower body of an actor to be tracked. The actor’s movement information is extracted through a series of image processings and then sent to the tracking part. There are two most important methods in our tracking algorithm. The first method is the interlocked dual-feature mean shift which considers both color and spatial difference features. We adopt this method because failure occurs when we use the mean shift approach with only one single feature, which considers only color feature, if the actor passes by another actor in the same color of his half body. However, the interlocked dual-feature mean shift could overcome the shortcoming. The second method is the updated Kalman filters which estimate system noise and measurement noise, and then update the corresponding parameters. The estimated states consist of position, velocity and acceleration of the actor. The estimated position is sent not only to the followspot controller for lighting but also back to the interlocked dual-feature mean shift for updating the centers of searching regions in the next sampling time. Also, the estimated velocity is employed to adjust dynamically the searching region. Results show that the approach with the updated Kalman filter is more robust than the non-updated one because the rate of successful tracking is highly promoted. The maximum tracking velocity is up to 111.3 pixel/sec, which is sufficient for tracking characters on stage. The algorithm improves the disadvantages of current followspot system, such as high price and inconvenience. Consequently, the developed system is more economical, manpower-saving, and easy to setup and operate.目錄 致謝 i 摘要 ii Abstract iii 目錄 v 圖目錄 vii 表目錄 xi 第一章 前言 1 第二章 文獻探討 3 2.1 舞台演員超音波自動追蹤系統 3 2.2 影像追蹤文獻回顧 5 第三章 材料與方法 8 3.1 實驗設備 8 3.1.1 影像擷取 9 3.1.2 個人電腦 10 3.1.3 步進馬達控制卡 11 3.1.4 打光系統 12 3.2 互鎖雙特徵適應型均值移動演算法 14 3.3 強健型動態更新卡爾曼濾波器 19 3.3.1 系統動態模型 19 3.3.2 量測動態模型 24 3.3.3 均值移動演算法與卡爾曼濾波器之結合 26 3.4 步進馬達控制流程 29 第四章 結果與討論 31 4.1 單特徵與互鎖雙特徵均值移動演算法模擬追蹤實驗 31 4.2 更新與未更新雜訊共變異矩陣之追蹤 40 4.2.1 更新與未更新雜訊共變異矩陣之追蹤比較實驗 40 4.2.2 更新與未更新雜訊共變異矩陣綜合比較 44 4.3 真實的舞台表演情況之追蹤實驗 48 4.3.1 演員未交錯之追蹤實驗一：芭蕾舞女主角 48 4.3.2 演員未交錯之追蹤實驗二：芭蕾舞女主角 50 4.3.3 演員有交錯之追蹤實驗一：國劇男主角 52 4.3.4 演員有交錯之追蹤實驗二：芭蕾舞男主角 54 4.4 追蹤結果綜合討論 57 第五章 結論與建議 60 5.1 結論 60 5.2 建議 61 參考文獻 62 圖目錄 圖2-1 自動化追蹤燈系統 (Hay and Weiss, 2004) 3 圖2-2 Wybron公司生產的Autopilot II 超音波自動追蹤燈系統 (Autopilot II圖片, 2006) 4 圖2-3 Martin公司生產的Martin Lighting Director (Martin Lighting Director圖片, 2007) 4 圖2-4 演員追蹤流程 5 圖3-1 整體架構圖 8 圖3-2 人機介面示意圖 8 圖3-3 羅技公司生產之QuickCam™ Pro 4000電荷耦合元件攝影機 (QuickCam™ Pro 4000圖片, 2006) 9 圖3-4 啟亨公司生產之Mini taco金氧半導體攝影機(Mini taco圖片, 2006) 10 圖3-5 雙視覺系統示意圖 10 圖3-6 研華公司生產之步進馬達控制卡PCI-1243U (PCI-1243U 圖片, 2006) 11 圖3-7 步進馬達控制卡至驅動器連接圖 11 圖3-8 研華公司生產之 62 PIN 排線 PCL-10162-1 (PCL-10162 圖片, 2006) 12 圖3-9 研華公司生產之terminal board ADAM-3962 (ADAM 3962 圖片, 2006) 12 圖3-10 打光系統 12 圖3-11 系統流程圖 14 圖3-12 傳統均值移動演算法示意圖 15 圖3-13 互鎖雙特徵均值移動演算法示意圖 18 圖3-14 卡爾曼濾波器內部運作流程 26 圖3-15 追蹤演算法流程圖 28 圖3-16 目標與燈光投射所在位置之距離差對應所需轉動馬達步數關係圖 30 圖3-17 步進馬達控制流程圖 30 圖4-1 單特徵與雙特徵均值移動演算法模擬追蹤實驗示意圖 31 圖4-2 單特徵均值移動演算法模擬追蹤實驗兩模擬演員開始時之畫面 32 圖4-3 單特徵均值移動演算法模擬追蹤實驗兩模擬演員交錯時之畫面 32 圖4-4 單特徵均值移動演算法模擬追蹤實驗兩模擬演員交錯後之畫面 33 圖4-5 以雙特徵均值移動演算法追蹤目標物開始位置 35 圖4-6 以雙特徵均值移動演算法追蹤目標物交錯時 35 圖4-7 以雙特徵均值移動演算法 追蹤目標物交錯後 35 圖4-8 更新雜訊共變異矩陣實驗初始狀態圖 40 圖4-9 更新雜訊共變異矩陣—追蹤結果成功 41 圖4-10 未更新雜訊共變異矩陣—追蹤結果失敗 41 圖4-11 更新雜訊共變異矩陣實驗之上半身x方向追蹤軌跡 42 圖4-12 更新雜訊共變異矩陣實驗之下半身x方向追蹤軌跡 42 圖4-13 未更新雜訊共變異數實驗之上半身x方向追蹤軌跡 43 圖4-14 未更新雜訊共變異數實驗之下半身x方向追蹤軌跡 43 圖4-15 45度干擾：更新雜訊共變異矩陣—追蹤結果成功 44 圖4-16 45度干擾：未更新雜訊共變異矩陣—追蹤結果失敗 45 圖4-17 90度干擾：更新雜訊共變異矩陣—追蹤結果成功 45 圖4-18 90度干擾：未更新雜訊共變異矩陣—追蹤結果失敗 45 圖4-19 成功地追蹤芭蕾舞女主角 (互鎖雙特徵均值移動演算法搭配未更新雜訊共變異矩陣卡爾曼濾波器) 48 圖4-20 追蹤芭蕾舞女主角之影像差畫面(對應於圖4-20) 49 圖4-21 成功地追蹤芭蕾舞女主角 (互鎖雙特徵均值移動演算法搭配未更新雜訊共變異矩陣卡爾曼濾波器) 50 圖4-22 追蹤芭蕾舞女主角之影像差畫面(對應於圖4-21) 51 圖4-23 成功地追蹤國劇主角人物 (互鎖雙特徵均值移動演算法搭配強健型卡爾曼濾波器) 52 圖4- 24 追蹤國劇主角人物失敗 (互鎖雙特徵均值移動演算法搭配未更新共變異矩陣卡爾曼濾波器) 53 圖4-25 成功地追蹤芭蕾舞男主角 (互鎖雙特徵均值移動演算法搭配強健型卡爾曼濾波器) 55 圖4-26 追蹤芭蕾舞男主角失敗 (互鎖雙特徵均值移動演算法搭配未更新共變異矩陣卡爾曼濾波器) 56 表目錄 表3-1 東元步進馬達驅動器規格表 (AU1210規格表, 2006) 13 表3-2 系統與量測模型以及搜尋區域中心之變化 27 表4-1 互鎖雙特徵均值移動演算法參數說明 16 表4-2 以單特徵均值移動演算法追蹤不同顏色之目標物失敗之情形 34 表4-3 以雙特徵均值移動演算法追蹤不同顏色目標物 成功克服表4-2追蹤失敗之情形(搭配未更新雜訊共變異矩陣之卡爾曼濾波器) 36 表4-4 單特徵均值移動演算法追蹤失敗時互鎖雙特徵均值移動演算法 均能成功追蹤(搭配未更新雜訊共變異矩陣之卡爾曼濾波器) 38 表4-5 目標物以速度5像素/取樣時間移動之追蹤成功率 46 表4-6 目標物以速度6像素/取樣時間移動之追蹤成功率 47 表4-7 實際追蹤結果綜合比較表 58 表4-8 搭配不同技術的追蹤演算法之優劣排名表 592238721 bytesapplication/pdfen-US即時影像追蹤機器視覺均值移動演算法卡爾曼濾波器模型估測追蹤燈自動化real-time video trackingmachine visionmean shiftKalman filtermodelestimationfollowspotautomationthesishttp://ntur.lib.ntu.edu.tw/bitstream/246246/52881/1/ntu-96-R94631002-1.pdf