周瑞仁臺灣大學：生物產業機電工程學研究所林振翔Lin, Chen-HsiangChen-HsiangLin2007-11-262018-07-102007-11-262018-07-102005http://ntur.lib.ntu.edu.tw//handle/246246/52839本研究發展一套成本低廉，操作容易之舞台人物自動追蹤燈系統。此系統利用機器視覺方式擷取舞台影像，並以此資訊偵測目標之位置，自動將舞台燈光投射於舞台上的目標人物上，並持續追蹤與照射。它以CCD與個人電腦擷取影像並經影像處理及追蹤演算法計算後，透過研華公司生產之PC-LabCard 818H介面卡輸出脈衝訊號，驅動步進馬達自動操控追蹤燈機構。 本研究同時提出一套Adaptive Mean Shift影像色差追蹤演算法。其計算相鄰時間序列影像之UV差值以求得舞台移動中物體之動態資訊，並進一步結合Kalman Filter 與Mean Shift演算法預測、修正影像中目標人物所在位置。其中Mean Shift演算法之搜尋半徑乃運用Kalman Filter預測目標人物之速度作動態調整，以提升演算法之搜尋效率與正確性。此外，追蹤演算法將擷取影像之RGB值轉換至CIE LUV色彩空間後，僅針對其中代表色度資訊之U、V值計算影像色差，可減少舞台影像因照明改變所造成之追蹤誤差。The study developed a cost-effective and easy-operating automatic followspot system lighting upon a specified character on stage. The machine vision system was designed to automatically acquire images by a CCD camera, then postion and track the target and finally output control signals to the followspot system to aim at the target through Advantech PC-LabCard 818H. The study also proposed a tracking algorithm combining Kalman Filter and Mean Shift Algorithm to enhance the prediction and identification of the character position in an image. The Adaptive Mean Shift considered color differences as a weightings, obtained from the subtraction between two successive images. And, the searching radius of Mean Shift is adjusted by the state prediction of Kalman Filter to improve the efficiency and accuracy of tracking. In addition to reduce tracking error caused by various illumination conditions on stage, we considered only U and V values in CIE LUV color space to calculate the color differences in successive images.目錄…...………………………………………………………………..…i 圖目錄…...………………………………………………………………..…vii 表目錄…...………………………………………………………………..…viii 第一章 前言……………………………………………………………….1 1.1研究動機…………………………….………………...3 1.2研究目的…………………………….………………...5 第二章 文獻探討………………………………………………………….6 2.1舞台燈光設計與控制…………………………………………6 2.1.1舞台情境燈光設計與控制……………………..........………6 2.1.2舞台人物追蹤技術…...….……………………………7 2.1.2.1互動式舞台環境…………………………………7 2.1.2.2虛擬舞台實境……………….…………………...7 2.1.2.3自動追蹤燈具……………….…………………...8 2.2機器視覺物體追蹤與移動估測……………………………………9 2.2.1機器視覺與物體追蹤…...….……………………………..…9 2.2.2目標移動估測…...….………………………..……………..12 2.3機器視覺與物體追蹤於安全監視系統之應用…..………………14 第三章 材料與方法………………………………………………...................16 3.1實驗設備…………………………….…………………16 3.1.1影像擷取………………………….………………...16 3.1.2個人電腦…………..……………...………………...17 3.1.3控制介面卡…..………….….……………………...17 3.1.4 步進馬達與步進馬達驅動器…….………………….18 3.1.5舞台追蹤燈模擬系統機構………………….………20 3.1.6控制系統架構………………….………………...21 3.1.7數位測光儀……………………….………………...22 3.2影像追蹤演算法……………………….…………………….23 3.2.1影像擷取………………………………………………23 3.2.2影像前景動態擷取……………………………………23 3.2.3影像色彩空間…………………………………………26 3.2.3.1RGB色彩空間…………………..………………26 3.2.3.2CIELUV色彩空間…………………..…………26 3.2.4 Kalman Filter………….……………………………29 3.2.4.1離散Kalman Filter………….……………….…32 3.2.4.2系統估測狀態方程式……….……….....………32 3.2.4.3離散Kalman Filter運作流程……….…………..33 3.2.4.4 Kalman Filter參數設定……………………...…36 3.2.5 Mean Shift演算法.........................................................38 3.2.6 Adaptive Mean Shift色差追蹤演算法..........................40 3.2.6.1單特徵顏色Adaptive Mean Shift色差追蹤演算 法……..……..…….….…….………………..…….41 3.2.6.2雙特徵顏色Adaptive Mean Shift色差追蹤演算 法……..……..…………….…………………..…….44 3.2.6.3 Adaptive Mean Shift搜尋半徑之調整方法………..45 3.2.7舞台尺寸、人物移動速度與Mean Shift搜尋半徑之關 係……………..……..……….……………………….47 3.2.8目標人物運動模式模擬………….………………………...48 3.3舞台追蹤燈控制策略………………….…………………….50 3.3.1系統數學模式………..……………………………………50 3.3.1.1機構平移轉換式…….……………..……….……51 3.3.1.2機構旋轉轉換式…….……………..……….……51 3.3.1.3機構逆轉換式……….……………..……….……52 3.3.1.4追蹤與打光系統的轉換矩陣.……..……….……53 3.3.2燈光投射位置估測………………….……………………...55 3.3.3人機介面…………………………….……………………...58 第四章 結果與討論………………………….…………………………60 4.1目標運動模式與Mean Shift演算法搜尋半徑之關係..…….62 4.1.1單目標隨機運動……………..……………………….63 4.2其他移動物體干擾時追蹤演算法之效能…………………..65 4.2.1目標與干擾物體顏色、速度、與運動模式相同…….66 4.2.2目標與干擾物體顏色不同，速度與運動模式相同…67 4.3舞台照明變化對追蹤系統之影響…………………………..69 4.3.1色彩空間與照度變化之關係……………..………….69 4.3.2攝影機擷取影像之照度補償……………………..…75 4.4追蹤系統之測試…………………..…………………………80 4.4.1衣著顏色相近之人物交錯移動時追蹤系統之測試…80 4.4.2衣著顏色相同之人物交錯移動時追蹤系統之測試…90 4.4.3人物衣著顏色與背景顏色相同時追蹤系統之測試…93 4.4.4無Kalman Filter的追蹤系統之效能測試………..…...96 第五章 結論與建議………………………….………………………..…100 5.1結論…………………………………..…………….…………….100 5.2建議…………………………………..…………………………..101 參考文獻…………………………………………….…………………1022826567 bytesapplication/pdfen-US機器視覺卡爾曼濾波器移動平均追蹤燈Machine visionKalman filterMean shiftFollowspotthesishttp://ntur.lib.ntu.edu.tw/bitstream/246246/52839/1/ntu-94-R92631014-1.pdf