李琳山臺灣大學：資訊網路與多媒體研究所謝雅超Hsieh, Ya-chanYa-chanHsieh2007-11-272018-07-052007-11-272018-07-052006http://ntur.lib.ntu.edu.tw//handle/246246/58405由於絕大多數的多媒體資訊都附帶語音訊息，語音文件檢索乃是人們 面對資訊爆炸的時代所必須的技術。藉由語音查詢這樣友善的操作加 上有效率的檢索方式，能協助人們在大量的多媒體資料庫中尋找想要 的資訊。 然而，比起文字文件的檢索，語音文件的檢索有著其他的問題需要解 決。本論文主要就是針對語音文件檢索技術所遭遇的語意模糊和辨識 錯誤二方面進行研究。我們提出使用動態關鍵詞詞典的想法來擷取甚 至預測使用者查詢可能出現的關鍵詞彙，以掌握使用者真正想得到的 資訊，並在動態關鍵詞詞典所建構的空間上計算額外的檢索分數，以 找到最相關的文件。在關鍵詞的抽取上，我們提出使用詞頻反文件 頻，類專有名詞特徵，基於機率式潛藏語意分析模型之主題亂度三種 不同的抽取方法，而在我們實作的過程中，我們發現類專有名詞抽取 法和主題亂度抽取法二者有著互補的概念，可以藉由二者的合併建構 出更為完整的動態關鍵詞詞典。為了要能增加使用者查詢中關鍵詞的 確認率，本論文也提出了不同於一般的語音辨識流程，藉由調整可能 出現之關鍵詞分數，來達成擷取關鍵詞的目地。經過實驗後我們發 現，雖然此一流程有可能使得整體的詞錯誤率上升，卻可以在檢索效 能上有更好的表現，不失為一個可行的做法。在我們確認了使用者語 音查詢中是否有關鍵詞之後，系統將依照關鍵詞的有無進行不同的檢 索模式。若有確認出關鍵詞，則將在原本的檢索分數外，加上基於動 態關鍵詞的檢索分數，若在使用者查詢中無法確認出關鍵詞，則僅使 用傳統的方法進行檢索。藉由觀察實驗數據，我們可以得知在加入了 關鍵詞的檢索分數之後，語音文件檢索系統的效能的確可以獲得明顯 的提升。 辨識的錯誤乃是語音文件查詢上所需要解決的另一個議題，有鑑於 此，我們結合了語音辨識上常見的信心量度技術以降低因辨識錯誤對 檢索效能造成的影響。在信心量度的技術中，詞事後機率法的效能相 當傑出，但需要有詞圖作為輸入方能求出；一旦我們所使用的語音辨 識系統不計算詞圖之時，可以選擇替代的最佳N 路徑計數法作為信 心量度。除了上述的二種方法之外，我們也可以利用多種特徵參數來 訓練信心量度模型，此方法的成效將隨訓練語料的差異而有所不同。 在本論文中我們將信心量度的觀念加入到標準向量空間模型和機率 式潛藏語意分析模型的檢索之中，希望能有效的衡量使用者查詢的辨 識結果正確與否。經由簡單的初步實驗觀察其效能後，我們發現在標 準向量空間模型的檢索上加入信心量度，其檢索效能可以獲得一定程 度的進步。此外，我們更進一步將信心量度的觀念和動態關鍵詞詞典 加以整合，實驗後也同樣獲得進步，說明了二種不同的技術乃是可以 結合的。第1 章 導論 1 1.1 研究動機............................................ 1 1.2 相關研究............................................ 2 1.3 研究方向............................................ 3 1.4 章節大綱............................................ 4 第2 章 基本背景知識及實驗語料介紹 5 2.1 資訊檢索技術的基本概念.............................. 5 2.2 資訊檢索之模型...................................... 6 2.2.1 標準向量空間模型.............................. 7 2.2.2 使用m 連文法語言模型之檢索模型................ 7 2.2.3 潛藏語意分析模型之檢索........................ 9 2.2.4 機率式潛藏語意分析模型之檢索................. 13 2.3 檢索語音文件和文字文件的差異....................... 18 2.4 資訊檢索的評估機制................................. 19 2.5 實驗語料介紹....................................... 20 2.6 本章結論........................................... 21 第3 章 動態關鍵詞詞典 23 3.1 使用動態關鍵詞詞典的動機........................... 23 3.2 從語料庫(文件集)中抽取建立動態關鍵詞詞典........... 24 3.2.1 詞頻反文件頻................................. 24 3.2.2 類專有名詞特徵............................... 25 3.2.3 機率式潛藏語意分析模型下之主題亂度........... 26 3.3 語音查詢中出現關鍵詞之確認......................... 28 3.4 使用動態關鍵詞進行語音文件檢索..................... 29 3.5.1 以關鍵詞為基礎之標準向量空間模型之檢索....... 29 3.5.2 機率式潛藏語意分析模型下使用動態關鍵詞之檢索. 30 3.5 檢索系統流程圖..................................... 31 3.6 實驗結果........................................... 33 3.6.1 關鍵詞的抽取實驗............................. 33 3.6.2 關鍵詞的確認實驗............................. 36 3.6.3 使用動態關鍵詞詞典進行文件檢索之實驗......... 37 3.7 本章結論........................................... 40 第4 章 信心量度技術 43 4.1 信心量度在語音研究上的重要性....................... 43 4.2 信心量度之基本技術................................. 44 4.2.1 詞事後機率法................................. 44 4.2.2 最佳N 路徑記數法............................. 48 4.2.3 使用多種特徵的信心量度訓練................... 49 4.3 信心量度在語音文件檢索上之應用..................... 52 4.3.1 在語音文件檢索模型上加入信心量度............. 52 4.3.2 初步實驗..................................... 55 4.4 本章結論........................................... 57 第5 章 系統整合與實作 59 5.1 系統整合概述....................................... 59 5.2 系統各部分之討論................................... 61 第6 章 結論與展望 67 6.1 結論............................................... 67 6.2 展望............................................... 69 參考文獻 73en-US語音檢索speech spokendocument retrievalthesis