李琳山臺灣大學：電機工程學研究所盧彥廷Lu, Yen-TingYen-TingLu2007-11-262018-07-062007-11-262018-07-062007http://ntur.lib.ntu.edu.tw//handle/246246/52992韻律是日常口語對話中產生之現象，因此在語音辨識系統中加入了韻律的資訊，能使辨識的結果更趨近於人說話時所產生的語句。本論文運用大量韻律資訊訓練韻律模型，並與傳統考慮聲學模型以及語言模型之語音辨識系統結合，得到更佳的辨識率。 本論文以音節為單位抽取基頻、能量、長度以及類別參數，訓練聲調與韻律詞邊界之韻律模型；而在韻律模型的訓練上，又以辭典詞與韻律詞分別訓練並比較其產生之韻律模型對辨識系統的幫助。為了得到較豐富的韻律詞邊界資訊，採用條件隨機域的方法，預測了韻律詞的邊界，其準確率、回收率、F1評比以及邊界正確率都在百分之八十以上。此外，亦比較韻律模型對於特定語者與非特定語者之影響。 在實驗的架構上，採取兩階段，在第一階段中作傳統的辨識產生詞圖；第二階段根據詞圖中的每個詞弧上音節的時間區間抽取相對應的韻律特徵參數，建立韻律模型後在詞弧上重新計分。實驗結果顯示，以韻律詞訓練之韻律模型有較好的表現，在字元的辨識率上優於傳統模型與辭典詞韻律模型。目錄 口試委員審定書．．．．．．．．．．．．．．．．．．．．．．．．． i 誌謝．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． iii 摘要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． v 目錄．．．．．．．．．．．．．．．．．．．．．．．．．．．．．． vii 圖目錄．．．．．．．．．．．．．．．．．．．．．．．．．．．．． x 表目錄．．．．．．．．．．．．．．．．．．．．．．．．．．．．． xi 第一章：導論 ．．．．．．．．．．．．．．．．．．．．．．．．． 1 1.1 研究動機．．．．．．．．．．．．．．．．．．．．．．．． 1 1.2 研究主題相關背景．．．．．．．．．．．．．．．．．．．． 2 1.3 本論文之研究方法與主要成果．．．．．．．．．．．．．．． 3 1.4 章節概要．．．．．．．．．．．．．．．．．．．．．．．． 3 第二章：基礎背景簡介 ．．．．．．．．．．．．．．．．．．．．． 5 2.1 中文語音韻律階層結構．．．．．．．．．．．．．．．．．． 5 2.2 基本分類法．．．．．．．．．．．．．．．．．．．．．．． 7 2.2.1 決策樹 ．．．．．．．．．．．．．．．．．．．．．． 7 2.2.2 隨機森林 ．．．．．．．．．．．．．．．．．．．．． 10 2.2.3 條件隨機域 ．．．．．．．．．．．．．．．．．．．． 12 2.3 大字彙中文連續語音辨識未使用韻律模型之基礎實驗及架構．． 14 2.3.1 基礎實驗語料 ．．．．．．．．．．．．．．．．．．． 14 2.3.2 語音辨識系統架構 ．．．．．．．．．．．．．．．．． 15 2.3.3 語音特徵參數抽取 ．．．．．．．．．．．．．．．．． 16 2.3.4 聲學模型架構 ．．．．．．．．．．．．．．．．．．． 16 2.3.5 語言模型架構 ．．．．．．．．．．．．．．．．．．． 20 2.3.6 基礎實驗 ．．．．．．．．．．．．．．．．．．．．． 20 2.4 本章結論．．．．．．．．．．．．．．．．．．．．．．．． 21 第三章：結合韻律模型的辨識系統 ．．．．．．．．．．．．．．．． 23 3.1 實驗系統整體架構．．．．．．．．．．．．．．．．．．．． 23 3.2 韻律相關特徵參數抽取．．．．．．．．．．．．．．．．．． 25 3.2.1 基頻 ．．．．．．．．．．．．．．．．．．．．．．． 26 3.2.2 能量特徵參數 ．．．．．．．．．．．．．．．．．．． 27 3.2.3 音高特徵參數 ．．．．．．．．．．．．．．．．．．． 28 3.2.4 長度特徵參數 ．．．．．．．．．．．．．．．．．．． 29 3.2.5 類別參數 ．．．．．．．．．．．．．．．．．．．．． 29 3.3 中文韻律模型建立．．．．．．．．．．．．．．．．．．．． 33 3.4 本章結論．．．．．．．．．．．．．．．．．．．．．．．． 37 第四章：語料韻律詞邊界之預測 ．．．．．．．．．．．．．．．．． 39 4.1 韻律詞邊界預測．．．．．．．．．．．．．．．．．．．．． 39 4.1.1預測韻律詞邊界之語料．．．．．．．．．．．．．．．． 39 4.1.2預測韻律詞邊界之實驗設計．．．．．．．．．．．．．． 40 4.1.3 預測韻律詞邊界之參數 ．．．．．．．．．．．．．．． 44 4.1.4 預測韻律詞邊界之方法 ．．．．．．．．．．．．．．． 46 4.2 韻律詞邊界之預測與結果．．．．．．．．．．．．．．．．． 49 4.3 本章結論．．．．．．．．．．．．．．．．．．．．．．．． 53 第五章：實驗結果與綜合討論 ．．．．．．．．．．．．．．．．．．． 55 5.1特定語者之基礎實驗結果 ．．．．．．．．．．．．．．．．． 55 5.2 韻律模型特徵參數重要性分析 ．．．．．．．．．．．．．． 55 5.2.1 特徵參數在聲調上之重要性分析 ．．．．．．．．．．． 56 5.2.2 特徵參數在韻律詞邊界上之重要性分析 ．．．．．．．． 56 5.3 結合韻律模型之大字彙中文連續語音辨識 ．．．．．．．．． 58 5.3.1 結合韻律模型的辨識結果 ．．．．．．．．．．．．．． 58 5.3.2 綜合討論．．．．．．．．．．．．．．．．．．．．． 59 5.4 本章結論 ．．．．．．．．．．．．．．．．．．．．．．． 62 第六章：結論與展望 ．．．．．．．．．．．．．．．．．．．．．． 63 6.1 結論 ．．．．．．．．．．．．．．．．．．．．．．．．． 63 6.2 展望 ．．．．．．．．．．．．．．．．．．．．．．．．． 64 參考文獻．．．．．．．．．．．．．．．．．．．．．．．．．．． 651040482 bytesapplication/pdfen-US韻律詞模型詞邊界聲調prosodic wordprosodic modelprosodic boundarytonethesishttp://ntur.lib.ntu.edu.tw/bitstream/246246/52992/1/ntu-96-R94921024-1.pdf