李琳山臺灣大學:電信工程學研究所鄭力維Cheng, Li-WeiLi-WeiCheng2010-07-012018-07-052010-07-012018-07-052008U0001-1807200811302300http://ntur.lib.ntu.edu.tw//handle/246246/188242語音中的韻律訊號是口語溝通中，不可或缺的一環。在數位語音工程的應用中，語音韻律訊號的模型及解讀應有助於提升系統對人類語言的處理能力。本論文藉由多種訊號特徵及語言特徵，並採用三種機器學習之方法做為基本架構，建立了國語的韻律訊號模型，來解讀國語語音中所呈現的韻律事件，進而應用在數位語音工程的諸多應用上。 在國語大字彙連續語音辨識之應用中，我們利用四個韻律訊號維度之資訊來建構模型，對各個聲調韻律事件的可能性做評估，用以執行兩段式的語音辨識，並得到顯著的字元辨識進步率。韻律預測之應用上，我們也根據猜測的所有可能會影響韻律訊號之事件，推估這些韻律事件對各個韻律維度上呈現現象之綜合影響，並以之建立了與統計數據相合的韻律模型。口試委員會審定書 i謝 ii文摘要 iii容大綱 iv目錄 viii目錄 ixhapter 1 導論 1.1 研究動機 1.2 研究主題相關背景 2.3 本論文之研究方法與主要成果 3.4 章節概要 4hapter 2 研究基礎簡介 7.1 工程角度下中文語音的韻律訊號 7.2 前人的韻律模型 8.3 分類法 9.3.1 決策樹 9.3.2 隨機森林. 12.3.3 條件隨機域. 13.4 大字彙中文連續語音辨識未使用韻律模型之基礎實驗及架構 17.4.1 基礎實驗語料 17.4.2 語音辨識系統架構. 17.4.3 語音特徵參數抽取. 17.4.4 聲學模型架構 18.4.5 語言模型架構. 18.4.6 基礎實驗. 19.5 本章結論 19hapter 3 中文韻律下聲調模型之建立 21.1 隨機森林之韻律聲調模型 21.1.1 基礎隨機森林聲調模型 21.1.2 大字彙辨識應用之韻律聲調模型 22.2 決策樹韻律模型 23.2.1 聲調傾向之決策樹韻律模型訓練 23.2.2 語者評估應用之音高曲線(Pitch Contour)韻律模型 24.3 兩種模型的優缺點分析整理 25.4 本章結論 26hapter 4 整合韻律聲調模型的大字彙辨識系統 27.1 實驗系統整體架構 27.2 韻律特徵參數(prosodic features)擷取 29.2.1 音高曲線及基頻擷取 29.2.2 音高特徵參數 30.2.3 能量特徵參數 31.2.4 長度特徵參數 32.3 韻律聲調模型在中文大字彙辨識的應用 32.4 韻律特徵參數在韻律聲調模型的重要性分析 34.4.1 韻律特徵參數在聲調模型上之重要性分析 34.4.2 韻律特徵參數在聲調難以判定字元辨識上之重要性分析 35.5 本章結論 36hapter 5 中文音節聲音響度與長度預測 37.1 音節響度與音節長度之韻律模型 37.1.1 音節響度之韻律模型 37.1.2 音節長度之韻律模型 41.2 音節響度與長度的韻律模型輸入參數 42.2.1 辭典詞輕重音詞模型特徵模板 42.2.2 二字詞音節之相對響度模型特徵模板 42.2.3 三字詞「強強弱」形式之強度模型特徵模板 43.2.4 三字詞前兩音節之相對響度模型特徵模板 43.2.5 辭典詞音節平均長度之相對長短模型特徵模板 44.3 測試音節響度與長度韻律模型的語料與實驗 44.3.1 實驗用語料 44.3.2 韻律模型測試實驗 44.4 音節響度與長度韻律模型的測試實驗結果 46.5 本章結論 47hapter 6 大字彙語音辨識之實驗結果與綜合討論 49.1 韻律聲調模型之訓練語料 49.2 聲調辨識實驗之實驗結果 49.3 結合韻律聲調模型之中文大字彙連續語音辨識 50.3.1 結合韻律聲調模型之辨識結果 50.3.2 綜合討論 52.4 本章結論 53hapter 7 結論與展望 55.1 結論 55.2 展望 56EFERENCE 601455351 bytesapplication/pdfen-US聲調大字彙辨識韻律模型韻律預測中文韻律tonelarge vocabulary speech recognitionprosody modelprosody predictionMandarin Prosodythesishttp://ntur.lib.ntu.edu.tw/bitstream/246246/188242/1/ntu-97-R95942129-1.pdf