Initial Study on Chinese/English Bilingual Speech Recognition based on Lecture Recording

經過多年的發展，中文大字彙語音辨識系統已發展成熟，只要有足夠的訓練語料就能建立起高辨識率的語音辨識系統。隨著全球化的風潮，單一地區內多種語言，尤其是國際通用語言英語與當地語言，的交錯使用已相當普遍，但目前雙語辨識系統的發展程度卻遠不及單語系統。
因此本論文針對中英雙語課程錄音作為目標語料，根據既有的語音辨識系統架構，以不同定義方式設計系統內不同元件，建立雙語語音辨識系統。其中包括雙語詞典的取得、雙語音素集的設計、針對雙語特性設計語言模型、雙語語料分析，以及雙語系統等。
實驗證實，針對辨識流程就每一細部元件詳加設計，的確能夠影響辨識效能；而特別針對目標語料的雙語特性定義細部元件時，大部分多少都能朝向預期目標發展；但囿於訓練語料數量的限制，辨識率變動幅度較不明顯。但我們藉由分析不同元件、方法的辨識結果，得到許多有對發展雙語系統以及課程辨識系統的有效知識及經驗，並於最後提出改進方向。此外，本實驗的目標語料為自發性語音(spontaneous speech)，但尚未就此一語料進行任何特殊考慮及設計。