劉長遠臺灣大學：資訊工程學研究所紀均毅Chin, Chen-YiChen-YiChin2007-11-262018-07-052007-11-262018-07-052004http://ntur.lib.ntu.edu.tw//handle/246246/53995摘要 這篇論文的主要目的在於運用類神經網路的計算能力，探討人類在語言的認知過程。 我們延續了實驗室之前在處理語意上的成果，使用三種編碼，四種方法處理語言：Non-negative Factorization、Self-Organizing Maps 、Elman Network以及 Semantic Associative Search。針對馬克吐溫的資料庫，分別利用前三種方法得到三種不同的語意編碼。並根據這三組語意編碼來作語意檢索且比較他們的差異性。 而利用Elman network可以預測下一字詞的特性，我們可以選一個初始的字詞(字詞1)輸入訓練好的Elman Network，則他會輸出所預測的下一個字詞(字詞2)，再將字詞1、字詞2依序需入Eleman network 則會再得到下一個字詞(字詞3)，反覆輸入之後，將可得到一連串的字詞。如果此Elman Network 能正確的預測下一個字，這串文字將可構成句子，此為文具生成函數的概念，因此我們能以Elman Network 作為文具生成函數。 另外，在Semantic Associative Search，我們避免需要使用大量人力的前置處理工作，而使用NMF與SOM訓練後的編碼當作已擁有語意的Input code，讓程式執行能夠更自動化，經過Associative Search的演算法後，比較其成果是否符合預期。Contents 1. Introduction …………………………………………………………2 2. NMF and SOM ……………………………………………………...4 3. Elman Networks ..………………………………………….………..8 3.1 Introduction of Elman Networks …...…………………………………..….…8 3.2 Discovering Lexical Classes from Word Order ……………………..……….9 3.3 Elman Networks and Automata …………………………………………...…11 3.4 Encode Words ………………………………………………………………..12 4. Semantic Associative Search ……...……………………………….13 4.1 Introduction of Semantic Associative Search …..…………………………...13 4.2 Algorithm ..…………………………………………………………………..13 4.3 Calculating “semantic operator” Sp, with user input ......……………………14 5. The Training Corpus ..………………………………………………16 5.1 About Mark Twain (1835-1910) ……………………………………………..16 5.2 The Works We Choose …………......………………………………………..16 5.3 Some Statistic about Mark Twain’s Works …...……………………………...17 6. Semantic Coding ……………………………………………………18 6.1 Using NMF …………………………………………………………………..18 6.2 Using SOM …………………………………………………………………..19 6.3 Using Elman Network ……………………………………………………….22 6.4 Implement Semantic Associative Search ........................................................27 7. Simulation ..........................................................................................28 7.1 NMF ...............................................................................................................28 7.2 SOM ...............................................................................................................29 7.3 Semantic Retrieval ..........................................................................................32 7.4 Sentence Generating Function ........................................................................38 8. Discussion ...........................................................................................39 References ...............................................................................................41728280 bytesapplication/pdfen-US語意關聯式搜尋Semantic Associative Searchthesishttp://ntur.lib.ntu.edu.tw/bitstream/246246/53995/1/ntu-93-R91922066-1.pdf