本書(shū)按照統(tǒng)計(jì)模式識(shí)別、句法模式識(shí)別、模糊模式識(shí)別法和神經(jīng)網(wǎng)絡(luò)模式識(shí)別法四大理論體系組織全書(shū),其中統(tǒng)計(jì)模式識(shí)別是模式識(shí)別的經(jīng)典內(nèi)容和基礎(chǔ)知識(shí),模糊模式識(shí)別法和神經(jīng)網(wǎng)絡(luò)模式識(shí)別法兩部分反映了模式識(shí)別學(xué)科發(fā)展的新進(jìn)展,附錄部分歸納了書(shū)中需要用到的概率知識(shí)、向量和矩陣運(yùn)算的常用公式,以及供上機(jī)練習(xí)用的模式樣本數(shù)據(jù)。
本書(shū)內(nèi)容由淺入深,便于教師根據(jù)不同情況選擇教學(xué)內(nèi)容。同時(shí)講解詳細(xì),配有豐富的圖表和例題,有助于讀者閱讀與理解。提供了習(xí)題和計(jì)算機(jī)作業(yè),供學(xué)習(xí)時(shí)使用。
本書(shū)可作為高等院校電子信息類(lèi)專(zhuān)業(yè)高年級(jí)本科生和研究生的教材,也可供從事模式識(shí)別工作的廣大科技人員參考。
模式識(shí)別是一門(mén)既具有較系統(tǒng)的理論體系,又仍處在迅速發(fā)展之中的邊緣學(xué)科,其應(yīng)用幾乎遍及各個(gè)領(lǐng)域。
這一學(xué)科涉及許多較為深?yuàn)W的數(shù)學(xué)理論,對(duì)剛涉足這一領(lǐng)域的許多初學(xué)者來(lái)說(shuō),理解起來(lái)有一定的困難。本書(shū)既可以作為基礎(chǔ)教材,又反映學(xué)科發(fā)展方向,以此為基調(diào),在選材上立足于“精”,在講解上立足于“透”。筆者結(jié)合多年教學(xué)經(jīng)驗(yàn),在模式識(shí)別理論的成熟部分,注重對(duì)基本概念的透徹講解,選擇經(jīng)典和實(shí)用的模式識(shí)別方法和算法進(jìn)行討論。在內(nèi)容的安排上,注意由淺入深,討論問(wèn)題時(shí)盡量減少數(shù)學(xué)推導(dǎo)和證明,通過(guò)實(shí)際運(yùn)用加深學(xué)生對(duì)算法的理解,目的是使初學(xué)者能夠比較容易地盡快掌握模式識(shí)別的基本理論和方法。
在材料組織上,兼顧計(jì)算機(jī)模式識(shí)別的基礎(chǔ)和發(fā)展兩個(gè)方面,按照統(tǒng)計(jì)模式識(shí)別、句法模式識(shí)別、模糊模式識(shí)別法和神經(jīng)網(wǎng)絡(luò)模式識(shí)別法四大理論體系組織全書(shū)內(nèi)容。其中統(tǒng)計(jì)模式識(shí)別方法是核心,模糊模式識(shí)別和神經(jīng)網(wǎng)絡(luò)模式識(shí)別是學(xué)科的新發(fā)展。在具體章節(jié)安排上,統(tǒng)計(jì)模式識(shí)別部分包括屬于非監(jiān)督分類(lèi)的聚類(lèi)分析方法(第2章)、監(jiān)督分類(lèi)中的判別函數(shù)概念和幾何分類(lèi)法(第3章)以及基于統(tǒng)計(jì)決策的概率分類(lèi)法(第4章),為簡(jiǎn)化分類(lèi)器還討論了特征選擇和提取的方法(第5章)。第6章為句法模式識(shí)別,對(duì)概念和方法進(jìn)行了簡(jiǎn)要討論。第7章為模糊模式識(shí)別部分,鑒于本方向蓬勃的發(fā)展趨勢(shì),對(duì)其內(nèi)容進(jìn)行了充實(shí)和細(xì)化,充分地闡述了基本概念,詳細(xì)討論了其中的典型算法。第8章為神經(jīng)網(wǎng)絡(luò)模式識(shí)別法,介紹了幾種典型的用于模式識(shí)別的神經(jīng)網(wǎng)絡(luò)模型和算法。為方便學(xué)習(xí),在附錄部分增加了必要的相關(guān)知識(shí)介紹,以備查閱。同時(shí)書(shū)中還配有豐富的圖表,有助于閱讀。
本書(shū)是作者在多年教學(xué)實(shí)踐的基礎(chǔ)上經(jīng)過(guò)總結(jié)擴(kuò)充改編而成的。參加編寫(xiě)的有齊敏、李大健和郝重陽(yáng)同志,全書(shū)由齊敏同志負(fù)責(zé)審訂和修改。模式識(shí)別學(xué)科發(fā)展迅速,本書(shū)對(duì)該學(xué)科研究發(fā)展的新進(jìn)展亦有所涉及,限于水平和經(jīng)驗(yàn),書(shū)中錯(cuò)誤及不當(dāng)之處在所難免,敬請(qǐng)讀者批評(píng)指正。
編 者2009年2月
第1章 緒論 1
1.1 模式和模式識(shí)別的概念2
1.2 模式識(shí)別系統(tǒng)4
1.2.1 簡(jiǎn)例4
1.2.2 模式識(shí)別系統(tǒng)組成7
1.3 模式識(shí)別概況8
1.3.1 模式識(shí)別發(fā)展簡(jiǎn)介8
1.3.2 模式識(shí)別分類(lèi)8
1.4 模式識(shí)別的應(yīng)用10
第2章 聚類(lèi)分析 13
2.1 距離聚類(lèi)的概念14
2.2 相似性測(cè)度和聚類(lèi)準(zhǔn)則15
2.2.1 相似性測(cè)度15
2.2.2 聚類(lèi)準(zhǔn)則18
2.3 基于距離閾值的聚類(lèi)算法20
2.3.1 近鄰聚類(lèi)法20
2.3.2 最大最小距離算法21
2.4 層次聚類(lèi)法23
2.5 動(dòng)態(tài)聚類(lèi)法27
2.5.1 K-均值算法27
2.5.2 迭代自組織的數(shù)據(jù)分析算法30
2.6 聚類(lèi)結(jié)果的評(píng)價(jià)35
習(xí)題36
第3章 判別函數(shù)及幾何分類(lèi)法 37
3.1 判別函數(shù)38
3.2 線性判別函數(shù)40
3.2.1 線性判別函數(shù)的一般形式40
3.2.2 線性判別函數(shù)的性質(zhì)41
3.3 廣義線性判別函數(shù)46
3.4 線性判別函數(shù)的幾何性質(zhì)48
3.4.1 模式空間與超平面48
3.4.2 權(quán)空間與權(quán)向量解49
3.4.3 二分法50
3.5 感知器算法52
3.6 梯度法58
3.6.1 梯度法基本原理59
3.6.2 固定增量算法60
3.7 最小平方誤差算法62
3.8 非線性判別函數(shù)69
3.8.1 分段線性判別函數(shù)69
3.8.2 分段線性判別函數(shù)的學(xué)習(xí)方法72
3.8.3 勢(shì)函數(shù)法74
習(xí)題81
第4章 基于統(tǒng)計(jì)決策的概率分類(lèi)法 82
4.1 研究對(duì)象及相關(guān)概率83
4.2 貝葉斯決策85
4.2.1 最小錯(cuò)誤率貝葉斯決策85
4.2.2 最小風(fēng)險(xiǎn)貝葉斯決策86
4.2.3 正態(tài)分布模式的貝葉斯決策90
4.3 貝葉斯分類(lèi)器的錯(cuò)誤率96
4.3.1 錯(cuò)誤率的概念96
4.3.2 錯(cuò)誤率分析96
4.3.3 正態(tài)分布貝葉斯決策的錯(cuò)誤率計(jì)算98
4.3.4 錯(cuò)誤率的估計(jì)101
4.4 聶曼-皮爾遜決策104
4.5 概率密度函數(shù)的參數(shù)估計(jì)108
4.5.1 最大似然估計(jì)108
4.5.2 貝葉斯估計(jì)與貝葉斯學(xué)習(xí)110
4.6 概率密度函數(shù)的非參數(shù)估計(jì)115
4.6.1 非參數(shù)估計(jì)的基本方法115
4.6.2 Parzen窗法117
4.6.3 kN-近鄰估計(jì)法121
4.7 后驗(yàn)概率密度函數(shù)的勢(shì)函數(shù)估計(jì)法123
習(xí)題125
第5章 特征選擇與特征提取 127
5.1 基本概念128
5.2 類(lèi)別可分性測(cè)度130
5.2.1 基于距離的可分性測(cè)度131
5.2.2 基于概率分布的可分性測(cè)度133
5.3 基于類(lèi)內(nèi)散布矩陣的單類(lèi)模式特征提取136
5.4 基于K-L變換的多類(lèi)模式特征提取139
5.5 特征選擇144
5.5.1 特征選取擇的準(zhǔn)則144
5.5.2 特征選擇的方法145
習(xí)題148
第6章 句法模式識(shí)別 150
6.1 句法模式識(shí)別概述151
6.2 形式語(yǔ)言的基本概念152
6.2.1 基本定義152
6.2.2 文法分類(lèi)154
6.3 模式的描述方法156
6.3.1 基元的確定156
6.3.2 模式的鏈表示法156
6.3.3 模式的樹(shù)表示法158
6.4 文法推斷160
6.4.1 基本概念160
6.4.2 余碼文法的推斷161
6.4.3 擴(kuò)展樹(shù)文法的推斷162
6.5 句法分析164
6.5.1 參考鏈匹配法165
6.5.2 填充樹(shù)圖法165
6.5.3 CYK分析法166
6.5.4 厄利分析法168
6.6 句法結(jié)構(gòu)的自動(dòng)機(jī)識(shí)別169
6.6.1 有限態(tài)自動(dòng)機(jī)與正則文法169
6.6.2 下推自動(dòng)機(jī)與上下文無(wú)關(guān)文法173
習(xí)題176
第7章 模糊模式識(shí)別法 179
7.1 模糊數(shù)學(xué)概述180
7.1.1 模糊數(shù)學(xué)的產(chǎn)生背景180
7.1.2 模糊性181
7.1.3 模糊數(shù)學(xué)在模式識(shí)別領(lǐng)域的應(yīng)用183
7.2 模糊集合183
7.2.1 模糊集合定義183
7.2.2 隸屬函數(shù)的確定187
7.2.3 模糊集合的運(yùn)算191
7.2.4 模糊集合與普通集合的相互轉(zhuǎn)化193
7.3 模糊關(guān)系與模糊矩陣195
7.3.1 模糊關(guān)系定義195
7.3.2 模糊關(guān)系的表示196
7.3.3 模糊關(guān)系的建立197
7.3.4 模糊關(guān)系和模糊矩陣的運(yùn)算199
7.3.5 模糊關(guān)系的三大性質(zhì)202
7.4 模糊模式分類(lèi)的直接方法和間接方法204
7.4.1 直接方法--隸屬原則204
7.4.2 間接方法--擇近原則206
7.5 模糊聚類(lèi)分析法209
7.5.1 基于模糊等價(jià)關(guān)系的聚類(lèi)分析法209
7.5.2 模糊相似關(guān)系直接用于分類(lèi)212
7.5.3 模糊K-均值算法214
7.5.4 模糊ISODATA算法216
習(xí)題218
第8章 神經(jīng)網(wǎng)絡(luò)模式識(shí)別法 221
8.1 人工神經(jīng)網(wǎng)絡(luò)發(fā)展概況222
8.2 神經(jīng)網(wǎng)絡(luò)基本概念223
8.2.1 生物神經(jīng)元223
8.2.2 人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò)224
8.2.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)226
8.2.4 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分類(lèi)227
8.3 前饋神經(jīng)網(wǎng)絡(luò)227
8.3.1 感知器227
8.3.2 BP網(wǎng)絡(luò)228
8.3.3 競(jìng)爭(zhēng)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)232
8.4 反饋網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)236
附錄A 向量和矩陣運(yùn)算239
附錄B 標(biāo)準(zhǔn)正態(tài)分布表及概率計(jì)算245
附錄C 計(jì)算機(jī)作業(yè)所用樣本數(shù)據(jù)248
參考文獻(xiàn)254