本書介紹了機器學(xué)習的基本算法、歷史發(fā)展、應(yīng)用前景及相關(guān)問題。內(nèi)容包括:機器學(xué)習所涉及的必要的數(shù)學(xué)知識,機器學(xué)習的基本模式和任務(wù),神經(jīng)網(wǎng)絡(luò)的基本理論及算法結(jié)構(gòu),分類與聚類學(xué)習算法,數(shù)據(jù)維度歸約的基本方法,圖理論及方法以及當前比較流行的機器學(xué)習理論和算法。本書在加深學(xué)生對經(jīng)典機器學(xué)習方法理解的基礎(chǔ)上適當擴展其視野,以培養(yǎng)和提高其解決實際問題的能力。
本書可作為高等學(xué)校人工智能相關(guān)專業(yè)的教材,也適合該領(lǐng)域的工程技術(shù)人員參考使用。
近年來,人工智能(AI)的發(fā)展如火如荼,在很多領(lǐng)域都顯示了強大的生命力。機器學(xué)習算法作為人工智能的核心也受到了廣泛的重視。鑒于此,普及機器學(xué)習的基本知識,讓更多的人特別是青年學(xué)生深入了解機器學(xué)習,進而在工作中將機器學(xué)習的理論和方法進行有效應(yīng)用,就成為一項很重要的工作。目前,對于機器學(xué)習進行介紹和研究的書籍已經(jīng)有不少,這些書籍大多出自國內(nèi)外業(yè)界翹楚之手,其學(xué)術(shù)水平自不待言。然而這些書籍更多地著眼于學(xué)術(shù)上的嚴謹性和結(jié)構(gòu)上的完整性,數(shù)學(xué)分析及推導(dǎo)的內(nèi)容較多,而且基本都是“大部頭”著作,對于處于入門階段的讀者來講,可能閱讀和理解起來較為困難。為了幫助廣大讀者打開機器學(xué)習這個領(lǐng)域的大門,我們精心編寫了本書。在本書的編寫過程中,我們以邏輯清晰、突出重點、簡潔明了、方便接受、好學(xué)好懂為原則,盡量用較為平實的語言對機器學(xué)習的方法進行描述,以便于理解。在此基礎(chǔ)上再漸次加深難度,逐步引領(lǐng)讀者步入機器學(xué)習的殿堂。
本書以典型和常見的機器學(xué)習算法為例進行介紹,全書內(nèi)容共分八章。第一章緒論,主要介紹了機器學(xué)習的基本情況、該領(lǐng)域的重要人物、學(xué)術(shù)流派、發(fā)展歷程以及應(yīng)用前景,同時對由機器學(xué)習發(fā)展所產(chǎn)生的社會影響也做了相應(yīng)評述;第二章對機器學(xué)習所用到的數(shù)學(xué)知識進行了回顧和補充,主要集中在矩陣理論和統(tǒng)計學(xué)方面;第三章對機器學(xué)習的基本任務(wù)和學(xué)習模式進行了闡述,特別是對基于機器學(xué)習的擬合(回歸)方法進行了討論;第四章較為全面地介紹了神經(jīng)網(wǎng)絡(luò)這一機器學(xué)習的重要分支,對神經(jīng)網(wǎng)絡(luò)的工作機理進行了分析和評介;第五章對于作為機器學(xué)習基本任務(wù)之一的分類和聚類方法,從基本的基于統(tǒng)計的分類、聚類方法到現(xiàn)在較為先進的方法均進行了介紹;第六章對數(shù)據(jù)維度歸約方法進行了介紹,內(nèi)容涉及基于多元統(tǒng)計的方法及多類數(shù)據(jù)特征提取等;第七章對圖方法進行了介紹,特別是對于決策樹理論進行了較為詳細的分析;第八章介紹了當前主流的、較為典型的機器學(xué)習方法,在一定程度上屬于拓展視野的內(nèi)容。
本書第一至第四章、第六章、第八章由姚舜才編寫,第五章、第七章由孫傳猛編寫。全書由姚舜才統(tǒng)稿定稿。本書配有教學(xué)PPT演示文檔,讀者可從出版社網(wǎng)站下載。
本書的編寫得到了西安電子科技大學(xué)出版社李惠萍老師的幫助和鼓勵,在此表示衷心的感謝!
機器學(xué)習的發(fā)展日新月異,而本書作者的知識學(xué)養(yǎng)水平有限,書中難免存在不當之處,懇請廣大讀者及專家不吝指正。
第一章 緒論 1
1.1 機器學(xué)習發(fā)展簡史與概況 2
1.2 機器學(xué)習的研究與應(yīng)用現(xiàn)狀 5
1.3 機器學(xué)習的相關(guān)問題 9
1.4 機器學(xué)習的發(fā)展前景 12
第二章 機器學(xué)習的數(shù)學(xué)基礎(chǔ) 14
2.1 線性代數(shù)與矩陣分析基礎(chǔ) 14
2.1.1 線性空間基礎(chǔ) 14
2.1.2 范數(shù) 16
2.1.3 矩陣運算及其分解 18
2.2 概率與統(tǒng)計基礎(chǔ) 21
2.2.1 概率分布 22
2.2.2 數(shù)字特征 31
2.2.3 估計理論基礎(chǔ) 35
2.2.4 貝葉斯理論基礎(chǔ) 39
2.3 優(yōu)化理論基礎(chǔ) 41
2.3.1 無約束最優(yōu)化 41
2.3.2 帶有約束條件的最優(yōu)化 42
復(fù)習思考題 43
第三章 機器學(xué)習基本知識 44
3.1 機器學(xué)習的建模問題 44
3.1.1 線性擬合(回歸)及建模問題 44
3.1.2 非線性擬合(回歸)及建模問題 50
3.2 機器學(xué)習模式概述 54
3.2.1 有監(jiān)督學(xué)習模式 55
3.2.2 無監(jiān)督學(xué)習模式 60
復(fù)習思考題 66
第四章 神經(jīng)網(wǎng)絡(luò)學(xué)習算法 67
4.1 神經(jīng)網(wǎng)絡(luò)概述 67
4.2 典型前饋型神經(jīng)網(wǎng)絡(luò) 73
4.2.1 前饋型(BP)神經(jīng)網(wǎng)絡(luò)基本運行模式 76
4.2.2 前饋型(BP)神經(jīng)網(wǎng)絡(luò)的相關(guān)問題 80
4.3 典型反饋型神經(jīng)網(wǎng)絡(luò) 83
4.3.1 反饋型神經(jīng)網(wǎng)絡(luò)基本運行模式 83
4.3.2 反饋型神經(jīng)網(wǎng)絡(luò)的相關(guān)問題 87
4.4 其他典型神經(jīng)網(wǎng)絡(luò) 91
4.4.1 徑向基神經(jīng)網(wǎng)絡(luò) 91
4.4.2 自組織競爭神經(jīng)網(wǎng)絡(luò) 96
4.4.3 小腦模型神經(jīng)網(wǎng)絡(luò) 102
4.4.4 卷積神經(jīng)網(wǎng)絡(luò) 105
復(fù)習思考題 109
第五章 分類與聚類學(xué)習算法 110
5.1 分類學(xué)習算法 110
5.1.1 線性分類算法 111
5.1.2 非線性分類算法 120
5.1.3 核方法與支持向量機 128
5.2 聚類學(xué)習算法 134
5.2.1 K均值聚類算法 135
5.2.2 其他聚類算法 138
復(fù)習思考題 139
第六章 數(shù)據(jù)維度歸約方法 140
6.1 單類數(shù)據(jù)降維 140
6.1.1 主成分分析 140
6.1.2 因子分析 148
6.1.3 相關(guān)分析 157
6.2 非線性降維算法簡介 161
6.2.1 等距映射 162
6.2.2 拉普拉斯特征映射 163
6.2.3 局部線性嵌入 166
6.3 多類數(shù)據(jù)特征選擇與提取 167
復(fù)習思考題 170
第七章 圖方法 171
7.1 貝葉斯網(wǎng)絡(luò) 171
7.1.1 貝葉斯網(wǎng)絡(luò)理論 171
7.1.2 貝葉斯網(wǎng)絡(luò)推理 173
7.2 決策樹理論 176
7.2.1 定義與結(jié)構(gòu) 176
7.2.2 特征選擇準則 177
7.2.3 “過擬合”問題 179
7.2.4 連續(xù)值處理 180
7.2.5 決策樹生成 180
7.2.6 算法實例 181
7.3 馬爾可夫網(wǎng)絡(luò) 189
復(fù)習思考題 191
第八章 其他典型機器學(xué)習方法概述 192
8.1 隱含馬爾可夫模型 192
8.2 蒙特卡洛方法 196
8.3 組合多學(xué)習器 201
8.4 近似推斷 206
8.5 增強學(xué)習方法 210
8.6 深度學(xué)習方法概述 214
8.7 深度學(xué)習方法應(yīng)用舉例 221
復(fù)習思考題 229
參考文獻 230