第1章 機(jī)器學(xué)習(xí)概述 1 1.1 人工智能概述 1 1.1.1 人工智能發(fā)展歷程 1 1.1.2 人工智能與機(jī)器學(xué)習(xí) 3 1.2 機(jī)器學(xué)習(xí)的兩大學(xué)派 5 1.2.1 頻率學(xué)派 6 1.2.2 貝葉斯學(xué)派 6 1.3 機(jī)器學(xué)習(xí)的三要素 7 1.3.1 數(shù)據(jù) 7 1.3.2 模型 8 1.3.3 算法 9 1.4 機(jī)器學(xué)習(xí)算法的4種類型 9 1.4.1 有監(jiān)督學(xué)習(xí)算法 10 1.4.2 無監(jiān)督學(xué)習(xí)算法 10 1.4.3 半監(jiān)督學(xué)習(xí)算法 11 1.4.4 強(qiáng)化學(xué)習(xí)算法 12 1.5 機(jī)器學(xué)習(xí)的應(yīng)用 13 1.5.1 計算機(jī)視覺 13 1.5.2 自然語言處理 14 1.5.3 機(jī)器人 15 習(xí)題 16 第2章 回歸算法概述 17 2.1 回歸算法簡介 17 2.2 線性回歸 19 2.2.1 算法原理 19 2.2.2 實現(xiàn)及參數(shù) 20 2.3 多元線性回歸 24 2.3.1 算法原理 24 2.3.2 實現(xiàn)及參數(shù) 25 2.4 正則化回歸分析 29 2.4.1 過擬合與正則化 29 2.4.2 嶺回歸 30 2.4.3 套索回歸 32 2.4.4 彈性網(wǎng)絡(luò)回歸 33 2.5 貝葉斯模型 35 2.5.1 貝葉斯方法 35 2.5.2 貝葉斯回歸 36 2.6 Softmax回歸 40 2.6.1 算法原理 40 2.6.2 實現(xiàn)及參數(shù) 41 2.7 項目實踐：航班乘客流量預(yù)測 44 習(xí)題 52 第3章 分類算法概述 53 3.1 分類算法簡介 53 3.2 K近鄰查詢算法 54 3.2.1 算法原理 54 3.2.2 實現(xiàn)及參數(shù) 55 3.3 邏輯回歸算法 58 3.3.1 算法原理 58 3.3.2 實現(xiàn)及參數(shù) 60 3.4 貝葉斯網(wǎng)絡(luò)與樸素貝葉斯分類器 62 3.4.1 貝葉斯網(wǎng)絡(luò) 62 3.4.2 樸素貝葉斯分類器 63 3.5 決策樹算法 65 3.5.1 算法原理 66 3.5.2 選擇最優(yōu)特征 68 3.6 集成學(xué)習(xí)算法 69 3.6.1 隨機(jī)森林算法 70 3.6.2 AdaBoost算法 71 3.7 項目實踐：水果分類 73 習(xí)題 78 第4章 支持向量機(jī)概述 79 4.1 支持向量機(jī)簡介 79 4.1.1 超平面與線性可分 80 4.1.2 最大化間隔 81 4.2 核函數(shù) 81 4.3 多分類處理 84 4.3.1 “1?a?r”方法 84 4.3.2 樹形支持向量機(jī)多分類方法 85 4.3.3 決策樹支持向量機(jī)多分類器 85 4.4 結(jié)構(gòu)風(fēng)險分析 85 4.5 項目實踐：貓分類器 86 4.5.1 實踐準(zhǔn)備 87 4.5.2 訓(xùn)練模型 88 4.5.3 驗證模型 90 習(xí)題 92 第5章 數(shù)據(jù)降維概述 93 5.1 數(shù)據(jù)降維簡介 93 5.2 線性降維 94 5.2.1 PCA 94 5.2.2 使用最大投影方差理解PCA 97 5.2.3 使用最小重構(gòu)代價理解PCA 98 5.2.4 LDA 100 5.3 非線性降維 103 5.3.1 局部線性嵌入 103 5.3.2 拉普拉斯特征映射 104 5.3.3 隨機(jī)近鄰嵌入 107 5.3.4 t分布隨機(jī)近鄰嵌入 108 5.4 自編碼器 108 5.5 項目實踐：自編碼器 114 習(xí)題 117 第6章 聚類算法概述 118 6.1 聚類算法簡介 118 6.2 基于劃分的聚類算法 119 6.2.1 K均值聚類算法 119 6.2.2 EM算法 121 6.3 基于密度的聚類算法 123 6.3.1 DBSCAN算法 123 6.3.2 DPC算法 127 6.4 基于圖的聚類算法 129 6.5 項目實踐：人臉圖像聚類 131 習(xí)題 134 第7章 深度學(xué)習(xí)概述 135 7.1 深度學(xué)習(xí)簡介 135 7.2 感知器 136 7.3 人工神經(jīng)網(wǎng)絡(luò) 138 7.4 反向傳播算法 139 7.5 常用的深度學(xué)習(xí)模型 144 7.5.1 CNN 144 7.5.2 RNN 148 7.5.3 GAN 152 7.6 項目實踐：圖片分類 154 習(xí)題 158 第8章 強(qiáng)化學(xué)習(xí)概述 159 8.1 強(qiáng)化學(xué)習(xí)簡介 159 8.2 馬爾可夫決策 161 8.2.1 馬爾可夫性質(zhì) 161 8.2.2 馬爾可夫過程 161 8.2.3 馬爾可夫決策過程 164 8.2.4 最優(yōu)價值函數(shù)與最優(yōu)策略 165 8.3 基于免模型的強(qiáng)化學(xué)習(xí)算法 166 8.3.1 蒙特卡羅算法 166 8.3.2 時序差分算法 167 8.4 強(qiáng)化學(xué)習(xí)前沿 169 8.4.1 逆向強(qiáng)化學(xué)習(xí) 169 8.4.2 分層強(qiáng)化學(xué)習(xí) 170 8.4.3 深度強(qiáng)化學(xué)習(xí) 171 8.5 項目實踐：車桿游戲 172 習(xí)題 173 第9章 自然語言處理概述 174 9.1 自然語言處理簡介 174 9.2 自然語言處理工具包和語料庫 175 9.2.1 自然語言處理工具包 175 9.2.2 語料庫 176 9.3 自然語言處理技術(shù)分類 177 9.3.1 自然語言處理基礎(chǔ)技術(shù)分類 177 9.3.2 自然語言處理應(yīng)用技術(shù)分類 179 9.4 Transformer 180 9.4.1 Transformer整體結(jié)構(gòu) 181 9.4.2 自注意力機(jī)制 183 9.4.3 Transformer總結(jié) 187 9.5 項目實踐：新聞文本分類 187 習(xí)題 190 第10章 推薦系統(tǒng)概述 191 10.1 推薦系統(tǒng)簡介 191 10.1.1 什么是推薦系統(tǒng) 191 10.1.2 個性化推薦系統(tǒng)的應(yīng)用 191 10.2 協(xié)同過濾推薦算法 193 10.2.1 基于用戶的協(xié)同過濾推薦算法 193 10.2.2 基于物品的協(xié)同過濾推薦算法 194 10.3 因子分解機(jī)算法 195 10.3.1 FM算法的背景 195 10.3.2 FM算法的優(yōu)勢 195 10.3.3 FM算法的衍生算法 196 10.4 梯度提升決策樹算法 196 10.4.1 回歸樹 196 10.4.2 梯度迭代 196 10.4.3 縮減 198 10.5 評價指標(biāo) 198 10.5.1 在線評價體系 198 10.5.2 離線評價體系 199 10.6 項目實踐：電影推薦系統(tǒng) 201 10.6.1 電影推薦系統(tǒng)的需求分析 201 10.6.2 系統(tǒng)架構(gòu)的設(shè)計 201 10.6.3 推薦系統(tǒng)的實現(xiàn) 202 習(xí)題 205 參考文獻(xiàn) 206