前言
第1篇 緒論
第1章 背景2
1.1 機(jī)器學(xué)習(xí)的概念2
1.2 機(jī)器學(xué)習(xí)所解決的問題3
1.2.1 有監(jiān)督學(xué)習(xí)問題3
1.2.2 無監(jiān)督學(xué)習(xí)4
1.3 如何選擇機(jī)器學(xué)習(xí)算法5
1.4 習(xí)題5
第2章 機(jī)器學(xué)習(xí)算法框架概要7
2.1 算法框架的分層模型7
2.2 分層模型中各層級的職責(zé)8
2.3 開始搭建框架的準(zhǔn)備工作8
2.3.1 使用Java開發(fā)的準(zhǔn)備工作8
2.3.2 使用Python開發(fā)的準(zhǔn)備工作13
第2篇 代數(shù)矩陣運(yùn)算層
第3章 矩陣運(yùn)算庫20
3.1 矩陣運(yùn)算庫概述20
3.2 矩陣基本運(yùn)算的實(shí)現(xiàn)20
3.2.1 矩陣的數(shù)據(jù)結(jié)構(gòu)20
3.2.2 矩陣的加法和減法22
3.2.3 矩陣的乘法和點(diǎn)乘24
3.2.4 矩陣的轉(zhuǎn)置26
3.3 矩陣的其他操作27
3.2.1 生成單位矩陣27
3.3.2 矩陣的復(fù)制28
3.3.3 矩陣的合并29
3.4 習(xí)題32
第4章 矩陣相關(guān)函數(shù)的實(shí)現(xiàn)33
4.1 常用函數(shù)33
4.1.1 協(xié)方差函數(shù)33
4.1.2 均值函數(shù)34
4.1.3 歸一化函數(shù)36
4.1.4 最大值函數(shù)38
4.1.5 最小值函數(shù)40
4.2 行列式函數(shù)41
4.3 矩陣求逆函數(shù)43
4.4 矩陣特征值和特征向量函數(shù)44
4.5 矩陣正交化函數(shù)45
4.5.1 向量單位化45
4.5.2 矩陣正交化47
4.6 習(xí)題49
第3篇 最優(yōu)化方法層
第5章 最速下降優(yōu)化器52
5.1 最速下降優(yōu)化方法概述52
5.1.1 模型參數(shù)優(yōu)化的目標(biāo)52
5.1.2 最速下降優(yōu)化方法53
5.2 最速下降優(yōu)化器的實(shí)現(xiàn)54
5.2.1 參數(shù)優(yōu)化器的接口設(shè)計(jì)54
5.2.2 最速下降優(yōu)化器的具體實(shí)現(xiàn)57
5.3 一個目標(biāo)函數(shù)的優(yōu)化例子62
5.3.1 單元測試示例：偏導(dǎo)數(shù)的計(jì)算62
5.3.2 單元測試示例：目標(biāo)函數(shù)的參數(shù)優(yōu)化64
5.4 習(xí)題66
第6章 遺傳算法優(yōu)化器67
6.1 遺傳算法概述67
6.1.1 遺傳算法的目標(biāo)67
6.1.2 遺傳算法的基本過程68
6.2 遺傳算法優(yōu)化器的實(shí)現(xiàn)71
6.2.1 遺傳算法優(yōu)化器主體流程的實(shí)現(xiàn)71
6.2.2 遺傳算法優(yōu)化器各算子的實(shí)現(xiàn)74
6.3 一個目標(biāo)函數(shù)的優(yōu)化例子82
6.4 習(xí)題85
第4篇 算法模型層
第7章 分類和回歸模型88
7.1 分類和回歸模型概述88
7.2 基礎(chǔ)回歸模型89
7.2.1 線性回歸模型89
7.2.2 對數(shù)回歸模型92
7.2.3 指數(shù)回歸模型94
7.2.4 冪函數(shù)回歸模型97
7.2.5 多項(xiàng)式回歸模型100
7.3 分類回歸分析的例子102
7.3.1 示例：驗(yàn)證對數(shù)回歸模型102
7.3.2 示例：對比不同模型104
7.4 習(xí)題108
第8章 多層神經(jīng)網(wǎng)絡(luò)模型109
8.1 多層神經(jīng)網(wǎng)絡(luò)模型概述109
8.1.1 網(wǎng)絡(luò)模型的表達(dá)形式109
8.1.2 前饋運(yùn)算111
8.1.3 反向傳播112
8.2 多層神經(jīng)網(wǎng)絡(luò)模型的實(shí)現(xiàn)115
8.3 多層神經(jīng)網(wǎng)絡(luò)模型示例122
8.4 習(xí)題125
第9章 聚類模型126
9.1 K-means模型126
9.1.1 K-means聚類模型概述126
9.1.2 K-means模型的實(shí)現(xiàn)128
9.1.3 示例：一個聚類的例子131
9.2 GMM134
9.2.1 從一維高斯函數(shù)到多維高斯函數(shù)134
9.2.2 GMM概述136
9.2.3 GMM的實(shí)現(xiàn)139
9.2.4 示例：對比K-means模型144
9.3 習(xí)題147
第10章 時間序列模型148
10.1 指數(shù)平滑模型148
10.1.1 移動平均模型148
10.1.2 一次指數(shù)平滑模型149
10.1.3 二次指數(shù)平滑模型150
10.2 Holt-Winters模型150
10.2.1 Holt-Winters模型概述150
10.2.2 Holt-Winters模型的實(shí)現(xiàn)151
10.2.3 示例：時間序列的預(yù)測156
10.3 習(xí)題160
第11章 降維和特征提取161
11.1 降維的目的161
11.2 主成分分析模型162
11.2.1 主成分分析方法概述162
11.2.2 主成分分析模型的實(shí)現(xiàn)165
11.2.3 示例：降維提取主要特征167
11.3 自動編碼機(jī)模型170
11.3.1 非線性的主成分分析170
11.3.2 自動編碼機(jī)原理概述171
11.3.3 自動編碼機(jī)模型的實(shí)現(xiàn)172
11.3.4 示例：對比主成分分析173
11.4 習(xí)題176
第5篇 業(yè)務(wù)功能層
第12章 時間序列異常檢測178
12.1 時間序列異常檢測的應(yīng)用場景178
12.2 時間序列異常檢測的基本原理178
12.2.1 基于預(yù)測的時間序列異常檢測179
12.2.2 閾值的估計(jì)179
12.3 時間序列異常檢測功能服務(wù)的實(shí)現(xiàn)180
12.4 應(yīng)用實(shí)例：找出數(shù)據(jù)中的異常記錄182
12.5 習(xí)題183
第13章 離群點(diǎn)檢測184
13.1 離群點(diǎn)檢測的應(yīng)用場景184
13.2 離群點(diǎn)檢測的基本原理185
13.2.1 基于多維高斯函數(shù)檢測離群點(diǎn)186
13.2.2 數(shù)據(jù)的有效降維188
13.3 離群點(diǎn)檢測功能服務(wù)的實(shí)現(xiàn)188
13.4 應(yīng)用實(shí)例：找出數(shù)據(jù)中的異常記錄191
13.5 習(xí)題193
第14章 趨勢線擬合194
14.1 趨勢線擬合的應(yīng)用場景194
14.2 趨勢線擬合的基本原理195
14.2.1 基于不同基礎(chǔ)回歸模型的擬合196
14.2.2 選取合適的回歸模型196
14.3 趨勢線擬合功能服務(wù)的實(shí)現(xiàn)196
14.4 應(yīng)用實(shí)例：對樣本數(shù)據(jù)進(jìn)行趨勢線擬合201
14.5 習(xí)題203