目錄
前言
第1章 大數據概述 1
1.1 問題的提出 2
1.1.1 電子數據迅速增加 2
1.1.2 數據孕育巨大的經濟價值 3
1.1.3 數據是國家的核心資產 4
1.2 大數據的產生源泉 4
1.2.1 互聯(lián)網世界 5
1.2.2 物理世界 6
1.3 大數據的概念 7
1.3.1 數據容量 7
1.3.2 數據類型 8
1.3.3 價值密度 8
1.3.4 數據傳播速度 9
1.3.5 真實性 9
1.4 大數據的特性 9
1.4.1 價值 9
1.4.2 非結構性 9
1.4.3 不完備性 10
1.4.4 時效性 10
1.4.5 安全性 10
1.4.6 可靠性 10
1.5 大數據技術概述 10
1.5.1 大數據技術的主要內容 11
1.5.2 大數據的處理過程 12
1.5.3 大數據技術的特征 13
1.5.4 大數據的關鍵問題與關鍵技術 14
1.6 大數據應用趨勢 16
1.6.1 大數據細分市場 17
1.6.2 大數據推動企業(yè)發(fā)展 17
1.6.3 大數據分析的新方法出現(xiàn) 17
1.6.4 大數據與云計算高度融合 17
1.6.5 大數據一體設備陸續(xù)出現(xiàn) 17
1.6.6 大數據安全日益重視 18
1.7 大數據應用 18
1.7.1 判斷大數據應用成功的指標 18
1.7.2 大數據技術的應用 19
1.8 大數據的展望 22
1.8.1 資源與投入 23
1.8.2 工程技術 23
1.8.3 復雜網絡分析 23
1.8.4 涉及眾多領域 23
1.8.5 構建大數據生態(tài)環(huán)境 23
本章小結 23
第2章 科學研究四種范式 24
2.1 科學研究第一范式 25
2.1.1 科學實驗特點 25
2.1.2 科學實驗步驟 26
2.1.3 科學實驗分類 26
2.1.4 科學實驗構成 27
2.1.5 科學實驗程序 28
2.1.6 科學研究第一范式使用原則 29
2.2 科學研究第二范式 30
2.2.1 科學理論的特征 30
2.2.2 科學理論的結構 31
2.2.3 科學理論的價值 31
2.2.4 建立科學理論體系的一般方法 32
2.3 科學研究第三范式 33
2.3.1 概述 33
2.3.2 離散模型的模擬 34
2.3.3 連續(xù)系統(tǒng)的模擬 35
2.3.4 模擬語言 35
2.4 科學研究第四范式 36
2.4.1 數據密集型計算 36
2.4.2 格雷法則 38
2.4.3 第四范式的核心內容 40
本章小結 41
第3章 分布系統(tǒng)設計的CAP 理論 42
3.1 分布式系統(tǒng)的伸縮性 42
3.1.1 可伸縮性的概念 43
3.1.2 影響橫向擴展的主要因素 44
3.2 橫向擴展方案 47
3.2.1 可伸縮共享數據庫 47
3.2.2 對等復制的橫向擴展方案 48
3.2.3 鏈接服務器和分布式查詢 49
3.2.4 分布式分區(qū)視圖 50
3.2.5 數據依賴型路由的橫向擴展 50
3.3 CAP 理論 51
3.3.1 分布系統(tǒng)設計的核心系統(tǒng)需求 51
3.3.2 CAP 定理 53
3.4 BASE 模型 56
3.4.1 三個核心需求分析 56
3.4.2 ACID、BASE 與CAP 的關系 57
3.4.3 CAP 與延遲 58
3.4.4 CAP 理論的進一步研究 58
3.5 Web 分布式系統(tǒng)設計 60
3.5.1 系統(tǒng)核心需求 60
3.5.2 系統(tǒng)服務 61
3.5.3 冗余 62
3.5.4 分區(qū) 62
本章小結 64
第4章 NoSQL 數據庫 65
4.1 NoSQL 概述 65
4.1.1 非結構化問題 65
4.1.2 NoSQL 的產生 66
4.2 NoSQL 的特點與問題 67
4.2.1 NoSQL 的特點 67
4.2.2 NoSQL 問題 68
4.3 NoSQL 的主要存儲方式 69
4.3.1 鍵值存儲方式 69
4.3.2 文檔存儲方式 72
4.3.3 列存儲方式 73
4.3.4 圖形存儲方式 76
4.3.5 各種典型的存儲方式所對應的NoSQL 數據庫 77
4.4 常用的NoSQL 數據庫 78
4.4.1 Cassandra 78
4.4.2 Lucene/Solr 78
4.4.3 Riak 79
4.4.4 CouchDB 79
4.4.5 Neo4J 79
4.4.6 Oracle 的NoSQL 79
4.4.7 Hadoop 的HBase 79
4.4.8 Bigtable/ Accumulo/ Hypertable 80
4.4.9 DynamoDB 80
4.4.10 MongoDB 80
本章小結 82
第5章 復雜網絡 83
5.1 概述 83
5.1.1 復雜網絡概念 84
5.1.2 社會網絡概述 84
5.1.3 社會計算 86
5.2 社會網絡應用 87
5.2.1 知識獲取分析 87
5.2.2 知識類型與傳遞 88
5.2.3 知識創(chuàng)新 89
5.3 社會網絡分析 89
5.3.1 社會網絡分析概述 89
5.3.2 社會網絡分析的原理 90
5.3.3 社會網絡分析的特征 90
5.3.4 社會網絡分析的常用方法 90
5.4 社會網絡中的隱私保護 91
5.4.1 用戶隱私面臨的威脅 92
5.4.2 身份隱私攻擊與保護 93
5.4.3 面向用戶關系的攻擊及保護 93
5.4.4 萬維網用戶隱私保護規(guī)范 93
5.5 社會感知計算 94
5.5.1 社會感知計算概念 94
5.5.2 社會感知計算的主要內容 94
5.6 人類通信方式 95
5.6.1 通信方式的演化 95
5.6.2 六度分隔理論 96
5.6.3 150 法則 98
5.6.4 唯象理論與唯象方法 98
5.7 社交網站 99
5.7.1 社交網站概述 99
5.7.2 社交網站的作用 99
5.7.3 移動社交網絡 100
5.7.4 Web 2.0 網站 101
5.7.5 Web 2.0 開發(fā)平臺與必備要素 104
5.7.6 Web 3.0 網站 105
本章小結 105
第6章 MapReduce 分布編程模型 106
6.1 函數式編程范式 106
6.1.1 函數型語言 106
6.1.2 函數式編程 107
6.2 映射函數與化簡函數 108
6.2.1 映射與映射函數 108
6.2.2 化簡與化簡函數 109
6.3 MapReduce 計算 110
6.4 基于Hadoop 平臺的分布式計算 111
6.4.1 Hadoop 概述 111
6.4.2 分布式系統(tǒng)與Hadoop 112
6.4.3 SQL 數據庫和Hadoop 113
6.4.4 基于Hadoop 的分布式計算 114
本章小結 119
第7章 大數據存儲 120
7.1 大數據存儲概述 120
7.1.1 大數據存儲模型 121
7.1.2 大數據存儲問題 121
7.2 存儲方式 122
7.2.1 存儲介質 122
7.2.2 直接連接存儲 122
7.2.3 網絡連接存儲 124
7.2.4 存儲域網絡存儲 125
7.2.5 IP-SAN 126
7.2.6 三種存儲方式的比較 126
7.3 大數據的存儲 127
7.3.1 數據容量問題 127
7.3.2 大圖數據 127
7.3.3 分布式存儲的架構 129
7.3.4 數據存儲管理 130
7.4 數據云存儲 132
7.4.1 云存儲的意義與問題 133
7.4.2 技術措施 133
7.5 數據存儲的可靠性 135
7.5.1 磁盤與磁盤陣列的可靠性 136
7.5.2 文件系統(tǒng)的可靠性 138
本章小結 138
第8章 大數據分析 139
8.1 數據分析概述 140
8.1.1 數據分析的概念 140
8.1.2 數據分析的目的與意義 140
8.1.3 數據分析的基本方法 141
8.1.4 數據分析的類型 146
8.1.5 數據分析的步驟 147
8.2 大數據分析基礎 147
8.2.1 可視化分析 148
8.2.2 數據挖掘 148
8.2.3 大數據預測分析 148
8.2.4 語義引擎 148
8.2.5 數據質量和數據管理 148
8.2.6 大數據的離線與在線分析 148
8.3 大數據預測分析 149
8.3.1 大數據預測分析關鍵因素 150
8.3.2 大數據預測分析演進方向 150
8.3.3 大數據預測分析相關問題 151
8.3.4 輿情監(jiān)測與分析 152
8.3.5 輿情報告圖表制作 153
8.4 大數據分析應用 154
8.4.1 為客戶提供服務 154
8.4.2 優(yōu)化業(yè)務流程 154
8.4.3 改善生活 155
8.4.4 提高醫(yī)療條件 155
8.4.5 提高體育成績 155
8.4.6 優(yōu)化機器和設備性能 155
8.4.7 改善安全和執(zhí)法 155
8.4.8 改進和優(yōu)化城市 155
8.4.9 金融交易 156
8.4.10 電信業(yè)務 156
8.4.11 銷售 156
8.5 大數據分析平臺與工具 156
8.5.1 大數據分析基礎平臺 156
8.5.2 大數據分析的工具 158
本章小結 160
第9章 大數據挖掘 161
9.1 數據挖掘概述 162
9.1.1 數據挖掘的定義 162
9.1.2 數據挖掘的分類 163
9.1.3 數據挖掘的技術 163
9.2 數據挖掘對象與過程 164
9.2.1 數據挖掘對象 164
9.2.2 數據挖掘過程 164
9.2.3 數據挖掘過程工作量 165
9.3 數據挖掘的常用方法 166
9.3.1 神經網絡方法 166
9.3.2 遺傳算法 166
9.3.3 決策樹方法 166
9.3.4 粗集方法 166
9.3.5 覆蓋正例排斥反例方法 167
9.3.6 統(tǒng)計分析方法 167
9.3.7 模糊集方法 167
9.4 數據挖掘的幾個問題 167
9.4.1 數據挖掘與數據分析的區(qū)別 167
9.4.2 數據挖掘與數據倉庫 167
9.4.3 數據挖掘和OLAP 的比較 168
9.4.4 數據挖掘與人工智能 169
9.4.5 軟硬件發(fā)展對數據挖掘的影響 169
9.4.6 數據挖掘和統(tǒng)計分析的區(qū)別 169
9.4.7 Web 挖掘和數據挖掘的區(qū)別 170
9.5 關聯(lián)規(guī)則 170
9.5.1 關聯(lián)規(guī)則定義 170
9.5.2 關聯(lián)規(guī)則分類 171
9.5.3 關聯(lián)規(guī)則的挖掘過程 171
9.5.4 關聯(lián)規(guī)則應用 172
9.6 數據挖掘的經典算法 172
9.6.1 Apriori 算法集 173
9.6.2 劃分算法 173
9.6.3 FP-樹頻集算法 173
9.7 大數據挖掘技術 173
9.7.1 大數據挖掘關鍵技術 174
9.7.2 大數據挖掘策略 176
9.8 大數據挖掘應用 176
9.8.1 市場營銷 177
9.8.2 銷售礦泉水 178
9.8.3 物流 178
9.8.4 CRM 179
本章小結 181
第10章 大數據可視化 182
10.1 數據可視化技術概述 182
10.1.1 數據可視化技術的產生史 183
10.1.2 數據可視化技術適用范圍 183
10.1.3 信息展現(xiàn)方式 183
10.1.4 數據、信息及知識 185
10.1.5 交互式處理 185
10.2 科學可視化 185
10.2.1 科學可視化的概念與過程 186
10.2.2 大數據科學可視化的技術 186
10.3 信息可視化 189
10.3.1 信息可視化概念 189
10.3.2 知識發(fā)現(xiàn) 190
10.3.3 知識發(fā)現(xiàn)工具 191
10.3.4 信息可視化技術的應用 191
10.4 數據可視化應用 192
10.4.1 數據可視化的概念 192
10.4.2 數據可視化技術的特點 192
10.4.3 數據可視化技術的相關概念 193
10.4.4 數據可視化技術的應用 193
10.5 大數據可視分析 194
10.5.1 大數據可視分析的概念 195
10.5.2 大數據可視分析的方法 195
本章小結 198
第11章 大數據安全 199
11.1 數據安全概述 199
11.1.1 數據安全的定義 200
11.1.2 數據處理與存儲的安全 200
11.1.3 數據安全的基本特點 200
11.1.4 威脅數據安全的主要因素 201
11.1.5 安全制度與防護技術 202
11.1.6 典型應用 203
11.2 安全措施實現(xiàn) 208
11.2.1 網絡分段 208
11.2.2 數據鏈路層的物理分段 208
11.2.3 VLAN 的劃分 208
11.3 電子商務安全 209
11.3.1 計算機網絡安全的內容 209
11.3.2 計算機商務交易安全的內容 210
11.4 大數據安全 211
11.4.1 大數據的不安全因素 211
11.4.2 大數據安全的關鍵問題 212
11.4.3 大數據安全措施 213
11.5 云安全 214
11.5.1 云計算中用戶的安全需求 214
11.5.2 威脅模型 215
11.5.3 云安全的支撐技術問題 215
11.5.4 用戶數據隱私保護 216
11.5.5 云計算執(zhí)行環(huán)境的可信性 216
11.5.6 資源共享問題 217
本章小結 217
第12章 大數據機器學習 218
12.1 機器學習概述 219
12.1.1 機器學習的產生與發(fā)展 219
12.1.2 機器學習的概念 219
12.1.3 機器學習理論及研究 220
12.1.4 機器學習系統(tǒng)的結構 221
12.2 機器學習類型 222
12.2.1 基于學習策略的學習分類 222
12.2.2 基于應用領域的學習分類 223
12.2.3 基于綜合因素的學習分類 223
12.3 知識表示形式 224
12.4 大數據機器學習 225
12.4.1 大數據機器學習的特點 226
12.4.2 大數據機器學習的評測指標 227
12.5 大數據機器學習的應用 228
12.5.1 基于大數據的空氣質量推斷 228
12.5.2 人與建筑的關系分析 228
12.5.3 針對全球問題的預測模型 229
12.5.4 全球地表覆蓋制圖可視化與數據分析 229
本章小結 229
第13章 大數據推薦技術 230
13.1 概述 231
13.1.1 推薦系統(tǒng)的產生與發(fā)展 231
13.1.2 推薦系統(tǒng)的概念 231
13.2 推薦系統(tǒng)架構 232
13.2.1 用戶特征提取模塊 232
13.2.2 相關物品檢索模塊 232
13.2.3 推薦結果排序模塊 232
13.3 推薦系統(tǒng)類型 232
13.3.1 基于用戶行為數據推薦 232
13.3.2 基于用戶標簽數據推薦 233
13.3.3 基于上下文信息推薦 233
13.3.4 基于社交網絡數據推薦 233
13.4 推薦系統(tǒng)的評判標準 234
13.5 推薦算法 235
13.5.1 基于人口統(tǒng)計學的推薦算法 235
13.5.2 基于內容的推薦算法 235
13.5.3 協(xié)同過濾推薦算法 236
13.5.4 混合推薦算法 238
13.6 推薦模式與系統(tǒng) 238
13.6.1 推薦模式 238
13.6.2 下一代推薦系統(tǒng) 239
13.7 大數據推薦技術 240
13.7.1 數據稀疏性 241
13.7.2 大數據推薦系統(tǒng)冷啟動 241
13.7.3 多樣性與精確性的兩難命題 241
13.7.4 增量計算 242
13.7.5 推薦系統(tǒng)的魯棒性 242
13.7.6 推薦系統(tǒng)效果評估 242
13.7.7 用戶行為模式的挖掘和利用 242
13.7.8 用戶界面與用戶體驗 243
13.7.9 多維數據的交叉利用 243
13.7.10 社會推薦 244
13.8 大數據人才推薦系統(tǒng) 244
本章小結 245
第14章 數據科學與數據思維 246
14.1 數據科學概述 246
14.1.1 數據科學定義與信息化過程 246
14.1.2 數據科學研究內容 247
14.1.3 數據科學的研究過程與體系框架 248
14.2 大數據研究方式 249
14.2.1 大數據分析的是全面的數據 249
14.2.2 重視數據的復雜性與弱化精確性 251
14.2.3 關注數據的相關性而非因果關系 251
14.3 數據專家 252
14.3.1 數據科學家 252
14.3.2 數據工程師 254
14.4 數據思維 254
14.4.1 思維的概念與特征 254
14.4.2 思維的形成 256
14.4.3 計算思維 258
14.4.4 網絡思維 260
14.4.5 系統(tǒng)思維 263
14.4.6 大數據思維 264
本章小結 264
參考文獻 265