本書基于作者近幾年來的研究開發(fā)成果及應用實踐,對物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)體系進行了系統(tǒng)歸納,闡述了物聯(lián)網(wǎng)環(huán)境下感知數(shù)據(jù)的特性、數(shù)據(jù)模型、事務模型以及調(diào)度處理方法等核心概念及關(guān)鍵技術(shù),并對物聯(lián)網(wǎng)大數(shù)據(jù)存儲、管理、計算與分析的基本概念和關(guān)鍵技術(shù)進行了剖析。本書還介紹了自行研發(fā)的面向物聯(lián)網(wǎng)的ChinDB實時感知數(shù)據(jù)庫系統(tǒng)以及針對云計算環(huán)境下物聯(lián)網(wǎng)大數(shù)據(jù)管理與應用的DeCloud云平臺,介紹了它們在智能交通、智能電廠、教育、安全監(jiān)控等多個行業(yè)的應用。書中所有實例,均來自作者所在團隊的實際應用,大部分在物聯(lián)網(wǎng)項目中得到了實踐應用。本書對物聯(lián)網(wǎng)應用的開發(fā)以及兩化融合、工業(yè)4.0環(huán)境下的大數(shù)據(jù)處理分析具有重要參考價值。
王桂玲,女,1978年生。2007年7月于清華大學計算機科學與技術(shù)系獲計算機科學與技術(shù)工學博士學位。2007年7月至2012年1月先后在中國科學院計算技術(shù)研究所從事博士后、助理研究員工作。2012年1月起在北方工業(yè)大學信息工程學院云計算中心工作。目前研究領(lǐng)域為服務計算、云計算等。曾承擔或參與多項國家自然基金(含重點基金)、973課題、核高基、以及業(yè)界合作項目。目前在JCST、計算機學報、WWW、SCC等高水平國內(nèi)外學術(shù)會議及刊物上發(fā)表論文30余篇,專著2本,獲得軟件登記4項,專利授權(quán)1項,受理專利3項。曾獲中科院計算所優(yōu)秀研究人員稱號、中科院計算所網(wǎng)絡重點實驗室優(yōu)秀員工稱號等獎勵。擔任SOCA'10、SOCA'09、SCDI'12等國際會議PC Member,擔任國內(nèi)多家學術(shù)刊物論文評審。
第1篇 緣起與發(fā)展趨勢篇
第1章 物聯(lián)網(wǎng)與產(chǎn)業(yè)發(fā)展 3
1.1 物聯(lián)網(wǎng)產(chǎn)業(yè)的發(fā)展 3
1.1.1 傳感器與智能硬件 4
1.1.2 物聯(lián)網(wǎng)服務平臺 5
1.1.3 工業(yè)4.0與CPS 5
1.2 物聯(lián)網(wǎng)與大數(shù)據(jù) 7
1.3 物聯(lián)網(wǎng)產(chǎn)業(yè)的機遇與挑戰(zhàn) 9
1.3.1 物聯(lián)網(wǎng)產(chǎn)業(yè)面臨的挑戰(zhàn) 9
1.3.2 物聯(lián)網(wǎng)操作系統(tǒng)與數(shù)據(jù)庫 10
1.3.3 物聯(lián)網(wǎng)大數(shù)據(jù)處理與應用 11
第2章 大數(shù)據(jù)處理技術(shù)的發(fā)展 12
2.1 大數(shù)據(jù)存儲和管理技術(shù) 12
2.1.1 面向大數(shù)據(jù)的文件系統(tǒng) 13
2.1.2 面向大數(shù)據(jù)的數(shù)據(jù)庫系統(tǒng) 15
2.2 大數(shù)據(jù)計算技術(shù) 19
2.2.1 批處理計算模式 19
2.2.2 交互式查詢計算模式 20
2.2.3 流處理計算模式 21
2.2.4 大數(shù)據(jù)實時處理的架構(gòu):Lamda架構(gòu) 23
2.3 大數(shù)據(jù)分析技術(shù) 24
2.3.1 傳統(tǒng)結(jié)構(gòu)化數(shù)據(jù)分析 26
2.3.2 文本數(shù)據(jù)分析 26
2.3.3 多媒體數(shù)據(jù)分析 27
2.3.4 社交網(wǎng)絡數(shù)據(jù)分析 27
2.3.5 物聯(lián)網(wǎng)傳感數(shù)據(jù)分析 28
2.3.6 大數(shù)據(jù)分析技術(shù)的發(fā)展趨勢 28
第2篇 技術(shù)解析篇
第3章 物聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)體系 31
3.1 物聯(lián)網(wǎng)中的大數(shù)據(jù)挑戰(zhàn) 31
3.1.1 互聯(lián)網(wǎng)大數(shù)據(jù)的特征 31
3.1.2 物聯(lián)網(wǎng)大數(shù)據(jù)的特征 34
3.2 技術(shù)體系 37
3.2.1 感知數(shù)據(jù)采集與傳輸 38
3.2.2 感知數(shù)據(jù)管理與實時計算 41
3.2.3 物聯(lián)網(wǎng)平臺與大數(shù)據(jù)中心 42
第4章 感知數(shù)據(jù)特性與模型 44
4.1 感知數(shù)據(jù)的特性分析 44
4.1.1 常用的感知數(shù)據(jù)類型 44
4.1.2 感知數(shù)據(jù)的主要特征 46
4.2 感知數(shù)據(jù)的表示與組織 49
4.2.1 物聯(lián)網(wǎng)數(shù)據(jù)模型 49
4.2.2 時態(tài)對象模型 51
4.3 感知數(shù)據(jù)庫的定位 52
4.3.1 感知數(shù)據(jù)庫的定位 52
4.3.2 感知數(shù)據(jù)庫的特征 53
4.4 感知數(shù)據(jù)庫與傳統(tǒng)數(shù)據(jù)庫 53
4.4.1 感知數(shù)據(jù)庫與關(guān)系數(shù)據(jù)庫 53
4.4.2 感知數(shù)據(jù)庫與實時數(shù)據(jù)庫系統(tǒng) 54
4.4.3 感知數(shù)據(jù)庫與工廠數(shù)據(jù)庫系統(tǒng) 55
4.4.4 感知數(shù)據(jù)庫與流數(shù)據(jù)處理系統(tǒng) 55
第5章 感知數(shù)據(jù)庫管理系統(tǒng) 57
5.1 感知數(shù)據(jù)庫的總體設計 57
5.1.1 總體設計的主要原則 57
5.1.2 感知數(shù)據(jù)庫的設計框架 58
5.2 感知數(shù)據(jù)庫的分布部署體系 62
5.2.1 系統(tǒng)的集群部署模式 62
5.2.2 多層級的系統(tǒng)部署體系 64
5.2.3 服務分布的部署體系 66
5.3 感知數(shù)據(jù)庫中的關(guān)鍵技術(shù) 67
5.3.1 智能設備及傳感器接口技術(shù) 67
5.3.2 流數(shù)據(jù)實時在線處理技術(shù) 68
5.3.3 事件驅(qū)動的高效處理機制 69
5.3.4 感知數(shù)據(jù)的壓縮存儲技術(shù) 75
第6章 實時事務調(diào)度處理技術(shù) 79
6.1 常見事務特性分析 79
6.1.1 感知事務 80
6.1.2 觸發(fā)事務 80
6.1.3 用戶事務 81
6.2 事務調(diào)度與并發(fā)控制 81
6.2.1 事務的調(diào)度方法 81
6.2.2 并發(fā)控制策略 82
6.3 服務器與操作系統(tǒng) 83
6.3.1 服務器體系結(jié)構(gòu)與發(fā)展 83
6.3.2 操作系統(tǒng)的多任務機制 87
6.4 事務的執(zhí)行框架與模式 90
6.4.1 通用系統(tǒng)模型與調(diào)度方法 91
6.4.2 事務處理框架的設計模式 91
6.5 系統(tǒng)框架的分析與性能優(yōu)化 94
第7章 物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理 97
7.1 云文件系統(tǒng)的關(guān)鍵技術(shù) 99
7.1.1 HDFS的目標和基本假設條件 99
7.1.2 HDFS體系架構(gòu) 100
7.1.3 性能保障 102
7.2 NoSQL數(shù)據(jù)庫關(guān)鍵技術(shù) 106
7.2.1 NoSQL數(shù)據(jù)庫概述 106
7.2.2 基于NoSQL數(shù)據(jù)庫的物聯(lián)網(wǎng)大數(shù)據(jù)存儲與管理 118
第8章 物聯(lián)網(wǎng)大數(shù)據(jù)計算與分析 123
8.1 物聯(lián)網(wǎng)大數(shù)據(jù)批處理計算 123
8.1.1 MapReduce的設計思想 124
8.1.2 MapReduce的工作機制 126
8.1.3 MapReduce在物聯(lián)網(wǎng)大數(shù)據(jù)中的應用 128
8.2 物聯(lián)網(wǎng)大數(shù)據(jù)交互式查詢 130
8.2.1 原生SQL on HBase 131
8.2.2 SQL on Hadoop 132
8.2.3 基于HBase的交互式查詢 133
8.3 物聯(lián)網(wǎng)大數(shù)據(jù)流式計算 134
8.3.1 流式計算的需求特點 134
8.3.2 流數(shù)據(jù)基本概念 135
8.3.3 流數(shù)據(jù)查詢操作 140
8.3.4 流數(shù)據(jù)定制化服務 142
8.3.5 評測基準 145
8.3.6 Spark Streaming及其在物聯(lián)網(wǎng)大數(shù)據(jù)中的應用 146
8.4 物聯(lián)網(wǎng)大數(shù)據(jù)分析 150
8.4.1 物聯(lián)網(wǎng)大數(shù)據(jù)OLAP多維分析 151
8.4.2 物聯(lián)網(wǎng)大數(shù)據(jù)深層次分析 157
第3篇 產(chǎn)品研發(fā)篇
第9章 物聯(lián)網(wǎng)網(wǎng)關(guān)CubeOne 175
9.1 工業(yè)物聯(lián)網(wǎng)網(wǎng)關(guān) 175
9.1.1 CubeOne產(chǎn)品概述 175
9.1.2 CubeOne功能特點 176
9.1.3 CubeOne的應用領(lǐng)域 178
9.2 無線傳感器網(wǎng)絡網(wǎng)關(guān) 178
9.2.1 無線傳感器網(wǎng)絡概述 178
9.2.2 ZigBee-WiFi網(wǎng)關(guān) 180
9.2.3 ZigBee網(wǎng)絡應用案例 182
第10章 ChinDB感知數(shù)據(jù)庫系統(tǒng) 185
10.1 ChinDB系統(tǒng)概述 185
10.2 ChinDB組成與功能特點 186
10.3 ChinDB數(shù)據(jù)組織管理 188
10.3.1 標簽點及其屬性 188
10.3.2 標簽點的組織方式 189
10.3.3 關(guān)系數(shù)據(jù)管理 190
10.3.4 歷史數(shù)據(jù)管理 190
10.4 ECA規(guī)則與實時計算 191
10.5 ChinDB的HA方案 192
10.5.1 HA概述及模式分類 192
10.5.2 ChinDB HA的部署模式 193
10.6 物聯(lián)網(wǎng)應用平臺 195
10.6.1 物聯(lián)網(wǎng)平臺概述 195
10.6.2 平臺主要特點 196
10.6.3 應用領(lǐng)域與應用案例 198
第11章 DeCloud物聯(lián)大數(shù)據(jù)云平臺 202
11.1 DeCloud組成 202
11.1.1 軟件概述 202
11.1.2 通信服務 204
11.1.3 計算服務 206
11.1.4 存儲服務 207
11.1.5 數(shù)據(jù)發(fā)布/訂閱服務 208
11.2 DeCloud在智能交通領(lǐng)域的應用 209
11.3 DeCloud在教育物聯(lián)網(wǎng)云服務平臺中的應用 215
11.4 DeCloud在電廠設備故障預警的應用 218
11.5 DeCloud在電梯安全監(jiān)控中的應用 222
11.6 DeCloud在高精度位置服務中的應用 225
總結(jié)與展望