前 言
2020年年初,寫下本書扉頁的時(shí)候,我們正處在一個特殊的歷史背景下——新冠疫情在全球開始流行;而2023年年初,本書寫作與編輯工作基本結(jié)束的時(shí)候,我們已經(jīng)基本擺脫了新冠疫情的束縛。令人欣慰的是,我國GDP總量在2020年首次突破100萬億元,達(dá)到全年2.2%的經(jīng)濟(jì)增速。光鮮的GDP數(shù)據(jù)背后依靠的是數(shù)字經(jīng)濟(jì)(尤其在遠(yuǎn)程辦公和數(shù)字抗疫方面)的高速發(fā)展。
大數(shù)據(jù)、區(qū)塊鏈、人工智能、云計(jì)算、物聯(lián)網(wǎng)等新一代信息技術(shù)正對人類社會的發(fā)展起著越來越重要的作用。從網(wǎng)絡(luò)熱搜也能看出這些新興技術(shù)的關(guān)注度:我們在谷歌上搜索“大數(shù)據(jù)”,大概可以得到8.62億條結(jié)果;搜索“區(qū)塊鏈”時(shí),大概可以得到652萬條結(jié)果;搜索“數(shù)據(jù)共享”時(shí),大概可以得到333萬條結(jié)果。
可以說,數(shù)據(jù)承載和記錄了人類社會從萌芽到信息爆炸時(shí)代的文明印記,從結(jié)繩記事時(shí)期到當(dāng)前的大數(shù)據(jù)時(shí)代,都離不開數(shù)據(jù)的身影。數(shù)據(jù)在維基百科中被描述為“關(guān)于一個或多個人或物體的一組定性或定量變量”,人們在提到包羅萬象的數(shù)據(jù)時(shí),為了充分體現(xiàn)其5V特性,即Volume(容量)、Velocity(速率)、Variety(多樣性)、Value(價(jià)值)、Veracity(真實(shí)性),往往會默認(rèn)為“大數(shù)據(jù)”(Big Data)。
而區(qū)塊鏈具備一個傳奇故事的所有要素:神龍見首不見尾的作者,開創(chuàng)性的應(yīng)用,一石激起千層浪的社會反響。我們不知道,當(dāng)神秘的作者中本聰敲下第一行區(qū)塊鏈代碼時(shí),他是否能夠想象自己的代碼創(chuàng)造出了新奇的、充滿活力的新時(shí)代,F(xiàn)在提到區(qū)塊鏈,人們已逐步從虛擬貨幣轉(zhuǎn)化為關(guān)注技術(shù)本身。未來,區(qū)塊鏈締造的價(jià)值將與數(shù)據(jù)共生。2023年2月份,中共中央、國務(wù)院印發(fā)的《數(shù)字中國建設(shè)整體布局規(guī)劃》指出,建設(shè)數(shù)字中國是數(shù)字時(shí)代推進(jìn)中國式現(xiàn)代化的重要引擎,是構(gòu)筑國家競爭新優(yōu)勢的有力支撐。加快數(shù)字中國建設(shè),對全面建設(shè)社會主義現(xiàn)代化國家、全面推進(jìn)中華民族偉大復(fù)興具有重要意義和深遠(yuǎn)影響。要強(qiáng)化數(shù)字中國關(guān)鍵能力,一是構(gòu)筑自立自強(qiáng)的數(shù)字技術(shù)創(chuàng)新體系,二是筑牢可信可控的數(shù)字安全屏障。區(qū)塊鏈與數(shù)據(jù)共享技術(shù),都是強(qiáng)化數(shù)字中國關(guān)鍵能力的有力支撐。
市面上區(qū)塊鏈相關(guān)書籍已經(jīng)很多,有科普性質(zhì)的,也有開發(fā)性質(zhì)的。本書的作者團(tuán)隊(duì)有幸負(fù)責(zé)或參與研發(fā)了幾個與區(qū)塊鏈和隱私計(jì)算相關(guān)的數(shù)據(jù)共享系統(tǒng),也在聯(lián)邦學(xué)習(xí)、知識圖譜等領(lǐng)域進(jìn)行了深入研究,這為本書的創(chuàng)作提供了很好的素材和知識、經(jīng)驗(yàn)方面的積累。與其他區(qū)塊鏈書籍相比,本書既有區(qū)塊鏈與數(shù)據(jù)共享方面的理論介紹,也有實(shí)驗(yàn)方法、應(yīng)用系統(tǒng)架構(gòu)和實(shí)踐方面的經(jīng)驗(yàn)分享,在強(qiáng)調(diào)理論的同時(shí)注重實(shí)踐和應(yīng)用。
本書的第1、2章為概述,主要介紹數(shù)據(jù)和數(shù)據(jù)共享的相關(guān)背景;第3、4章側(cè)重基礎(chǔ)理論,分別介紹與數(shù)據(jù)共享相關(guān)的區(qū)塊鏈和隱私保護(hù)技術(shù);第5章側(cè)重工程實(shí)現(xiàn),剖析了數(shù)據(jù)共享平臺SOLAR的架構(gòu)設(shè)計(jì)與關(guān)鍵代碼;第6~9章側(cè)重行業(yè)應(yīng)用實(shí)踐,分別介紹通用意義的數(shù)據(jù)交易平臺、醫(yī)療數(shù)據(jù)共享,并拓展到知識與數(shù)據(jù)共建共享,分析其架構(gòu)設(shè)計(jì)以及區(qū)塊鏈和隱私計(jì)算技術(shù)的應(yīng)用;第10章對未來的應(yīng)用進(jìn)行展望。
本書在撰寫過程中,除了署名的閭海榮、鐘軍、鄭靈、李艷,參與編寫人員還包括周容辰、許瑞坤、石順中、沈運(yùn)恒、陶焜等,也得到了非常多師長、同事和朋友的幫助。感謝清華大學(xué)數(shù)基生命創(chuàng)新群體首席科學(xué)家張學(xué)工教授,給我寬松的研究環(huán)境、學(xué)術(shù)指導(dǎo),并在多個醫(yī)工交叉方向國家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目中應(yīng)用了我們的研究成果,也感謝清華大學(xué)江瑞教授在學(xué)術(shù)研究方面持續(xù)的幫助和支持;感謝深時(shí)數(shù)字地球國際大科學(xué)計(jì)劃的首席科學(xué)家王成善院士和周成虎院士的指導(dǎo),以及孫旭東、諸云強(qiáng)、杜震洪、羅斌等博士的支持,本書在知識與數(shù)據(jù)共建共享章節(jié)中參考了團(tuán)隊(duì)的部分設(shè)計(jì)成果;感謝翼方健數(shù)的羅震博士、霍尼科的唐建鋒博士和福建省大數(shù)據(jù)集團(tuán)的徐曉清女士,授權(quán)我引用其設(shè)計(jì)案例;感謝福州數(shù)據(jù)技術(shù)研究院的陳陽紅、李藝暉等,以及清華大學(xué)的研究生王天亨、王豐等,協(xié)助我進(jìn)行了大量校稿和圖片設(shè)計(jì)工作;感謝福州數(shù)據(jù)技術(shù)研究院的服務(wù)團(tuán)隊(duì),給我提供了良好的寫作環(huán)境;感謝本書的編輯章海濤先生,在我一再拖稿的情況下,對我保持了足夠的耐心,并給予了鼓勵;最后,由衷地感謝我的父母,以及我的妻子和女兒,他們對我毫無保留的支持,讓我得以從工業(yè)界回到學(xué)術(shù)界,做自己喜歡的工作。
本書的撰寫得到了國家自然科學(xué)基金會“原創(chuàng)探索計(jì)劃”項(xiàng)目NSFC42050101、國家重點(diǎn)研發(fā)計(jì)劃“生物與信息融合”項(xiàng)目2022YFF1202403、國家自然科學(xué)基金會“生物信息學(xué)創(chuàng)新群體”項(xiàng)目NSFC61721003,以及福建省引才“百人計(jì)劃”項(xiàng)目的支持,在此一并表示感謝。
需要說明的是,本書是一本面向工程應(yīng)用實(shí)踐教學(xué)的教科書或參考讀物,書中對區(qū)塊鏈技術(shù)和隱私保護(hù)技術(shù)的核心理論進(jìn)行了介紹,對技術(shù)細(xì)節(jié)并未大篇幅展開介紹,需要對這兩部分深入了解的同學(xué),可以閱讀相關(guān)專業(yè)書籍或相關(guān)論文。此外,本書寫作過程中參詳了大量的團(tuán)隊(duì)和項(xiàng)目組內(nèi)部溝通交流材料,我們進(jìn)行了溯源以追蹤到原始材料的出處,盡可能詳細(xì)羅列了參考文獻(xiàn)并標(biāo)注了引用,但仍有可能有遺漏或錯誤之處,歡迎各位讀者提出建議、反饋和指正。
作 者
2023年3月
目錄
第1章引論1
1.1數(shù)據(jù)的前世今生1
1.1.1樸素的記錄時(shí)代1
1.1.2數(shù)字經(jīng)濟(jì)時(shí)代2
1.1.3數(shù)字孿生時(shí)代3
1.2共享是怎么發(fā)展的4
1.2.1共享——古老的美德4
1.2.2數(shù)據(jù)孤島7
1.2.3共享經(jīng)濟(jì)8
1.3當(dāng)數(shù)據(jù)成為生產(chǎn)要素10
1.4數(shù)據(jù)遇上共享,我們能做什么12
本章小結(jié)13
習(xí)題113
參考文獻(xiàn)13
第2章數(shù)據(jù)共享的現(xiàn)狀15
2.1政策因素15
2.1.1支持政策15
2.1.2約束政策17
2.2困難和挑戰(zhàn)18
2.2.1數(shù)據(jù)權(quán)問題18
2.2.2隱私保護(hù)問題21
2.2.3價(jià)值流動閉環(huán)問題23
本章小結(jié)26
習(xí)題227
參考文獻(xiàn)27
第3章區(qū)塊鏈與數(shù)據(jù)共享技術(shù)29
3.1區(qū)塊鏈背景介紹29
3.1.1區(qū)塊鏈的概念29
3.1.2區(qū)塊鏈的發(fā)展歷程32
3.1.3區(qū)塊鏈抽象模型34
3.1.4區(qū)塊鏈分類39
3.2區(qū)塊鏈的技術(shù)架構(gòu)43
3.2.1數(shù)據(jù)層43
3.2.2網(wǎng)絡(luò)層48
3.2.3共識層50
3.2.4激勵層54
3.2.5合約層55
3.2.6應(yīng)用層56
3.3區(qū)塊鏈技術(shù)的拓展57
3.3.1應(yīng)用拓展57
3.3.2性能拓展58
3.3.3跨鏈兼容62
3.4區(qū)塊鏈的經(jīng)典框架63
3.4.1以太坊63
3.4.2HyperledgerFabric66
3.4.3EOS73
3.4.4IOTA74
3.4.5Filecoin75
3.4.6BAFFLE78
3.5基于區(qū)塊鏈的數(shù)據(jù)共享技術(shù)78
3.5.1區(qū)塊鏈自身難適應(yīng)數(shù)據(jù)共享場景79
3.5.2區(qū)塊鏈實(shí)現(xiàn)數(shù)據(jù)共享安全性優(yōu)化79
本章小結(jié)80
習(xí)題380
參考文獻(xiàn)81
第4章隱私保護(hù)與數(shù)據(jù)共享技術(shù)83
4.1隱私保護(hù)簡介83
4.1.1隱私概念和數(shù)據(jù)匿名84
4.1.2隱私衡量方法86
4.1.3隱私保護(hù)的關(guān)鍵技術(shù)88
4.1.4數(shù)據(jù)發(fā)布隱私保護(hù)89
4.1.5數(shù)據(jù)存儲隱私保護(hù)90
4.1.6數(shù)據(jù)分析隱私保護(hù)93
4.1.7比特幣和區(qū)塊鏈的隱私保護(hù)94
4.2零知識證明100
4.2.1零知識證明的基本原理100
4.2.2交互式零知識證明102
4.2.3非交互式零知識證明103
4.3同態(tài)計(jì)算105
4.3.1同態(tài)加密的定義、安全性和簡單實(shí)例105
4.3.2同態(tài)加密的主要類型106
4.4安全多方計(jì)算108
4.4.1安全多方計(jì)算的基本概念和數(shù)學(xué)模型108
4.4.2安全多方計(jì)算的應(yīng)用場景與案例介紹110
4.4.3混淆電路110
4.4.4不經(jīng)意傳輸112
4.4.5秘密共享113
4.5聯(lián)邦學(xué)習(xí)114
4.5.1聯(lián)邦學(xué)習(xí)概述115
4.5.2聯(lián)邦學(xué)習(xí)的擴(kuò)展和性能提升116
4.5.3聯(lián)邦學(xué)習(xí)的應(yīng)用119
4.5.4聯(lián)邦學(xué)習(xí)中的隱私保護(hù)解決方案119
4.5.5基于差分隱私的隱私保護(hù)120
4.5.6基于安全多方計(jì)算的隱私保護(hù)121
4.6隱私保護(hù)的其他技術(shù)122
4.6.1基于屬性加密122
4.6.2可搜索加密124
4.6.3代理重加密125
本章小結(jié)128
習(xí)題4129
參考文獻(xiàn)129
第5章數(shù)據(jù)共享系統(tǒng)解析與實(shí)現(xiàn)133
5.1數(shù)據(jù)共享簡介133
5.1.1數(shù)據(jù)及數(shù)據(jù)產(chǎn)品定義133
5.1.2傳統(tǒng)數(shù)據(jù)共享模式134
5.1.3數(shù)據(jù)共享趨勢與問題135
5.2可信數(shù)據(jù)共享135
5.2.1可信數(shù)據(jù)共享模式136
5.2.2數(shù)據(jù)共享技術(shù)實(shí)現(xiàn)方案136
5.3SOLAR數(shù)據(jù)共享平臺設(shè)計(jì)139
5.3.1SOLAR平臺的功能140
5.3.2SOLAR平臺的架構(gòu)141
5.3.3SOLAR平臺的技術(shù)選型143
5.3.4SOLAR平臺的遠(yuǎn)程調(diào)用145
5.3.5中心端功能設(shè)計(jì)146
5.3.6邊緣端功能設(shè)計(jì)149
5.4數(shù)據(jù)共享應(yīng)用系統(tǒng)開發(fā)151
5.4.1區(qū)塊鏈智能管理模塊152
5.4.2聯(lián)邦學(xué)習(xí)模塊159
5.4.3邊緣計(jì)算模塊165
5.4.4業(yè)務(wù)邏輯管理模塊169
本章小結(jié)177
習(xí)題5177
參考文獻(xiàn)177
第6章數(shù)據(jù)交易平臺178
6.1交易平臺發(fā)展現(xiàn)狀178
6.1.1國際數(shù)據(jù)交易平臺179
6.1.2政府主導(dǎo)的國內(nèi)數(shù)據(jù)交易平臺180
6.1.3企業(yè)主導(dǎo)的國內(nèi)數(shù)據(jù)交易平臺185
6.2數(shù)據(jù)交易平臺的挑戰(zhàn)188
6.2.1數(shù)據(jù)產(chǎn)品交易特點(diǎn)188
6.2.2交易平臺設(shè)計(jì)的挑戰(zhàn)189
6.3數(shù)據(jù)分類分級方法192
6.3.1分類原則192
6.3.2分類方法193
6.3.3分級原則194
6.3.4分級方法194
6.3.5數(shù)據(jù)資源共享和開放要求196
6.3.6動態(tài)分類分級197
6.3.7數(shù)據(jù)資產(chǎn)交易產(chǎn)品類型197
6.4數(shù)據(jù)定價(jià)策略及實(shí)例198
6.4.1數(shù)據(jù)定價(jià)策略198
6.4.2數(shù)據(jù)定價(jià)模型198
6.4.3數(shù)據(jù)價(jià)值指數(shù)200
6.4.4數(shù)據(jù)定價(jià)方法優(yōu)化201
6.4.5數(shù)據(jù)定價(jià)實(shí)踐案例202
6.5交易平臺架構(gòu)設(shè)計(jì)203
6.5.1設(shè)計(jì)思路203
6.5.2模式變革205
6.5.3功能架構(gòu)207
6.5.4業(yè)務(wù)架構(gòu)209
6.5.5技術(shù)架構(gòu)210
6.5.6數(shù)據(jù)架構(gòu)211
6.5.7安全架構(gòu)212
6.6挑戰(zhàn)的應(yīng)對措施213
6.6.1確權(quán)及合規(guī)性挑戰(zhàn)應(yīng)對:基于數(shù)據(jù)公證的合規(guī)認(rèn)證體系213
6.6.2安全性挑戰(zhàn)應(yīng)對:三流分離的業(yè)務(wù)模式213
6.6.3價(jià)值不確定性挑戰(zhàn)應(yīng)對:數(shù)據(jù)試驗(yàn)融合215
6.6.4安全監(jiān)管挑戰(zhàn)應(yīng)對:子母訂單審核機(jī)制216
6.6.5價(jià)值評估挑戰(zhàn)應(yīng)對:多維度輔助定價(jià)216
6.6.6隱私保護(hù)挑戰(zhàn)應(yīng)對:隱私計(jì)算與統(tǒng)一隱私計(jì)算217
6.6.7安全監(jiān)管挑戰(zhàn)應(yīng)對:全流程鏈上存證監(jiān)管218
本章小結(jié)219
習(xí)題6219
參考文獻(xiàn)219
第7章醫(yī)療數(shù)據(jù)共享221
7.1醫(yī)療數(shù)據(jù)的特點(diǎn)與相關(guān)概念221
7.1.1醫(yī)療數(shù)據(jù)221
7.1.2通用數(shù)據(jù)模型223
7.1.3標(biāo)準(zhǔn)化術(shù)語集225
7.1.4隊(duì)列227
7.1.5從數(shù)據(jù)到證據(jù)230
7.1.6證據(jù)與數(shù)據(jù)質(zhì)量231
7.2醫(yī)療數(shù)據(jù)共享的現(xiàn)狀及挑戰(zhàn)232
7.2.1醫(yī)院內(nèi)部數(shù)據(jù)共享現(xiàn)狀232
7.2.2多中心數(shù)據(jù)協(xié)同現(xiàn)狀234
7.2.3醫(yī)療數(shù)據(jù)共享協(xié)作挑戰(zhàn)234
7.3醫(yī)療數(shù)據(jù)共享平臺的架構(gòu)設(shè)計(jì)235
7.3.1業(yè)務(wù)架構(gòu)235
7.3.2業(yè)務(wù)流程分析235
7.3.3數(shù)據(jù)流設(shè)計(jì)236
7.3.4智能化設(shè)計(jì)236
7.4醫(yī)療數(shù)據(jù)共享平臺的技術(shù)支撐239
7.4.1動態(tài)數(shù)據(jù)架構(gòu)應(yīng)用239
7.4.2隱私安全計(jì)算應(yīng)用240
7.4.3區(qū)塊鏈技術(shù)應(yīng)用241
7.4.4多中心靈活部署241
7.4.5全流程數(shù)據(jù)管理技術(shù)242
7.4.6激勵機(jī)制應(yīng)用243
本章小結(jié)243
習(xí)題7244
參考文獻(xiàn)244
第8章知識與數(shù)據(jù)共建共享245
8.1科研范式變革245
8.2知識圖譜聯(lián)邦構(gòu)建算法248
8.2.1知識圖譜248
8.2.2聯(lián)邦學(xué)習(xí)補(bǔ)充介紹249
8.2.3聯(lián)邦聯(lián)合抽取模型251
8.3知識共建共享平臺258
8.3.1知識共建共享平臺總體設(shè)計(jì)258
8.3.2知識圖譜共建共享機(jī)制263
8.3.3區(qū)塊鏈及隱私計(jì)算技術(shù)應(yīng)用265
8.4數(shù)據(jù)共建共享系統(tǒng)265
本章小結(jié)267
習(xí)題8267
參考文獻(xiàn)268
第9章其他行業(yè)應(yīng)用案例269
9.1供應(yīng)鏈應(yīng)用269
9.1.1場景和需求269
9.1.2區(qū)塊鏈多方協(xié)調(diào)270
9.2版權(quán)溯源與原創(chuàng)性保護(hù)應(yīng)用272
9.2.1場景和需求272
9.2.2區(qū)塊鏈迅捷存證273
9.3房屋租賃應(yīng)用277
9.4云存儲應(yīng)用279
9.5區(qū)塊鏈分布式共享應(yīng)用279
本章小結(jié)280
習(xí)題9280
參考文獻(xiàn)280
第10章展望282