數(shù)據(jù)孤島問題已經(jīng)成為制約人工智能發(fā)展的主要阻礙。在此背景下, 聯(lián)邦學習(Federated Learning) 作為一種新興的機器學習技術范式, 憑借其突出的隱私保護能力,展示出在諸多業(yè)務場景中的應用價值。
本書從聯(lián)邦學習的基礎知識出發(fā), 深入淺出地介紹了中央服務器優(yōu)化和聯(lián)邦機器學習的算法體系, 詳細闡述了聯(lián)邦學習中涉及的加密通信模塊的相關知識, 以定性和定量的雙視角建立了聯(lián)邦學習服務質量的評估維度、理論體系, 還延伸介紹了提升聯(lián)邦學習服務質量的方法, 并對聯(lián)邦學習的研究趨勢進行了深入探討與分析, 可以對設計和選擇算法提供工具式的參考和幫助。
本書是高校、科研院所和業(yè)界相關學者研究聯(lián)邦學習技術的理想讀本, 也適合大數(shù)據(jù)、人工智能行業(yè)的從業(yè)者和感興趣的讀者參考。
1. 聯(lián)邦學習是目前人工智能領域較受重視的技術范式之一，谷歌、IBM、英偉達、騰訊等眾多巨頭入場，李開復力推； 2. 由平安科技聯(lián)邦學習團隊執(zhí)筆，牽頭作者為國內(nèi)聯(lián)邦學習推動者、平安科技副總工程師和技術部總經(jīng)理王健宗博士； 3. 從基礎知識出發(fā)，深入淺出的介紹了中央服務器優(yōu)化和聯(lián)邦機器學習的算法體系，適合大數(shù)據(jù)、人工智能行業(yè)從業(yè)者參考； 4. 廣泛考慮工程實踐，系統(tǒng)介紹聯(lián)邦學習算法，中國科學院信息工程研究所提供加密理論方面支持，保障理論前沿性。
王健宗
博士，美國佛羅里達大學人工智能博士后，工程師，某大型金融集團科技公司聯(lián)邦學習團隊負責人，中國計算機學會杰出會員、大數(shù)據(jù)和量子計算專業(yè)委員會委員，長期從事聯(lián)邦學習、隱私計算技術研發(fā)和平臺搭建工作，在聯(lián)邦學習、人工智能、云計算、大數(shù)據(jù)等領域發(fā)表國際論文 50 余篇，出版《深入理解 AutoML 和 AutoDL)、《金融智能》等共四部作品。
李澤遠
某大型金融集團科技公司 Al 產(chǎn)品經(jīng)理，CCF
YOCSEF 深圳 AC 委員，長期負責 Al平臺的標準
化產(chǎn)品設計，參與完成多項隱私計算產(chǎn)品在金融、醫(yī)療、政務場景中的交付落地，擁有豐富的實戰(zhàn)經(jīng)驗。累計發(fā)表科研論文及申報專利數(shù)十篇 項，出版作品3部。
何安珣
某頭部互聯(lián)網(wǎng)公司產(chǎn)品經(jīng)理。在金融科技領域深耕多年，在隱私計算領域生態(tài)建設、技術研究和架構搭建等方面擁有豐富的經(jīng)驗，致力于推動隱私計算行業(yè)數(shù)字經(jīng)濟轉型。累計發(fā)表科研論文、申報專利數(shù)十篇 項，參與業(yè)內(nèi)多項標準制定。
王偉
中國科學院信息工程研究所信息安全國家重點實驗室助理研究員，信息安全博士，主要研究方向為密碼技術。在國際學術會議上發(fā)表論文多篇，獲得數(shù)項國家發(fā)明專利授權，承擔和參與了多項國家和省部級科研項目。
第 1 章緒論 1
1.1人工智能的發(fā)展 1
1.1. 1人工智能的定義 1
1. 1. 2人工智能的發(fā)展歷史及現(xiàn)狀 2
1. 1. 3機器學習與數(shù)據(jù) 3
1.2隱私保護浮出水面 4
1.2. 1隱私保護問題 5
1. 2. 2隱私保護的攻擊 5
1. 2. 3常見的隱私保護技術 7
1.3聯(lián)邦學習的誕生 8
1.3. 1聯(lián)邦學習的提出 8
1. 3. 2聯(lián)邦學習的范式 9
1.3. 3聯(lián)邦學習的應用 12
1. 4本章小結 13
第 2 章聯(lián)邦學習基礎 15
2.1聯(lián)邦學習的基本概念 15
2. 2聯(lián)邦學習的發(fā)展歷程 17
2. 3聯(lián)邦學習的基本類別與流程 18
2. 3. 1橫向聯(lián)邦學習 18
2. 3. 2縱向聯(lián)邦學習 19
2. 3. 3聯(lián)邦遷移學習 19
2. 3. 4聯(lián)邦強化學習 20
2.4聯(lián)邦學習的應用場景 21
2. 5本章小結 21
第 3 章中央服務器優(yōu)化算法 23
3.1聯(lián)邦隨機梯度下降算法 23
3. 1. 1算法框架及參數(shù) 23
3. 1. 2目標函數(shù) 24
3. 1. 3算法流程 25
3. 2聯(lián)邦平均算法 25
3. 2. 1算法框架及參數(shù) 26
3. 2. 2目標函數(shù) 27
3. 2. 3算法流程 27
3. 3差分隱私聯(lián)邦隨機梯度下降算法 28
3. 3. 1算法框架及參數(shù) 28
3. 3. 2相關函數(shù)說明 29
3. 3. 3算法流程 30
3. 4差分隱私聯(lián)邦平均算法 31
3. 4. 1算法框架及參數(shù) 31
3. 4. 2算法流程 32
3. 5基于損失的自適應提升聯(lián)邦學習算法 33
3. 5. 1算法框架及參數(shù) 34
3. 5. 2算法流程 35
3. 6自平衡聯(lián)邦學習算法 36
3. 6. 1算法框架及參數(shù) 36
3. 6. 2算法流程 37
3. 7聯(lián)邦近端算法 39
3. 7. 1算法框架及參數(shù) 40
3. 7. 2模塊介紹 41
3. 7. 3算法流程 42
3. 8不可知聯(lián)邦學習算法 43
3. 9 基于概率的聯(lián)邦網(wǎng)絡匹配算法Ⅰ: 單隱層神經(jīng)網(wǎng)絡匹配算法 50
3. 9. 1算法框架及參數(shù) 50
3. 9. 2模塊介紹 53
3. 9. 3算法流程 56
3. 10基于概率的聯(lián)邦網(wǎng)絡匹配算法Ⅱ: 多隱層神經(jīng)網(wǎng)絡匹配算法 57
3. 10. 1算法框架及參數(shù) 57
3. 10. 2模塊介紹 59
3. 10. 3算法流程 63
3.11聯(lián)邦匹配平均算法 64
3. 11. 1算法框架及參數(shù) 64
3. 11. 2目標函數(shù) 65
3. 11. 3算法流程 66
3. 12本章小結 67
第 4 章聯(lián)邦回歸算法 69
4.1聯(lián)邦機器學習算法的定義 69
4. 1. 1水平型分布數(shù)據(jù) 70
4.1. 2垂直型分布數(shù)據(jù) 70
4. 2線性回歸 70
4. 2. 1橫向線性回歸 71
4. 2. 2縱向線性回歸 74
4. 3邏輯回歸 80
4. 3. 1橫向邏輯回歸 81
4. 3. 2縱向邏輯回歸 88
4. 4本章小結 96
第 5 章聯(lián)邦分類算法 97
5.1樸素貝葉斯分類法 97
5. 1. 1貝葉斯定理 97
5. 1. 2樸素貝葉斯分類的思想和工作過程 97
5. 1. 3橫向樸素貝葉斯分類 98
5.1. 4縱向樸素貝葉斯分類 102
5. 2支持向量機 107
5. 2. 1橫向支持向量機 109
5. 2. 2縱向支持向量機 116
5. 3本章小結 124
第 6 章聯(lián)邦樹模型 125
6. 1決策樹 125
6. 1. 1橫向決策樹 126
6. 1. 2縱向決策樹 131
6.2XGBoost 138
6. 2. 1參數(shù)及含義 139
6. 2. 2加法同態(tài) 140
6.2. 3SecureBoost 算法的流程 140
6. 3本章小結 143
第 7 章聯(lián)邦推薦算法 145
7. 1K 均值算法 145
7.1. 1橫向K 均值聚類算法 146
7. 1. 2縱向K 均值聚類算法 149
7. 1. 3任意數(shù)據(jù) K 均值聚類算法 158
7. 1. 4安全兩方 K 均值聚類算法 162
7. 2因子分解機 166
7.3基于近鄰的協(xié)同過濾算法 171
7. 3. 1基于近鄰的傳統(tǒng)協(xié)同過濾算法 171
7. 3. 2基于用戶的聯(lián)邦協(xié)同過濾算法 173
7. 4基于矩陣的協(xié)同過濾算法 178
7. 4. 1基于矩陣的傳統(tǒng)協(xié)同過濾算法 178
7. 4. 2基于矩陣的聯(lián)邦協(xié)同過濾算法 178
7. 5矩陣分解算法 186
7. 5. 1基于 SGD 的聯(lián)邦矩陣分解算法 186
7. 5. 2基于多視圖的聯(lián)邦矩陣分解算法 190
7. 5. 3興趣點推薦算法 195
7. 5. 4基于差分隱私的聯(lián)邦矩陣分解算法 197
7. 5. 5基于混淆電路的聯(lián)邦矩陣分解算法 200
7. 5. 6基于相似度的聯(lián)邦矩陣分解算法 205
7. 5. 7基于因子分析的聯(lián)邦矩陣分解算法 209
7.5. 8基于深度學習的聯(lián)邦矩陣分解算法 211
7. 6本章小結 213
第 8 章聯(lián)邦學習系統(tǒng)的隱私與安全 215
8.1問題描述與安全模型 215
8. 2聯(lián)邦學習隱私保護技術 216
8. 2. 1秘密共享 216
8. 2. 2不經(jīng)意傳輸 218
8. 2. 3混淆電路 220
8. 2. 4同態(tài)加密 222
8. 2. 5差分隱私 224
8.3聯(lián)邦學習安全防護技術 226
8. 3. 1密碼算法 226
8. 3. 2身份認證 229
8. 3. 3通信安全 231
8. 3. 4存儲安全 233
8. 3. 5可信計算 235
8. 4本章小結 237
第 9 章聯(lián)邦學習的服務質量 239
9.1聯(lián)邦學習服務質量的定義 239
9. 1. 1聯(lián)邦學習服務質量的由來 239
9. 1. 2什么是聯(lián)邦學習服務質量評估 241
9. 2聯(lián)邦學習服務質量的評估維度 242
9. 2. 1模型性能 242
9. 2. 2數(shù)據(jù)傳輸效率 243
9. 2. 3網(wǎng)絡性能 243
9. 2. 4計算資源
9. 2. 5聯(lián)邦建模的魯棒性
9. 3聯(lián)邦學習服務質量的理論體系
9. 3. 1模型性能的評價指標
9. 3. 2聯(lián)邦學習的通信指標
9. 3. 3資源調度代價
9. 3. 4聯(lián)邦建模的魯棒性
9. 3. 5隱私保護技術的選取
9. 3. 6權值更新方法
9. 4提升聯(lián)邦學習服務質量的方法
9. 4. 1聯(lián)邦學習的算法優(yōu)化
9. 4. 2聯(lián)邦學習的通信優(yōu)化
9. 4. 3聯(lián)邦學習的末位淘汰
9. 4. 4增強聯(lián)邦學習系統(tǒng)的魯棒性
9.5本章小結
第 10 章聯(lián)邦學習的研究趨勢
10.1聯(lián)邦學習的優(yōu)化研究
10. 2聯(lián)邦學習的安全和隱私研究
10. 3聯(lián)邦學習的應用領域研究
10. 4本章小結
附錄
附錄 ACholesky 分解
附錄 BLDLT 分解
附錄 C共軛梯度法
參考文獻
書單推薦
