關 于 本 書
本書旨在幫助你實施最新的可解釋AI技術,以構建公平且可解釋的AI系統(tǒng)?山忉孉I是當今AI研究中的熱門話題,但只有少數(shù)資源和指南涵蓋了所有重要技術,這些技術對實踐者來說非常有價值。本書旨在填補這一空白。
本書讀者對象
本書既適合那些有興趣深入了解其模型工作原理以及如何構建公平且無偏見模型的數(shù)據(jù)科學家和工程師,又適合想要了解如何讓 AI 模型確保公平和保護業(yè)務用戶、品牌的架構師和業(yè)務利益相關者。
本書內(nèi)容
本書內(nèi)容分為4部分,共9章。
第Ⅰ部分介紹可解釋AI的基礎知識。
● 第1章涵蓋了各種類型的AI系統(tǒng),定義了可解釋AI及其重要性,討論了白盒和黑盒模型,并解釋了如何構建可解釋AI系統(tǒng)。
● 第 2 章涵蓋了白盒模型以及如何解釋它們,特別關注了線性回歸、決策樹和廣義可加模型(Generalized Additive Model,GAM)。
第Ⅱ部分關注黑盒模型,講述它們?nèi)绾翁幚磔斎氩⒌贸鲎罱K預測。
● 第 3 章涵蓋了一種名為集成樹的黑盒模型,以及全局與模型無關的可解釋方法:部分依賴圖(Partial Dependence Plot,PDP)和特征交互圖。
● 第 4 章涵蓋了深度神經(jīng)網(wǎng)絡,以及局部與模型無關的可解釋方法:局部與模型無關解釋(Local Interpretable Model-agnostic Explanations,LIME)、沙普利可加性解釋(SHapley Additive exPlanations,SHAP)、錨定。
● 第5章涵蓋了卷積神經(jīng)網(wǎng)絡,并使用局部、建模后、模型無關的可解釋方法(如梯度、導向反向傳播、梯度加權類別激活圖(Grad-CAM)、導向梯度加權類別激活圖和平滑梯度等)。
第Ⅲ部分繼續(xù)關注黑盒模型,但主要解釋它們?nèi)绾螌W習特征或表示。
● 第 6 章涵蓋了卷積神經(jīng)網(wǎng)絡,以及如何通過剖析它們來了解學習到的數(shù)據(jù)表示技巧。
● 第7章涵蓋了語言模型,以及使用諸如主成分分析(PCA)和t分布隨機近鄰嵌入(t-SNE)等技術將其高維表示可視化的方法。
第Ⅳ部分關注公平和偏見,并講述了XAI系統(tǒng)。
● 第 8 章涵蓋了各種公平和偏見定義以及檢查模型是否有偏見的方法,并討論了如何減輕偏見和標準化數(shù)據(jù)以使用數(shù)據(jù)表來提高透明度和改善問責制的方法。
● 第9章涵蓋了XAI,以及使用反事實樣本進行對比解釋。
本書代碼
本書包含許多源代碼示例,大多數(shù)情況下,這些源代碼示例都以等寬字體顯示,以便與本書的普通文本區(qū)分開來。本書所有代碼示例都可通過掃描封底的二維碼下載。
第Ⅰ部分 可解釋基礎知識
第1章 導論 3
1.1 Diagnostics AIAI系統(tǒng)示例 3
1.2 機器學習系統(tǒng)的類型 4
1.2.1 數(shù)據(jù)的表示 4
1.2.2 監(jiān)督學習 6
1.2.3 無監(jiān)督學習 7
1.2.4 強化學習 7
1.2.5 最適合Diagnostics AI的機器學習系統(tǒng) 8
1.3 構建Diagnostics AI 8
1.4 Diagnostics 的主要問題 10
1.4.1 數(shù)據(jù)泄露 10
1.4.2 偏見 10
1.4.3 監(jiān)管不合規(guī) 11
1.4.4 概念漂移 11
1.5 如何解決這些主要問題 11
1.6 Interpretability與Explainability 13
1.7 你將在本書學到什么 15
1.7.1 本書使用的工具 17
1.7.2 閱讀本書所需的基礎知識 17
1.8 本章小結 18
第2章 白盒模型 19
2.1 白盒模型概述 20
2.2 Diagnostics AI示例:預測糖尿病進展情況 21
2.3 線性回歸 24
2.3.1 解釋線性回歸 27
2.3.2 線性回歸的局限性 29
2.4 決策樹 30
2.4.1 解釋決策樹 32
2.4.2 決策樹的局限性 35
2.5 廣義可加模型(GAM) 36
2.5.1 回歸樣條 38
2.5.2 GAM用于Diagnostics AI預測糖尿病進展 42
2.5.3 解釋GAM 43
2.5.4 GAM的局限性 46
2.6 展望黑盒模型 46
2.7 本章小結 48
第Ⅱ部分 解釋模型處理
第3章 全局與模型無關可解釋技術 51
3.1 高中生成績預測器 52
3.2 集成樹 57
3.3 解釋隨機森林 63
3.4 模型無關方法:全局可解釋 65
3.4.1 部分依賴圖 66
3.4.2 特征的相互作用 71
3.5 本章小結 77
第4章 局部與模型無關可解釋技術 79
4.1 Diagnostics AI示例:乳腺癌診斷 80
4.2 探索性數(shù)據(jù)分析 81
4.3 深度神經(jīng)網(wǎng)絡 84
4.3.1 數(shù)據(jù)準備 88
4.3.2 訓練和評估DNN 90
4.4 解釋DNN 92
4.5 LIME 94
4.6 SHAP 103
4.7 錨定 106
4.8 本章小結 110
第5章 顯著圖 113
5.1 Diagnostics AI示例:浸潤性導管癌檢測 114
5.2 探索性數(shù)據(jù)分析 114
5.3 卷積神經(jīng)網(wǎng)絡 117
5.3.1 數(shù)據(jù)準備 121
5.3.2 訓練和評估CNN 123
5.4 解釋CNN 126
5.4.1 概率分布圖 126
5.4.2 LIME 127
5.4.3 視覺歸因法 132
5.5 標準反向傳播 134
5.6 導向反向傳播 138
5.7 其他基于梯度的方法 140
5.8 Grad-CAM和導向Grad-CAM 141
5.9 我應該使用哪種歸因法 145
5.10 本章小結 147
第Ⅲ部分 解釋模型表示
第6章 理解層和單元 151
6.1 視覺理解 152
6.2 回顧卷積神經(jīng)網(wǎng)絡 153
6.3 神經(jīng)網(wǎng)絡剖析框架 155
6.3.1 概念定義 156
6.3.2 網(wǎng)絡探測 157
6.3.3 量化對齊 160
6.4 解釋層和單元 160
6.4.1 運行網(wǎng)絡剖析 161
6.4.2 概念檢測器 165
6.4.3 訓練任務的概念檢測器 171
6.4.4 可視化概念檢測器 176
6.4.5 網(wǎng)絡剖析的局限性 179
6.5 本章小結 179
第7章 理解語義相似性 181
7.1 情感分析 182
7.2 探索性數(shù)據(jù)分析 183
7.3 神經(jīng)網(wǎng)絡詞嵌入 187
7.3.1 獨熱編碼 187
7.3.2 Word2Vec 188
7.3.3 GloVe嵌入 191
7.3.4 情感分析模型 193
7.4 解釋語義相似性 194
7.4.1 度量相似性 196
7.4.2 主成分分析(PCA) 199
7.4.3 t分布隨機近鄰嵌入(t-SNE) 204
7.4.4 驗證語義相似性的可視化 208
7.5 本章小結 210
第Ⅳ部分 公平和偏見
第8章 公平和減少偏見 213
8.1 成年人收入預測 215
8.1.1 探索性數(shù)據(jù)分析 216
8.1.2 預測模型 218
8.2 公平性概念 221
8.2.1 人口平等 222
8.2.2 機會和幾率平等 225
8.2.3 其他公平性概念 228
8.3 可解釋和公平性 229
8.3.1 源自輸入特征的歧視 229
8.3.2 源自表示的歧視 233
8.4 減少偏見 234
8.4.1 無意識公平 234
8.4.2 通過重新加權糾正標注偏見 235
8.5 數(shù)據(jù)集的數(shù)據(jù)表 238
8.6 本章小結 240
第9章 XAI 243
9.1 XAI概述 245
9.2 反事實說明 247
9.3 本章小結 251
附錄A 設置環(huán)境 253
A.1 Python代碼 253
A.2 Git代碼庫 253
A.3 Conda環(huán)境 253
A.4 Jupyter notebooks 254
A.5 Docker 254
附錄B PyTorch 257
B.1 什么是PyTorch 257
B.2 安裝PyTorch 257
B.3 張量 258
B.3.1 數(shù)據(jù)類型 259
B.3.2 CPU和GPU張量 260
B.3.3 運算 260
B.4 Dataset和DataLoader 261
B.5 建模 263
B.5.1 自動微分法 263
B.5.2 模型定義 265
B.5.3 訓練 267