01 基礎知識 1
1.1 大模型相關(guān)資源 1
1.1.1 可用的模型及API 1
1.1.2 數(shù)據(jù)資源 3
1.1.3 軟件資源 5
1.1.4 硬件資源 5
1.2 大模型預訓練 5
1.2.1 數(shù)據(jù)收集與預處理 5
1.2.2 確定模型架構(gòu) 7
1.2.3 確定目標函數(shù)及預訓練 9
1.2.4 解碼策略 10
1.3 大模型微調(diào) 13
1.3.1 微調(diào)原理 13
1.3.2 指令微調(diào) 14
1.3.3 對齊微調(diào) 17
1.4 大模型在線學習 21
1.4.1 提示詞 21
1.4.2 上下文學習 23
1.4.3 思維鏈提示詞 24
1.4.4 規(guī)劃 26
1.5 大模型推理 27
1.5.1 高效推理技術(shù) 28
1.5.2 高效推理軟件工具 29
1.6 總結(jié) 30
02 數(shù)據(jù)準備與開發(fā)環(huán)境準備 31
2.1 MIND數(shù)據(jù)集介紹 31
2.2 Amazon電商數(shù)據(jù)集介紹 34
2.3 開發(fā)環(huán)境準備 36
2.3.1 搭建CUDA開發(fā)環(huán)境 37
2.3.2 搭建MacBook 開發(fā)環(huán)境 40
2.4 總結(jié) 42
03 大模型推薦系統(tǒng)的數(shù)據(jù)來源、一般思路和4種范式 43
3.1 大模型推薦系統(tǒng)的數(shù)據(jù)來源 43
3.1.1 大模型相關(guān)的數(shù)據(jù) 44
3.1.2 新聞推薦系統(tǒng)相關(guān)的數(shù)據(jù) 44
3.1.3 將推薦數(shù)據(jù)編碼為大模型可用數(shù)據(jù) 45
3.2 將大模型用于推薦的一般思路 46
3.3 將大模型應用于推薦的4種范式 46
3.3.1 基于大模型的生成范式 47
3.3.2 基于PLM的預訓練范式 47
3.3.3 基于大模型的微調(diào)范式 48
3.3.4 基于大模型的直接推薦范式 49
3.4 總結(jié) 50
04 生成范式：大模型生成特征、訓練數(shù)據(jù)與物品 51
4.1 大模型生成嵌入特征 51
4.1.1 嵌入的價值 51
4.1.2 嵌入方法介紹 52
4.2 大模型生成文本特征 57
4.2.1 生成文本特征 57
4.2.2 生成文本特征的其他方法 63
4.3 大模型生成訓練數(shù)據(jù) 66
4.3.1 大模型直接生成表格類數(shù)據(jù) 66
4.3.2 大模型生成監(jiān)督樣本數(shù)據(jù) 67
4.4 大模型生成待推薦物品 69
4.4.1 為用戶生成個性化新聞 69
4.4.2 生成個性化的視頻 74
4.5 總結(jié) 77
05 預訓練范式：通過大模型預訓練進行推薦 78
5.1 預訓練的一般思路和方法 78
5.1.1 預訓練數(shù)據(jù)準備 78
5.1.2 大模型架構(gòu)選擇 79
5.1.3 大模型預訓練 81
5.1.4 大模型推理（用于推薦） 82
5.2 案例講解 84
5.2.1 基于PTUM架構(gòu)的預訓練推薦系統(tǒng) 84
5.2.2 基于P5的預訓練推薦系統(tǒng) 86
5.3 基于MIND數(shù)據(jù)集的代碼實戰(zhàn) 91
5.3.1 預訓練數(shù)據(jù)集準備 91
5.3.2 模型預訓練 98
5.3.3 模型推理與驗證 102
5.4 總結(jié) 104
06 微調(diào)范式：微調(diào)大模型進行個性化推薦 106
6.1 微調(diào)的方法 106
6.1.1 微調(diào)的價值 106
6.1.2 微調(diào)的步驟 107
6.1.3 微調(diào)的方法 111
6.1.4 微調(diào)的困難與挑戰(zhàn) 113
6.2 案例講解 114
6.2.1 TALLRec微調(diào)框架 114
6.2.2 GIRL：基于人類反饋的微調(diào)框架 117
6.3 基于MIND數(shù)據(jù)集實現(xiàn)微調(diào) 120
6.3.1 微調(diào)數(shù)據(jù)準備 120
6.3.2 模型微調(diào) 122
6.3.3 模型推斷 130
6.4 總結(jié) 134
07 直接推薦范式：利用大模型的上下文學習進行推薦 135
7.1 上下文學習推薦基本原理 135
7.2 案例講解 136
7.2.1 LLMRank實現(xiàn)案例 137
7.2.2 多任務實現(xiàn)案例 139
7.2.3 NIR實現(xiàn)案例 141
7.3 上下文學習推薦代碼實現(xiàn) 142
7.3.1 數(shù)據(jù)準備 142
7.3.2 代碼實現(xiàn) 145
7.4 總結(jié) 157
08 實戰(zhàn)案例：大模型在電商推薦中的應用 158
8.1 大模型賦能電商推薦系統(tǒng) 158
8.2 新的交互式推薦范式 161
8.2.1 交互式智能體的架構(gòu) 161
8.2.2 淘寶問問簡介 162
8.3 大模型生成用戶興趣畫像 164
8.3.1 基礎原理與步驟介紹 164
8.3.2 數(shù)據(jù)預處理 165
8.3.3 代碼實現(xiàn) 168
8.4 大模型生成個性化商品描述信息 178
8.4.1 基礎原理與步驟介紹 178
8.4.2 數(shù)據(jù)預處理 179
8.4.3 代碼實現(xiàn) 184
8.5 大模型應用于電商猜你喜歡推薦 196
8.5.1 數(shù)據(jù)預處理 196
8.5.2 模型微調(diào) 199
8.5.3 模型效果評估 205
8.6 大模型應用于電商關(guān)聯(lián)推薦 209
8.6.1 數(shù)據(jù)預處理 209
8.6.2 多路召回實現(xiàn) 214
8.6.3 相似度排序?qū)崿F(xiàn) 216
8.6.4 排序模型效果評估 219
8.7 大模型如何解決電商冷啟動問題 221
8.7.1 數(shù)據(jù)準備 221
8.7.2 利用大模型生成冷啟動商品的行為樣本 226
8.7.3 利用大模型上下文學習能力推薦冷啟動商品 228
8.7.4 模型微調(diào) 232
8.7.5 模型效果評估 232
8.8 利用大模型進行推薦解釋，提升推薦說服力 237
8.8.1 數(shù)據(jù)準備 237
8.8.2 利用大模型上下文學習能力進行推薦解釋 244
8.8.3 模型微調(diào) 248
8.8.4 模型效果評估 256
8.9 利用大模型進行對話式推薦 257
8.9.1 對話式大模型推薦系統(tǒng)的架構(gòu) 257
8.9.2 數(shù)據(jù)準備 258
8.9.3 代碼實現(xiàn) 260
8.9.4 對話式推薦案例 268
8.10 總結(jié) 269
09 工程實踐：大模型落地真實業(yè)務場景 271
9.1 大模型推薦系統(tǒng)如何進行高效預訓練和推理 271
9.1.1 模型高效訓練 272
9.1.2 模型高效推理 273
9.1.3 模型服務部署 274
9.1.4 硬件選擇建議 275
9.2 大模型落地企業(yè)級推薦系統(tǒng)的思考 275
9.2.1 如何將推薦算法嵌入大模型框架 275
9.2.2 大模型特性給落地推薦系統(tǒng)帶來的挑戰(zhàn) 276
9.2.3 大模型相關(guān)的技術(shù)人才匱乏 276
9.2.4 大模型推薦系統(tǒng)與傳統(tǒng)推薦系統(tǒng)的關(guān)系 277
9.2.5 大模型推薦系統(tǒng)的投資回報率分析 277
9.2.6 大模型落地推薦場景的建議 277
9.3 總結(jié) 278
后記 279