第 1 章 緒 論 1. 1 深度學(xué)習(xí)的前世今生 1. 2 模型復(fù)雜度的提升 1. 3 深度學(xué)習(xí)的名人軼事 第 2 章 深度學(xué)習(xí)中的線性代數(shù) 2. 1 標(biāo)量、 向量、 矩陣與張量 2. 2 矩陣的運(yùn)算 2. 3 單位矩陣與逆矩陣 2. 4 線性相關(guān)、 生成子空間和范數(shù) 2. 5 一些特殊類型的矩陣 2. 6 特征分解 2. 7 奇異值分解 2. 8 Moore-Penrose 偽逆 2. 9 跡運(yùn)算 2. 10 行列式 2. 11 例子: 主成分分析 第 3 章 概率與信息論 3. 1 為什么要使用概率 3. 2 隨機(jī)變量 3. 3 概率分布 3. 4 邊緣概率 3. 5 條件概率 3. 6 條件概率的鏈?zhǔn)椒▌t 3. 7 條件獨(dú)立性 3. 8 期望、 方差和協(xié)方差 3. 9 常用概率分布 3. 10 常用函數(shù)及性質(zhì) 3. 11 貝葉斯規(guī)則 3. 12 信息論中的交叉熵 3. 13 結(jié)構(gòu)化概率模型 第 4 章 數(shù)值計(jì)算 4. 1 上溢和下溢 4. 2 病態(tài)條件 4. 3 基于梯度的優(yōu)化方法 4. 4 約束優(yōu)化 4. 5 實(shí)例: 線性最小二乘 第 5 章 機(jī)器學(xué)習(xí)基礎(chǔ) 5. 1 什么是機(jī)器學(xué)習(xí)算法 5. 2 模型性能的度量 5. 3 過擬合與欠擬合 5. 4 超參數(shù)和交叉驗(yàn)證 5. 5 最大似然估計(jì) 5. 6 什么是隨機(jī)梯度下降 5. 7 貝葉斯統(tǒng)計(jì) 5. 8 監(jiān)督學(xué)習(xí)算法 5. 9 無(wú)監(jiān)督學(xué)習(xí)算法 5. 10 促使深度學(xué)習(xí)發(fā)展的挑戰(zhàn) 第 6 章 深度前饋網(wǎng)絡(luò) 6. 1 什么是 “前饋” 6. 2 隱藏層 6. 3 輸出單元 6. 4 萬(wàn)能近似性質(zhì) 6. 5 反向傳播 第 7 章 深度學(xué)習(xí)中的正則化 7. 1 參數(shù)范數(shù)懲罰 7. 2 數(shù)據(jù)集增強(qiáng) 7. 3 噪聲魯棒性 7. 4 半監(jiān)督學(xué)習(xí) 7. 5 多任務(wù)學(xué)習(xí) 7. 6 提前終止 7. 7 參數(shù)綁定和參數(shù)共享 7. 8 稀疏表示 7. 9 Bagging 和其他集成方法 7. 10 Dropout 7. 11 對(duì)抗訓(xùn)練 第 8 章 深度模型中的優(yōu)化 8. 1 學(xué)習(xí)和純優(yōu)化有什么不同 8. 2 小批量算法 8. 3 基本算法 8. 4 參數(shù)初始化策略 8. 5 自適應(yīng)學(xué)習(xí)率算法 8. 6 二階近似方法 8. 7 一些優(yōu)化策略 第 9 章 卷積神經(jīng)網(wǎng)絡(luò) 9. 1 卷積運(yùn)算 9. 2 為什么要使用卷積運(yùn)算 9. 3 池化 9. 4 基本卷積函數(shù)的變體 9. 5 卷積核的初始化 第 10 章 循環(huán)神經(jīng)網(wǎng)絡(luò) 10. 1 展開計(jì)算圖 10. 2 循環(huán)神經(jīng)網(wǎng)絡(luò) 10. 3 雙向 RNN 10. 4 基于編碼-解碼的序列到序列架構(gòu) 10. 5 深度循環(huán)網(wǎng)絡(luò) 10. 6 遞歸神經(jīng)網(wǎng)絡(luò) 10. 7 長(zhǎng)短期記憶網(wǎng)絡(luò) 10. 8 門控循環(huán)單元 10. 9 截?cái)嗵荻? 第 11 章 實(shí)踐方法論 11. 1 設(shè)計(jì)流程 11. 2 更多的性能度量方法 11. 3 默認(rèn)的基準(zhǔn)模型 11. 4 要不要收集更多數(shù)據(jù) 11. 5 超參數(shù)的調(diào)節(jié) 11. 6 模型調(diào)試的重要性 第 12 章 應(yīng) 用 12. 1 大規(guī)模深度學(xué)習(xí) 12. 2 計(jì)算機(jī)視覺中的預(yù)處理 12. 3 語(yǔ)音識(shí)別 12. 4 自然語(yǔ)言處理 12. 5 推薦系統(tǒng) 12. 6 知識(shí)問答系統(tǒng) 第 13 章 初識(shí)大語(yǔ)言模型 13. 1 大語(yǔ)言模型的背景 13. 2 大語(yǔ)言模型的重要性 13. 3 大語(yǔ)言模型的應(yīng)用場(chǎng)景 13. 4 大語(yǔ)言模型和傳統(tǒng)方法的區(qū)別 第 14 章 大語(yǔ)言模型原理 14. 1 Transformer 架構(gòu) 14. 2 預(yù)訓(xùn)練 14. 3 微調(diào) 14. 4 自回歸訓(xùn)練 14. 5 掩碼語(yǔ)言模型 第 15 章 常見的大語(yǔ)言模型 15. 1 GPT 系列模型 15. 2 BERT 15. 3 XLNet 第 16 章 大語(yǔ)言模型應(yīng)用———自然語(yǔ)言生成 16. 1 自動(dòng)文本生成 16. 2 對(duì)話系統(tǒng)和聊天機(jī)器人 16. 3 代碼和技術(shù)文檔生成 16. 4 創(chuàng)意內(nèi)容生成 16. 5 國(guó)產(chǎn)優(yōu)秀大語(yǔ)言模型———文心一言 16. 6 國(guó)產(chǎn)優(yōu)秀大語(yǔ)言模型———訊飛星火認(rèn)知大模型 后 記