目錄 第Ⅰ部分 深度學(xué)習(xí)簡介 1 第 1章 生物視覺與機器視覺 2 1.1 生物視覺 2 1.2 機器視覺 6 1.2.1 神經(jīng)認知機 7 1.2.2 LeNet-5 7 1.2.3 傳統(tǒng)機器學(xué)習(xí)方法 9 1.2.4 ImageNet和ILSVRC 10 1.2.5 AlexNet 10 1.3 TensorFlow Playground 13 1.4 Quick，Draw！ 14 1.5 小結(jié) 15 第 2章 人機語言 16 2.1 自然語言處理的深度學(xué)習(xí) 16 2.1.1 深度學(xué)習(xí)網(wǎng)絡(luò)能夠自動學(xué)習(xí)表征 16 2.1.2 自然語言處理 17 2.1.3 自然語言處理的深度學(xué)習(xí)簡史 18 2.2 語言的計算表示 19 2.2.1 獨熱編碼 19 2.2.2 詞向量 20 2.2.3 詞向量算法 22 2.2.4 word2viz 23 2.2.5 局部化與分布式表示 24 2.3 自然人類語言要素 25 2.4 Google Duplex 27 2.5 小結(jié) 28 第3章 機器藝術(shù) 29 3.1 一個熱鬧的通宵 29 目錄 2 3.2 偽人臉算法 31 3.3 風(fēng)格遷移：照片與莫奈風(fēng)格間的相互轉(zhuǎn)換 33 3.4 讓你的素描更具真實感 34 3.5 基于文本創(chuàng)建真實感圖像 35 3.6 使用深度學(xué)習(xí)進行圖像處理 35 3.7 小結(jié) 36 第4章 對弈機 38 4.1 人工智能、深度學(xué)習(xí)和其他技術(shù) 38 4.1.1 人工智能 39 4.1.2 機器學(xué)習(xí) 39 4.1.3 表征學(xué)習(xí) 39 4.1.4 人工神經(jīng)網(wǎng)絡(luò) 39 4.1.5 深度學(xué)習(xí) 40 4.1.6 機器視覺 40 4.1.7 自然語言處理 41 4.2 機器學(xué)習(xí)問題的3種類型 41 4.2.1 監(jiān)督學(xué)習(xí) 41 4.2.2 無監(jiān)督學(xué)習(xí) 41 4.2.3 強化學(xué)習(xí) 42 4.3 深度強化學(xué)習(xí) 43 4.4 電子游戲 44 4.5 棋盤游戲 45 4.5.1 AlphaGo 46 4.5.2 AlphaGo Zero 49 4.5.3 AlphaZero 50 4.6 目標操縱 52 4.7 主流的深度強化學(xué)習(xí)環(huán)境 53 4.7.1 OpenAI Gym 53 4.7.2 DeepMind Lab 54 4.7.3 Unity ML-Agents 55 4.8 人工智能的3種類型 56 4.8.1 狹義人工智能 56 4.8.2 通用人工智能 56 4.8.3 超級人工智能 56 4.9 小結(jié) 56 目錄 3 第Ⅱ部分 圖解深度學(xué)習(xí)基本理論 57 第5章 先代碼后理論 58 5.1 預(yù)備知識 58 5.2 安裝 58 5.3 用Keras構(gòu)建淺層網(wǎng)絡(luò) 59 5.3.1 MNIST手寫數(shù)字 59 5.3.2 淺層網(wǎng)絡(luò)簡圖 60 5.3.3 加載數(shù)據(jù) 61 5.3.4 重新格式化數(shù)據(jù) 63 5.3.5 設(shè)計神經(jīng)網(wǎng)絡(luò)架構(gòu) 64 5.3.6 訓(xùn)練深度學(xué)習(xí)模型 65 5.4 小結(jié) 66 第6章 熱狗人工神經(jīng)元檢測器 67 6.1 生物神經(jīng)元概述 67 6.2 感知機 68 6.2.1 熱狗/非熱狗感知機 68 6.2.2 本書中最重要的公式 71 6.3 現(xiàn)代人工神經(jīng)元與激活函數(shù) 72 6.3.1 sigmoid神經(jīng)元 72 6.3.2 tanh神經(jīng)元 73 6.3.3 ReLU：線性整流單元 74 6.4 選擇神經(jīng)元 74 6.5 小結(jié) 75 6.6 核心概念 75 第7章 人工神經(jīng)網(wǎng)絡(luò) 76 7.1 輸入層 76 7.2 全連接層 76 7.3 熱狗檢測全連接網(wǎng)絡(luò) 77 7.3.1 通過第 一個隱藏層的正向傳播 78 7.3.2 通過后續(xù)層的正向傳播 79 7.4 快餐分類網(wǎng)絡(luò)的softmax層 81 目錄 4 7.5 淺層網(wǎng)絡(luò)回顧 83 7.6 小結(jié) 84 7.7 核心概念 84 第8章 訓(xùn)練深度網(wǎng)絡(luò) 85 8.1 損失函數(shù) 85 8.1.1 平方損失函數(shù) 85 8.1.2 飽和神經(jīng)元 86 8.1.3 交叉熵損失函數(shù) 86 8.2 優(yōu)化：學(xué)習(xí)最小化損失 88 8.2.1 梯度下降 88 8.2.2 學(xué)習(xí)率 89 8.2.3 batch size和隨機梯度下降 90 8.2.4 解決局部極小值問題 92 8.3 反向傳播 94 8.4 調(diào)整隱藏層層數(shù)和神經(jīng)元數(shù)量 94 8.5 用Keras構(gòu)建中等深度的神經(jīng)網(wǎng)絡(luò) 95 8.6 小結(jié) 98 8.7 核心概念 98 第9章 改進深度網(wǎng)絡(luò) 99 9.1 權(quán)重初始化 99 9.2 不穩(wěn)定梯度 104 9.2.1 梯度消失 104 9.2.2 梯度爆炸 105 9.2.3 批量歸一化 105 9.3 模型泛化（避免過擬合） 106 9.3.1 L1/L2正則化 107 9.3.2 dropout 108 9.3.3 數(shù)據(jù)增強 110 9.4 理想的優(yōu)化器 110 9.4.1 動量 110 9.4.2 Nesterov動量 111 9.4.3 AdaGrad 111 9.4.4 AdaDelta和RMSProp 111 目錄 5 9.4.5 Adam 112 9.5 用Keras構(gòu)建深度神經(jīng)網(wǎng)絡(luò) 112 9.6 回歸 114 9.7 TensorBoard 116 9.8 小結(jié) 118 9.9 核心概念 118 第Ⅲ部分 深度學(xué)習(xí)的交互應(yīng)用 119 第 10章 機器視覺 120 10.1 卷積神經(jīng)網(wǎng)絡(luò) 120 10.1.1 視覺圖像的二維結(jié)構(gòu) 120 10.1.2 計算復(fù)雜度 120 10.1.3 卷積層 121 10.1.4 多個卷積核 122 10.1.5 卷積示例 123 10.1.6 卷積核的超參數(shù) 126 10.2 池化層 127 10.3 用Keras實現(xiàn)LeNet-5 129 10.4 用Keras實現(xiàn)AlexNet和VGGNet 133 10.5 殘差網(wǎng)絡(luò) 136 10.5.1 梯度消失：深度CNN的最大缺點 136 10.5.2 殘差連接 136 10.5.3 ResNet 138 10.6 機器視覺的應(yīng)用 139 10.6.1 目標檢測 139 10.6.2 圖像分割 142 10.6.3 遷移學(xué)習(xí) 143 10.6.4 膠囊網(wǎng)絡(luò) 147 10.7 小結(jié) 147 10.8 核心概念 147 第 11章 自然語言處理 149 11.1 自然語言數(shù)據(jù)的預(yù)處理 149 11.1.1 分詞 151 目錄 6 11.1.2 將所有字符轉(zhuǎn)換成小寫 153 11.1.3 刪除停頓詞和標點符號 153 11.1.4 詞干提取 154 11.1.5 處理n-grams 155 11.1.6 預(yù)處理整個語料庫 156 11.2 通過word2vec創(chuàng)建詞嵌入 158 11.2.1 word2vec背后的基本理論 158 11.2.2 詞向量的評估 160 11.2.3 word2vec的運行 160 11.2.4 詞向量的繪制 163 11.3 ROC曲線下的面積 167 11.3.1 混淆矩陣 168 11.3.2 計算ROC AUC指標 169 11.4 通過常見網(wǎng)絡(luò)實現(xiàn)自然語言分類 171 11.4.1 加載IMDb電影評論 171 11.4.2 檢查IMDb數(shù)據(jù) 173 11.4.3 標準化評論長度 176 11.4.4 全連接網(wǎng)絡(luò) 176 11.4.5 卷積網(wǎng)絡(luò) 182 11.5 序列數(shù)據(jù)的網(wǎng)絡(luò)設(shè)計 186 11.5.1 循環(huán)神經(jīng)網(wǎng)絡(luò) 186 11.5.2 LSTM 189 11.5.3 雙向LSTM 192 11.5.4 堆疊的循環(huán)神經(jīng)網(wǎng)絡(luò) 192 11.5.5 seq2seq模型和注意力機制 193 11.5.6 自然語言處理中的遷移學(xué)習(xí) 194 11.6 非序列架構(gòu)——Keras函數(shù)式API 195 11.7 小結(jié) 198 11.8 核心概念 199 第 12章 生成對抗網(wǎng)絡(luò) 200 12.1 生成對抗網(wǎng)絡(luò)的基本理論 200 12.2 “Quick，Draw！”數(shù)據(jù)集 202 12.3 判別器網(wǎng)絡(luò) 205 12.4 生成器網(wǎng)絡(luò) 208 目錄 7 12.5 對抗網(wǎng)絡(luò) 211 12.6 訓(xùn)練生成對抗網(wǎng)絡(luò) 212 12.7 小結(jié) 218 12.8 核心概念 219 第 13章 深度強化學(xué)習(xí) 220 13.1 強化學(xué)習(xí)的基本理論 220 13.1.1 Cart-Pole 游戲 221 13.1.2 馬爾可夫決策過程 222 13.1.3 最優(yōu)策略 224 13.2 深度Q-Learning網(wǎng)絡(luò)的基本理論 225 13.2.1 值函數(shù) 226 13.2.2 Q值函數(shù) 226 13.2.3 估計最優(yōu)Q值 226 13.3 定義DQN智能體 227 13.3.1 初始化參數(shù) 229 13.3.2 構(gòu)建智能體的神經(jīng)網(wǎng)絡(luò)模型 231 13.3.3 記憶游戲 232 13.3.4 記憶回放訓(xùn)練 232 13.3.5 選擇要采取的行動 233 13.3.6 保存和加載模型參數(shù) 234 13.4 與OpenAI Gym環(huán)境交互 234 13.5 通過SLM Lab進行超參數(shù)優(yōu)化 236 13.6 DQN智能體以外的智能體 238 13.6.1 策略梯度算法和REINFORCE 算法 239 13.6.2 Actor-Critic算法 240 13.7 小結(jié) 240 13.8 核心概念 241 第Ⅳ部分 您與人工智能 243 第 14章 推進專屬于您的深度學(xué)習(xí)項目 244 14.1 深度學(xué)習(xí)項目構(gòu)想 244 14.1.1 機器視覺和生成對抗網(wǎng)絡(luò) 244 目錄 8 14.1.2 自然語言處理 246 14.1.3 深度強化學(xué)習(xí) 246 14.1.4 轉(zhuǎn)換現(xiàn)有的機器學(xué)習(xí)項目 247 14.2 引申項目資源 248 14.3 建模過程和超參數(shù)調(diào)優(yōu) 249 14.4 深度學(xué)習(xí)框架 251 14.4.1 Keras和TensorFlow 251 14.4.2 PyTorch 253 14.4.3 MXNet、CNTK、Caffe等深度學(xué)習(xí) 框架 253 14.5 Software 2.0 253 14.6 邁向通用人工智能 255 14.7 小結(jié) 256 第Ⅴ部分 附錄 259 附錄A 神經(jīng)網(wǎng)絡(luò)的形式符號 260 附錄B 反向傳播 262 附錄C PyTorch 265 本書圖片來源 271