隨著ChatGPT 的出現(xiàn)，大語言模型的能力得到了業(yè)內外的認可，新的商業(yè)模式不斷涌現(xiàn)，舊的設計和實現(xiàn)都將重構。本書主要介紹基于ChatGPT 開發(fā)算法相關的應用或服務，側重于介紹與自然語言處理相關的常見任務和應用，以及如何使用類似ChatGPT 的大語言模型服務來實現(xiàn)以前只有算法工程師才能完成的工作。
全書共8 章內容，第1 章介紹與ChatGPT 相關的基礎知識，第2～5 章分別介紹相似匹配、句詞分類、文本生成和復雜推理方面的任務，第6～8 章分別介紹ChatGPT 的工程實踐、局限與不足，以及商業(yè)應用，以幫助讀者更好地構建自己的應用。
本書以實踐為主，尤其注重任務的講解和設計，但同時也對自然語言處理相關算法的基本原理和基礎知識進行科普性介紹，適合所有對大語言模型感興趣的開發(fā)者閱讀。
1. Di一本基于大語言模型進行商業(yè)應用開發(fā)的書；
2. 以任務（相似匹配、句詞分類、文本生成、復雜推理）為中心，內容不僅可用于ChatGPT，也適用于其他大語言模型；
3. 側重于任務的講解與設計，思路可用于任何項目；
4. 有詳細的示例代碼，大部分的代碼稍作修改后可用于生產(chǎn)環(huán)境，還有Datawhale的HuggingLLM開源教程、B站視頻課程，書-課-代碼倉庫全方位助力學習與實踐；
5. Datawhale開源社區(qū)又一力作，五位人工智能領域學者吳飛、周明、朱信忠、金耀輝、張俊林親筆推薦！
郝少春
某AI大語言模型公司的算法工程師，開源組織Datawhale成員；擁有7 年算法和工程架構經(jīng)驗及豐富的項目和產(chǎn)品經(jīng)歷，涉及文本、音頻、視頻、圖像等多種模態(tài)。
黃玉琳
上海財經(jīng)大學碩士，京東算法工程師，開源組織Datawhale成員；從事智能供應鏈領域的算法研究及應用工作；主要研究方向為機器學習、自然語言處理、運籌優(yōu)化。
易華揮
四川大學華西醫(yī)院生物大數(shù)據(jù)中心的科研助理，開源組織Datawhale成員；主要研究方向為多模態(tài)表征學習及其在醫(yī)學影像分析中的應用；發(fā)表頂會論文3篇。
第 1 章 基礎知識——大語言模型背后 1
1.1 自然語言背景 1
1.1.1 語言是智能的標志 1
1.1.2 從圖靈測試到ChatGPT 2
1.2 語言模型基礎 6
1.2.1 最小語義單位Token 與Embedding 6
1.2.2 語言模型是怎么回事 8
1.3 ChatGPT基礎 14
1.3.1 最強表示架構Transformer設計與演變 14
1.3.2 生成語言模型GPT進化與逆襲 18
1.3.3 利器強化學習RLHF流程與思想 25
1.4 本章小結 30
第 2 章 相似匹配——萬物皆可Embedding 31
2.1 相似匹配基礎 31
2.1.1 更好的Embedding表示 31
2.1.2 如何度量Embedding相似度 36
2.2 ChatGPT接口使用 37
2.2.1 Embedding接口 37
2.2.2 ChatGPT+提示詞 40
2.3 相關任務與應用 41
2.3.1 簡單問答：以問題找問題 42
2.3.2 聚類任務：物以類聚也以群分 50
2.3.3 推薦應用：一切都是Embedding 55
2.4 本章小結 64
第3 章 句詞分類——句子Token都是類別 65
3.1 句詞分類基礎 65
3.1.1 如何對一句話進行分類 68
3.1.2 從句子分類到Token分類 71
3.2 ChatGPT接口使用 72
3.2.1 基礎版GPT續(xù)寫 72
3.2.2 進階版ChatGPT指令 77
3.3 相關任務與應用 82
3.3.1 文檔問答：給定文檔問問題 82
3.3.2 模型微調：滿足個性化需要 94
3.3.3 智能對話：大語言模型=自主控制的機器人 106
3.4 本章小結 117
第4 章 文本生成——超越理解更智能 119
4.1 文本生成任務基礎 119
4.2 文本摘要 121
4.2.1 什么是文本摘要 121
4.2.2 常見的文本摘要技術 121
4.2.3 基于OpenAI接口的文本摘要實驗 123
4.3 文本糾錯 131
4.3.1 什么是文本糾錯 131
4.3.2 常見的文本糾錯技術 132
4.3.3 基于OpenAI接口的文本糾錯實驗 135
4.4 機器翻譯 136
4.4.1 什么是機器翻譯 136
4.4.2 常見的機器翻譯技術 137
4.4.3 基于OpenAI接口的機器翻譯實驗 138
4.5 本章小結 144
第5 章 復雜推理——更加像人一樣思考 145
5.1 什么是復雜推理 145
5.2 復雜推理能力的激活和改善 147
5.2.1 初步評估ChatGPT的推理能力 147
5.2.2 復雜推理能力的激活 150
5.2.3 大語言模型復雜推理能力的改善 156
5.3 大語言模型復雜推理能力的探討 168
5.4 本章小結 170
第6 章 工程實踐——真實場景大不同 172
6.1 評測：決定是否上線的標準 172
6.1.1 為什么評測 172
6.1.2 NLU常用評測指標 173
6.1.3 NLG常用評測指標 175
6.2 安全：必須認真對待的話題 178
6.2.1 前/ 后處理 178
6.2.2 提示詞 179
6.2.3 可控文本生成 179
6.3 網(wǎng)絡：接口調用并不總是成功 180
6.3.1 失敗 181
6.3.2 延遲 182
6.3.3 擴展 183
6.4 本章小結 185
第7 章 局限與不足——工具不是萬能的 186
7.1 事實性錯誤 186
7.1.1 錯誤示例 186
7.1.2 原因分析 188
7.1.3 解決方法 189
7.2 實時更新 190
7.2.1 問題示例 190
7.2.2 原因分析 191
7.2.3 解決方法 192
7.3 性能瓶頸 193
7.3.1 背景描述 193
7.3.2 原因分析 193
7.3.3 解決方法 194
7.4 本章小結 194
第8 章 商業(yè)應用——LLM是星辰大海 196
8.1 相關背景 196
8.2 影響分析 197
8.3 商業(yè)賦能 198
8.4 本章小結 204
書單推薦
