曾幾何時(shí)，我還是一名研究生，仿佛在茫茫大海中漂泊，船上沒有舵手，研究方向不盡如人意，前途未卜。后來，我偶然看到了一篇題為支持向量機(jī)：是炒作還是福音？的文章。彼時(shí)是21世紀(jì)初，支持向量機(jī)(Support Vector Machine，SVM)無疑是當(dāng)時(shí)最重要的機(jī)器學(xué)習(xí)技術(shù)。
在這篇文章中，作者(其中一位后來成為我的博士生導(dǎo)師)采用了一種相當(dāng)簡(jiǎn)化的方法來解釋SVM這一相當(dāng)復(fù)雜的主題，將直覺和幾何與理論、應(yīng)用交織在一起。這篇文章給我留下了深刻印象，一下子激發(fā)了我對(duì)機(jī)器學(xué)習(xí)的熱情，并使我對(duì)了解這些方法在實(shí)現(xiàn)中的工作原理產(chǎn)生了強(qiáng)烈的迷戀。事實(shí)上，本書第1章的標(biāo)題就是向那篇文章致敬，因?yàn)樗鼘?duì)我的人生產(chǎn)生了十分深刻的影響。
與當(dāng)時(shí)的SVM一樣，集成方法如今也被廣泛認(rèn)為是最重要的機(jī)器學(xué)習(xí)技術(shù)。但很多人沒有意識(shí)到的是，在過去幾十年里，一些集成方法一直被認(rèn)為是最先進(jìn)的：20世紀(jì)90年代的Bagging法，21世紀(jì)最初的隨機(jī)森林和提升法，21世紀(jì)10年代的梯度提升法，以及21世紀(jì)20年代的XGBoost。最佳機(jī)器學(xué)習(xí)模型在不斷變化，集成方法似乎確實(shí)值得炒作。
在過去10年中，我有幸花費(fèi)了大量時(shí)間訓(xùn)練各種類型的集成模型，將它們應(yīng)用于工業(yè)領(lǐng)域，并撰寫了相關(guān)的學(xué)術(shù)研究論文。在本書中，我盡可能多地展示了這些集成方法：一些是你肯定聽說過的，還有一些你應(yīng)該真正了解的新方法。
本書絕不僅是一本按部就班、代碼剪貼的教程(雖然你也可以這樣使用它)。網(wǎng)絡(luò)上有很多這樣的優(yōu)秀教程，可以讓你立即開始處理數(shù)據(jù)集。相反，我在介紹每一種新方法時(shí)，都會(huì)采用一種身臨其境的方式，這種方式的靈感來源于我讀過的第一篇機(jī)器學(xué)習(xí)論文，在我擔(dān)任研究生講師期間，我在大學(xué)課堂上對(duì)這篇論文進(jìn)行了改進(jìn)。
我始終認(rèn)為，要深入理解一個(gè)技術(shù)主題，就必須將其剝離、拆解，并嘗試重新結(jié)合。在本書中，我也采用了同樣的做法：將拆解集成方法，并重新創(chuàng)建它們。將對(duì)它們進(jìn)行調(diào)整，看看它們是如何變化的。這樣，就能看到它們的真正魅力！
希望本書能揭開這些技術(shù)和算法細(xì)節(jié)的神秘面紗，讓你進(jìn)入集成思維模式，無論是為你的課程項(xiàng)目、Kaggle競(jìng)賽還是用于生產(chǎn)應(yīng)用。
現(xiàn)在是學(xué)習(xí)集成方法的最佳時(shí)機(jī)。本書涵蓋的模型可分為三大類：
■ 基礎(chǔ)集成方法經(jīng)典的、人們耳熟能詳?shù)姆椒�，包括歷史悠久的集成技術(shù)，如Bagging法、隨機(jī)森林和AdaBoost等。
■ 最先進(jìn)的集成方法現(xiàn)代集成時(shí)代經(jīng)過實(shí)踐驗(yàn)證的強(qiáng)大方法，構(gòu)成了許多實(shí)際生產(chǎn)中的預(yù)測(cè)、推薦和搜索系統(tǒng)的核心。
■ 新興的集成方法剛剛問世的最新方法，用于應(yīng)對(duì)新需求和新興優(yōu)先事項(xiàng)，如可解釋性(explainability)和解釋性(interpretability)。
每章都將采用三管齊下的方法，介紹不同的集成技術(shù)。首先，你將一步步地直觀了解每種集成方法的原理。其次，你將自己實(shí)現(xiàn)每種集成方法的基本版本，以充分理解算法的核心和關(guān)鍵。最后，你將學(xué)習(xí)如何實(shí)際應(yīng)用魯棒的集成庫(kù)和工具。
大多數(shù)章節(jié)還提供了來自現(xiàn)實(shí)世界數(shù)據(jù)的案例研究，這些數(shù)據(jù)來自手寫數(shù)字預(yù)測(cè)、推薦系統(tǒng)、情感分析、需求預(yù)測(cè)等應(yīng)用領(lǐng)域。這些案例適當(dāng)?shù)亟鉀Q了幾個(gè)實(shí)際應(yīng)用中的問題，包括預(yù)處理和特征工程、超參數(shù)選擇、高效訓(xùn)練技術(shù)和有效的模型評(píng)估。
讀者對(duì)象
本書面向廣泛的讀者群體：
■ 對(duì)使用集成方法在實(shí)際應(yīng)用中獲得最佳數(shù)據(jù)感興趣的數(shù)據(jù)科學(xué)家。
■ 正在構(gòu)建、評(píng)估和部署基于集成方法的生產(chǎn)就緒型應(yīng)用程序和流程的MLOps和DataOps工程師。
■ 希望將本書作為學(xué)習(xí)資料或補(bǔ)充教科書的數(shù)據(jù)科學(xué)和機(jī)器學(xué)習(xí)專業(yè)的學(xué)生。
■ Kaggler和數(shù)據(jù)科學(xué)愛好者，可將本書作為學(xué)習(xí)集成方法無盡建�？赡苄缘那腥朦c(diǎn)。
本書不是機(jī)器學(xué)習(xí)和數(shù)據(jù)科學(xué)的入門讀物。本書假定你已經(jīng)掌握了一些機(jī)器學(xué)習(xí)的基礎(chǔ)知識(shí)，并且至少使用過一種基本的學(xué)習(xí)技術(shù)(如決策樹)。
此外，本書還假定你掌握Python的基礎(chǔ)知識(shí)。本書中的示例、可視化和章節(jié)案例研究均使用Python和Jupyter Notebook。了解其他常用的Python軟件包，如NumPy(用于數(shù)學(xué)計(jì)算)、pandas(用于數(shù)據(jù)處理)和Matplotlib(用于可視化)，也是有用的，但并非必要。實(shí)際上，你可通過示例和案例研究來學(xué)習(xí)如何使用這些包。
本書結(jié)構(gòu)
本書分3個(gè)部分，共9章。第Ⅰ部分是集成方法的簡(jiǎn)單介紹，第Ⅱ部分介紹并解釋幾種基本的集成方法，第Ⅲ部分涵蓋高級(jí)主題。
第Ⅰ部分集成學(xué)習(xí)基礎(chǔ)知識(shí)介紹集成方法以及為什么要學(xué)習(xí)集成方法。該部分還包含本書其余部分所涉及的集成方法的路線圖。
■ 第1章討論集成方法和基本集成術(shù)語，介紹擬合度與復(fù)雜性的權(quán)衡(或更正式的說法是偏差-方差權(quán)衡)。你將在該章構(gòu)建第一個(gè)集成模型。
第Ⅱ部分基本集成方法涵蓋幾個(gè)重要的集成方法系列，其中許多被認(rèn)為是基本集成方法，并廣泛應(yīng)用于實(shí)際中。在該部分的每一章中，你將學(xué)習(xí)如何從零開始實(shí)現(xiàn)不同的集成方法，了解它們的工作原理，并將它們應(yīng)用于實(shí)際問題中。
■ 第2章開始介紹并行集成方法，確切地說，是同質(zhì)并行集成。涵蓋的集成方法包括Bagging法、隨機(jī)森林(random forest)、Pasting、隨機(jī)子空間(random subspace)、random patch法和極度隨機(jī)樹(Extra Tree)。
■ 第3章繼續(xù)介紹更多并行集成方法，但本章的重點(diǎn)是異質(zhì)并行集成方法。涵蓋的集成方法包括通過多數(shù)投票結(jié)合基礎(chǔ)模型、加權(quán)結(jié)合、使用Dempster-Shafer進(jìn)行預(yù)測(cè)融合，以及通過Stacking進(jìn)行元學(xué)習(xí)。
■ 第4章介紹另一種集成方法順序適應(yīng)性集成，特別是將許多弱模型提升為一個(gè)強(qiáng)大模型的基本概念：介紹了AdaBoost和LogitBoost等集成方法。
■ 第5章以提升的基本概念為基礎(chǔ)，介紹另一種基本的順序集成方法梯度提升(它將梯度下降與提升相結(jié)合)。該章將討論如何使用scikit-learn和LightGBM訓(xùn)練梯度提升集成。
■ 第6章將繼續(xù)探討順序集成方法，介紹牛頓提升(Newton boosting，是梯度提升的一種高效擴(kuò)展)，將牛頓下降與提升相結(jié)合。該章將討論如何使用XGBoost訓(xùn)練牛頓提升集成。
第Ⅲ部分集成之外：將集成方法應(yīng)用于你的數(shù)據(jù)將展示如何將集成方法應(yīng)用于許多情況，包括具有連續(xù)值標(biāo)簽和計(jì)數(shù)值標(biāo)簽的數(shù)據(jù)集以及具有分類特征的數(shù)據(jù)集。還將討論如何解釋你的集成并說明其預(yù)測(cè)結(jié)果。
■ 第7章將介紹如何針對(duì)不同類型的回歸問題和廣義線性模型(訓(xùn)練標(biāo)簽為連續(xù)值或計(jì)數(shù)值)進(jìn)行集成訓(xùn)練。內(nèi)容包括線性回歸、泊松回歸、回歸和Tweedie回歸的并行和順序集成方法。
■ 第8章指出使用非數(shù)字特征(特別是分類特征)進(jìn)行學(xué)習(xí)時(shí)面臨的挑戰(zhàn)，并介紹一些編碼方案，有助于為這類數(shù)據(jù)訓(xùn)練有效的集成模型。該章還討論兩個(gè)重要的實(shí)際問題：數(shù)據(jù)泄露和預(yù)測(cè)偏移。最后，將討論如何通過有序編碼和CatBoost來解決這些問題。
■ 第9章從集成方法的角度闡述可解釋人工智能這一新興且非常重要的課題。該章介紹可解釋性的概念及其重要性。還討論幾種常見的黑盒可解釋方法，包括排列特征重要性、部分依賴圖、代理方法、局部解釋模型、Shapley值和SHapley加性解釋。此外，還介紹白盒集成方法、可解釋性提升機(jī)和InterpretML包。
■ 結(jié)語為旅程畫上了句號(hào)，并提供更多可供進(jìn)一步探索和閱讀的主題。
雖然本書的大部分章節(jié)都可獨(dú)立閱讀，但第7～9章是在本書第Ⅱ部分的基礎(chǔ)上編寫的。

關(guān)于代碼
本書中的所有代碼和示例都是用Python 3編寫的。代碼編排在Jupyter Notebook中，可掃封底二維碼下載。
本書包含許多源代碼示例，這些示例既有以編號(hào)形式列出的，也有與普通文本并列的。這兩種情況下，源代碼的格式都是等寬字體，以使其與普通文本區(qū)分開來。許多情況下，原始源代碼都經(jīng)過重新格式化，添加了換行符，并重新調(diào)整了縮進(jìn)，以適應(yīng)書中可用的頁(yè)面空間。