一轉(zhuǎn)眼十年又過去了，十年前在出版本書第3版時，我曾經(jīng)感慨信息時代的到來，而從那以后的這十年，我們則深刻感受到了智能時代的來臨。清華大學(xué)出版社的老師告訴我，《模式識別》第2版和第3版到目前已經(jīng)共印刷了38次，總發(fā)行量超過10萬冊。在我平時的工作中，時常收到采用本教材授課的高校教師的問題和建議，也收到一些讀者反饋。我要特別感謝這些老師和讀者對本教材長期的支持和關(guān)愛，也很高興看到這本教材為這個蓬勃發(fā)展的學(xué)科貢獻(xiàn)了一份力量。
21世紀(jì)的前20年，見證了模式識別、機(jī)器學(xué)習(xí)和人工智能學(xué)科的飛速發(fā)展。這一點(diǎn)從本教材各個版本使用情況的演化也可見一斑。從邊肇祺先生主持編寫的《模式識別》第1版到邊肇祺、張學(xué)工共同編寫的《模式識別》第2版，當(dāng)時的讀者主要是直接從事本領(lǐng)域研究的教師、研究生和科技工作者，而《模式識別》第3版的讀者已經(jīng)擴(kuò)展到各個專業(yè)對本領(lǐng)域感興趣的教師、研究生、本科生和科技工作者。模式識別類的課程開始是少數(shù)院校在自動化系、計算機(jī)系等開設(shè)的研究生專業(yè)課，現(xiàn)在已經(jīng)成為很多院系的研究生專業(yè)基礎(chǔ)課，很多學(xué)校和院系開始把模式識別和機(jī)器學(xué)習(xí)類課程作為本科生專業(yè)必修課和全校性選修課。在我自己這些年的本科生課堂上，選課同學(xué)不但來自計算機(jī)、自動化、電子、軟件等信息類專業(yè)，還有大量同學(xué)來自數(shù)學(xué)、物理、生物、醫(yī)學(xué)以及各種工程類、機(jī)械類、管理類專業(yè)，也有同學(xué)來自建筑學(xué)院、美術(shù)學(xué)院和心理學(xué)、社會學(xué)、語言學(xué)等專業(yè)。這一方面說明了各專業(yè)同學(xué)數(shù)理基礎(chǔ)和計算機(jī)基礎(chǔ)的普遍提高，另一方面更從一個側(cè)面映射出了這一學(xué)科受歡迎的程度。
從學(xué)科本身看，近十年的發(fā)展當(dāng)屬深度學(xué)習(xí)和機(jī)器學(xué)習(xí)與人工智能結(jié)合產(chǎn)生出的大量成功應(yīng)用。在十年前編寫第3版教材時剛剛顯露頭角的深度神經(jīng)網(wǎng)絡(luò)和在較小范圍內(nèi)研究的概率圖模型等，已經(jīng)成為受關(guān)注的熱點(diǎn)。同時，大量機(jī)器學(xué)習(xí)軟件平臺的出現(xiàn)和發(fā)展，也改變了人們以往學(xué)習(xí)和利用模式識別與機(jī)器學(xué)習(xí)方法的方式。這些日新月異的發(fā)展，使我強(qiáng)烈感受到這本教材的內(nèi)容需要很多更新和補(bǔ)充，但因為其他各種工作太繁忙，早就答應(yīng)出版社的教材編寫計劃幾次被拖延。2019年底，在與汪小我老師共同準(zhǔn)備模式識別與機(jī)器學(xué)習(xí)課程時，我邀請汪老師與我共同進(jìn)行這本書的寫作。
2020年初，突如其來的新冠肺炎疫情改變了所有人的生活和工作，也促使每個人更清楚地認(rèn)識自己對社會和歷史的責(zé)任。于是，我和汪老師商量決定，與疫情賽跑，在春季學(xué)期的遠(yuǎn)程授課中就采用新版教材的內(nèi)容，迫使自己在春季學(xué)期授課的同時完成本書新版的寫作，力爭在年內(nèi)出版。2020年7月19日，我們完成了新版的全部寫作，與第3版相比，增加了5章新內(nèi)容，對原有內(nèi)容也進(jìn)行了必要的調(diào)整和補(bǔ)充。
對于業(yè)內(nèi)學(xué)者來說，模式識別與機(jī)器學(xué)習(xí)是非常接近和高度相關(guān)的概念，但對于尚未學(xué)習(xí)這些內(nèi)容的讀者，可能會對這兩個名詞有不同的認(rèn)識。為了更全面地反映本書的內(nèi)容范圍，我們增加了副標(biāo)題模式識別與機(jī)器學(xué)習(xí)，也據(jù)此對很多內(nèi)容進(jìn)行了補(bǔ)充和調(diào)整。近年來，很多人尤其是產(chǎn)業(yè)界和投資界把模式識別和機(jī)器學(xué)習(xí)都放在人工智能的大框架下，因此，我們也在新版第15章專門對模式識別機(jī)器學(xué)習(xí)人工智能三個概念的關(guān)系、演化和背后的學(xué)術(shù)思想進(jìn)行了討論。
新版內(nèi)容的編寫得到了很多老師和同學(xué)的幫助，尤其是2020年春季學(xué)期清華大學(xué)自動化系本科生課程模式識別與機(jī)器學(xué)習(xí)的助教研究生王昊晨、顏錢明、張威、喬榕，和2019年秋季學(xué)期清華大學(xué)自動化系研究生英文課程機(jī)器學(xué)習(xí)的助教研究生花奎、陳斯杰、馬天行、孟秋辰、李嘉騏。在新版的具體內(nèi)容編寫中，第4章隱馬爾可夫模型和貝葉斯網(wǎng)絡(luò)、第10章10.9節(jié)的t�睸NE降維可視化方法、第11章11.8節(jié)的一致聚類方法和第12章12.8.2節(jié)的實(shí)例主要由汪小我負(fù)責(zé)起草，其中顏錢明幫助計算了10.9節(jié)和11.8節(jié)的例子； 張威起草了第14章機(jī)器學(xué)習(xí)軟件平臺的介紹和計算機(jī)代碼示例； 其他新增章節(jié)（第7章、第12章、第15章）和其他章節(jié)調(diào)整內(nèi)容均由張學(xué)工負(fù)責(zé)起草，其中王昊晨幫助起草了12.7節(jié)生成模型的初稿，第7章采用了《模式識別》第2版中的部分原稿，第12章中采納了胡越、羅東陽同學(xué)之前準(zhǔn)備的部分素材。張學(xué)工負(fù)責(zé)了新版的統(tǒng)稿。第12章深度學(xué)習(xí)的前半部分草稿得到了清華大學(xué)自動化系黃高老師的很多建議和指正。馬天行、李嘉騏、陳斯杰、孟秋辰、王昊晨、顏錢明、張威、喬榕、張嘉惠等同學(xué)幫助對部分書稿進(jìn)行了文字和公式檢查。廈門大學(xué)王穎教授對部分公式錯誤給出了更正。本次主要新增章節(jié)草稿在2020年春季清華大學(xué)自動化系本科生課程模式識別與機(jī)器學(xué)習(xí)中進(jìn)行了試用。本書的編寫也得到了清華大學(xué)自動化系古槿、閭海榮、江瑞等老師的幫助，并得到了福州數(shù)據(jù)技術(shù)研究院的大力幫助和支持。
本教材編寫得到了清華大學(xué)歷年來多個教學(xué)改革和學(xué)科建設(shè)項目的支持，教材中涉及的很多科學(xué)研究內(nèi)容，得到了國家自然科學(xué)基金創(chuàng)新研究群體項目、杰出青年基金項目和優(yōu)秀青年基金項目等的支持。

張學(xué)工

2020年7月20日

前言

前言

第3版前言

從本書第2版出版到現(xiàn)在已經(jīng)又是十年了。在這十年里，我們真切地感受到了信息時代的到來。對信息的處理和分析，已經(jīng)不僅僅是信息科學(xué)家所關(guān)心的問題，也不僅僅是信息技術(shù)產(chǎn)業(yè)所關(guān)心的問題，而是為很多學(xué)科和很多領(lǐng)域共同關(guān)心的問題。作為信息處理與分析的重要方面，模式識別也開始從一個少數(shù)人關(guān)心的專業(yè)，變成一個在工程、經(jīng)濟(jì)、金融、醫(yī)學(xué)、生物學(xué)、社會學(xué)等各個領(lǐng)域都受到關(guān)注的學(xué)科。
模式識別學(xué)科的發(fā)展，可以從筆者所在的清華大學(xué)自動化系在模式識別專業(yè)教學(xué)和教材上的沿革窺見一斑。早在1978年，在已故中科院學(xué)部委員常迵教授的領(lǐng)導(dǎo)下，自動化系成立了信號處理與模式識別教研組，后更名為信息處理研究所，1981年獲準(zhǔn)成立模式識別與智能系統(tǒng)學(xué)科（當(dāng)時稱模式識別與智能控制）的個碩士點(diǎn)、博士點(diǎn)。從那時起，邊肇祺等教授就開始為研究生開設(shè)模式識別課程，后逐漸包括進(jìn)少部分五年級本科生（當(dāng)時清華大學(xué)本科學(xué)制為五年）。20世紀(jì)80年代中期，邊肇祺、閻平凡、楊存榮、高林、劉松盛和湯之永等老師組成了教材編寫小組，開始編寫模式識別教材，這就是1988年出版的《模式識別》。該教材的出版，為我國模式識別學(xué)科的發(fā)展做出了歷史性的貢獻(xiàn)，被很多高校和科研院所作為教材或參考書。十年以后，模式識別學(xué)科的內(nèi)容有了很多更新和發(fā)展，我們成立了由邊肇祺、閻平凡、趙南元、張學(xué)工和張長水組成的改寫小組，由筆者與邊肇祺老師共同組織編寫了本書的第2版，2000年正式出版。此時的模式識別課程，已經(jīng)由初只有十幾位研究生參加的小課，發(fā)展為由上百名研究生和高年級本科生參加的大課。第2版教材也得到了國內(nèi)同行的歡迎，9年內(nèi)已經(jīng)重印15次。
隨著模式識別學(xué)科的日益發(fā)展，我們很快認(rèn)識到，對模式識別課程的需求已經(jīng)超出了本專業(yè)研究生的范圍。于是我們將模式識別課程分為兩門： 面向研究生的模式識別和面向本科生的模式識別基礎(chǔ)。到今天，本科生模式識別基礎(chǔ)每年的選課人數(shù)也已達(dá)到100~150人，除了來自本系的學(xué)生，每年還有多位來自其他院系的學(xué)生選課。2007年，該課程榮幸地被評為國家精品課程。
在近幾年的教學(xué)實(shí)踐中，我們體會到，原來的教材有些地方不太適應(yīng)大范圍教學(xué)的需要，而且近十年來模式識別自身以及它在很多領(lǐng)域中的應(yīng)用又有了很多新發(fā)展。因此，筆者從兩年前開始著手編寫新版教材。新版教材的出發(fā)點(diǎn)是： 一方面，結(jié)合當(dāng)前的發(fā)展，精煉傳統(tǒng)內(nèi)容，充實(shí)新內(nèi)容，進(jìn)一步增強(qiáng)實(shí)用性，接觸學(xué)科前沿； 另一方面，在教材的深度和廣度上兼顧廣大本科生學(xué)習(xí)的特點(diǎn)和本專業(yè)研究生的需求，力求達(dá)到使非本專業(yè)學(xué)生通過本教材能學(xué)到足夠系統(tǒng)的基本知識，而本專業(yè)學(xué)生又能以本教材作為其專業(yè)研究的重要起點(diǎn)。
編寫新版教材所需要的時間超出了我的預(yù)想，很高興她今天終于能和讀者見面了。在此要感謝在本書編寫過程中給了我很多幫助的同事和同學(xué)們，尤其是： 美國南加州大學(xué)的Jasmine X. Zhou教授在2007年給我提供了短期訪問機(jī)會，使我能夠有一段相對完整的時間集中開始本書的寫作； 蔣博同學(xué)通讀了本書三分之二的初稿并做了多處補(bǔ)充； 現(xiàn)在已經(jīng)分別是電子科技大學(xué)和北京大學(xué)教師的凡時財、李婷婷同學(xué)幫助準(zhǔn)備了本書部分素材。我還要感謝清華大學(xué)出版社王一玲編輯在本書編寫過程中的一貫支持。當(dāng)然，重要的，我要感謝參加本書第1版和第2版編寫的所有老師，這不但是因為在這一版中仍使用了前兩版的一些內(nèi)容，更是因為，是這些老師們把我?guī)нM(jìn)了模式識別的大門，使我受益至今。
由于時間倉促和個人水平所限，教材中難免有錯誤或不足之處，敬請廣大同行和讀者批評指正，以便在再版時補(bǔ)充和修改。
在本書終完稿的時候，我十歲的女兒以極大的興致看完了我講模式識別基礎(chǔ)課的錄像，并說將來長大了要聽我講課。謹(jǐn)以此書獻(xiàn)給我的妻子和女兒。

張學(xué)工

2009年11月29日