貝葉斯統(tǒng)計(jì)這個(gè)名字取自長(zhǎng)老會(huì)牧師兼業(yè)余數(shù)學(xué)家托馬斯·貝葉斯(Thomas Bayes，17021761)，他最先推導(dǎo)出了貝葉斯定理，該定理于其逝世后的1763年發(fā)表。但真正開(kāi)發(fā)貝葉斯方法的第一人是Pierre-Simon Laplace(17491827)，因此將其稱為拉普拉斯統(tǒng)計(jì)也許更合理。盡管如此，我們將遵循斯蒂格勒的同名法則，在本書(shū)的其余部分使用傳統(tǒng)的貝葉斯方法命名。從貝葉斯和拉普拉斯(以及許多其他人)的開(kāi)創(chuàng)性時(shí)代至今，發(fā)生了很多事情，特別是開(kāi)發(fā)了很多新想法，其中大部分是由計(jì)算機(jī)技術(shù)推動(dòng)和/或?qū)崿F(xiàn)的。本書(shū)旨在提供一個(gè)關(guān)于此主題的現(xiàn)代視角，涵蓋從基礎(chǔ)知識(shí)到使用現(xiàn)代貝葉斯工作流和工具等各方面內(nèi)容。
本書(shū)旨在幫助貝葉斯初學(xué)者成為中級(jí)從業(yè)者。這并不代表你讀完本書(shū)后會(huì)自動(dòng)達(dá)到中等水平，但希望本書(shū)能夠引導(dǎo)你朝富有成效的方向發(fā)展。如果你通讀這本書(shū)，認(rèn)真做練習(xí)，把書(shū)中的想法應(yīng)用于自己的問(wèn)題，并繼續(xù)向他人學(xué)習(xí)，那么將更容易進(jìn)步。
要特別指出，本書(shū)面向?qū)��?yīng)用貝葉斯模型解決數(shù)據(jù)分析問(wèn)題感興趣的貝葉斯從業(yè)者。通常，學(xué)術(shù)界和工業(yè)界是有區(qū)別的。但本書(shū)沒(méi)有做這樣的區(qū)分，因?yàn)闊o(wú)論是大學(xué)生還是就職于公司的機(jī)器學(xué)習(xí)工程師，都能從本書(shū)中受益。
我們的目標(biāo)是：閱讀本書(shū)后，你不僅能夠熟悉貝葉斯推斷，而且能輕松地對(duì)貝葉斯模型進(jìn)行探索性分析，包括模型比較、模型診斷、模型評(píng)估和結(jié)果交流等。我們計(jì)劃從現(xiàn)代計(jì)算的角度講授這些內(nèi)容。對(duì)我們來(lái)說(shuō)，如果采用計(jì)算方法，貝葉斯統(tǒng)計(jì)會(huì)更易于理解和應(yīng)用。例如，我們更關(guān)注實(shí)證檢查假設(shè)被推翻的原因，而不試圖從理論上證明假設(shè)是正確的。這也意味著我們會(huì)使用許多可視化的表達(dá)手段。通讀后，建模方法的其他含義將會(huì)逐步變得清晰。
如本書(shū)標(biāo)題所表明的，書(shū)中使用Python編程語(yǔ)言。更具體地說(shuō)，本書(shū)將主要使用PYMC3[138]和TensorFlow Probability(TFP)[47]作為模型構(gòu)建和推斷的主要概率編程語(yǔ)言(PPL)，并使用ArviZ作為探索性分析貝葉斯模型的主要軟件庫(kù)[91]。本書(shū)并未對(duì)所有Python PPL進(jìn)行詳盡評(píng)述和比較，因?yàn)檫x擇較多而且發(fā)展迅速。反之，我們專注于貝葉斯分析的實(shí)踐方面。編程語(yǔ)言和軟件庫(kù)只是用于達(dá)到目的的手段。
雖然本書(shū)選擇的編程語(yǔ)言是Python及少量軟件庫(kù)，但書(shū)中涵蓋的統(tǒng)計(jì)和建模概念基本與編程語(yǔ)言和軟件庫(kù)無(wú)關(guān)，可以應(yīng)用于許多計(jì)算機(jī)編程語(yǔ)言，如R、Julia和Scala等。因此，雖不了解Python但掌握上述編程語(yǔ)言的讀者，也可以從本書(shū)中受益。當(dāng)然，如果能夠在自身熟悉的編程語(yǔ)言中找到等效的軟件庫(kù)或代碼進(jìn)行實(shí)踐則最好。此外，我們鼓勵(lì)將本書(shū)中的Python示例代碼轉(zhuǎn)換為其他編程語(yǔ)言或框架。有意者請(qǐng)與我們聯(lián)系。
知識(shí)準(zhǔn)備
為使本書(shū)幫助初學(xué)者向中級(jí)從業(yè)者轉(zhuǎn)變，希望讀者能事先接觸乃至掌握貝葉斯統(tǒng)計(jì)的基本概念(如先驗(yàn)、似然和后驗(yàn))，以及一些基本統(tǒng)計(jì)概念(如隨機(jī)變量、概率分布、期望等)。對(duì)于技藝生疏的讀者，第11章回顧了基本統(tǒng)計(jì)概念。有關(guān)這些概念的更深入解釋，參見(jiàn)Understanding Advanced Statistical Methods[158]和Introduction to Probability[21]。后者更具理論性，但兩者都比較重視應(yīng)用。
如果你因?qū)嵺`或訓(xùn)練對(duì)統(tǒng)計(jì)學(xué)有很好的理解，但從未接觸過(guò)貝葉斯統(tǒng)計(jì)學(xué)，也可以將本書(shū)作為對(duì)該主題的入門讀物，只是開(kāi)始幾章(主要是前兩章)的節(jié)奏會(huì)有點(diǎn)快，可能需要通讀數(shù)次。
我們希望你能夠熟悉一些數(shù)學(xué)概念，如積分、導(dǎo)數(shù)和對(duì)數(shù)的性質(zhì)等，寫(xiě)作水平最好能夠達(dá)到技術(shù)高中或者科學(xué)、技術(shù)、工程和數(shù)學(xué)專業(yè)的大學(xué)第一學(xué)年以上的水平。若需要復(fù)習(xí)這些數(shù)學(xué)概念，推薦3Blue1Brown的系列視頻。這里不要求做過(guò)多數(shù)學(xué)練習(xí)，但要求使用代碼和交互式計(jì)算環(huán)境來(lái)理解和解決問(wèn)題。本書(shū)中出現(xiàn)數(shù)學(xué)公式是為了幫助你更好地理解貝葉斯統(tǒng)計(jì)建模。
本書(shū)假定讀者具備一定的計(jì)算機(jī)編程能力。使用Python語(yǔ)言時(shí)，還會(huì)使用一些專門的軟件庫(kù)，特別是概率編程語(yǔ)言。在閱讀本書(shū)之前，至少利用概率編程語(yǔ)言擬合一個(gè)模型，對(duì)你會(huì)有幫助，但也不是必須的。關(guān)于如何設(shè)置本書(shū)所需要的計(jì)算環(huán)境或Python參考，可以閱讀GitHub中的README.md，了解如何設(shè)置編碼環(huán)境。
閱讀方法
我們將使用模擬模型來(lái)解釋一些重要概念，而不會(huì)讓數(shù)據(jù)模糊了主要概念；然后使用真實(shí)數(shù)據(jù)集來(lái)近似一些實(shí)踐中會(huì)面臨的真實(shí)問(wèn)題，如采樣問(wèn)題、重參數(shù)化、先驗(yàn)/后驗(yàn)校準(zhǔn)等。鼓勵(lì)你閱讀本書(shū)時(shí)，在交互式編程環(huán)境中運(yùn)行這些模型。
強(qiáng)烈建議你閱讀并使用各種軟件庫(kù)的在線文檔。盡管我們已經(jīng)盡最大努力使本書(shū)涵蓋海量信息，從而自成一體，但在網(wǎng)上還有大量關(guān)于這些工具的文檔，參考這些文檔有助于學(xué)習(xí)本書(shū)，并幫助你獨(dú)立使用這些工具。
第1章回顧、簡(jiǎn)介貝葉斯推斷中的基本和核心概念。該章中的概念將在本書(shū)其余部分被反復(fù)提及和應(yīng)用。
第2章介紹了貝葉斯探索性分析(Exploratory Analysis of Bayesian)模型。介紹了許多屬于貝葉斯工作流但并非推斷本身的概念。該章中的概念將在本書(shū)其余部分被反復(fù)應(yīng)用和提及。
第3章開(kāi)始介紹特定模型架構(gòu)。介紹了線性回歸(Linear Regression)模型，并為接下來(lái)的5章奠定了基礎(chǔ)。第3章還全面介紹了本書(shū)使用的主要概率編程語(yǔ)言：PyMC3和TFP。
第4章擴(kuò)展了線性回歸模型，并討論了更高級(jí)的主題，如魯棒回歸、分層模型和模型重參數(shù)化。本章使用PyMC3和TFP。
第5章介紹了基函數(shù)，并著重介紹了線性模型的擴(kuò)展樣條，使我們能夠構(gòu)建更靈活的模型。本章使用PyMC3。
第6章側(cè)重于時(shí)間序列模型，包括從時(shí)間序列建模為回歸模型，以及更復(fù)雜的模型[如ARIMA和線性高斯?fàn)顟B(tài)空間(Gaussian State Space)模型]等內(nèi)容。本章使用TFP。
第7章介紹了名為貝葉斯加性回歸樹(shù)的非參數(shù)模型。本章討論了這個(gè)模型的可解釋性和變量的重要性。本章使用PyMC3。
第8章聚焦于逼近貝葉斯計(jì)算(Approximate Bayesian Computation，ABC)框架，該框架有助于解決沒(méi)有明確似然函數(shù)的問(wèn)題。本章使用PyMC3。
第9章概述了端到端的貝葉斯工作流。本章展示了商業(yè)應(yīng)用中的觀測(cè)性研究和科研環(huán)境中的試驗(yàn)性研究。本章使用PyMC3。
第10章深入探討了概率編程語(yǔ)言，展示了各種不同的概率編程語(yǔ)言。
第11章為閱讀其他章節(jié)提供輔助，各主題之間相關(guān)度不高，因此可以有選擇地閱讀。
強(qiáng)調(diào)內(nèi)容
本書(shū)對(duì)文本突出強(qiáng)調(diào)的方式是用粗體。粗體文本表示強(qiáng)調(diào)新概念或概念的重點(diǎn)。當(dāng)提到特定代碼時(shí)，也會(huì)突出顯示，如pymc3.sample。
代碼
書(shū)中的代碼塊用陰影框標(biāo)記，左側(cè)帶有行號(hào)，并使用章節(jié)編號(hào)后跟代碼塊編號(hào)進(jìn)行引用，如代碼清單0.1所示。
代碼清單0.1

1 for i in range(3):
2 print(i**2)

0
1
4

每次看到代碼塊時(shí)都會(huì)想查看運(yùn)行結(jié)果。結(jié)果通常體現(xiàn)為一張圖、一個(gè)數(shù)字、一份代碼輸出或一個(gè)表格。反之，書(shū)中大部分圖都有相關(guān)的代碼，有時(shí)會(huì)省略一些代碼以節(jié)省篇幅，但你可以在GitHub庫(kù)(https://github.com/BayesianModelingandComputationInPython)中訪問(wèn)完整代碼。該庫(kù)還包括一些用于練習(xí)的附加材料。其中的筆記還可能包含其他圖、代碼或輸出，這些內(nèi)容未出現(xiàn)在書(shū)中但用于開(kāi)發(fā)書(shū)中所見(jiàn)模型。GitHub中還包含說(shuō)明，指導(dǎo)如何根據(jù)已有設(shè)備創(chuàng)建標(biāo)準(zhǔn)計(jì)算環(huán)境。
方框
本書(shū)使用方框簡(jiǎn)要提及重要的統(tǒng)計(jì)、數(shù)學(xué)或(Python)編程概念。書(shū)中還會(huì)提供參考資料，供你繼續(xù)學(xué)習(xí)相應(yīng)主題。
中心極限定理(Central Limit Theorem)
在概率論中，中心極限定理規(guī)定：在某些情況下，添加獨(dú)立隨機(jī)變量時(shí)，即使原始變量本身不呈正態(tài)分布，但它們的適當(dāng)歸一化總和也會(huì)趨于正態(tài)分布。
設(shè)X1，X2，X3，…獨(dú)立同分布，平均值為，標(biāo)準(zhǔn)差為。當(dāng)n 時(shí)，有：

Introduction to Probability [21]一書(shū)介紹了許多概率基礎(chǔ)理論，可用于實(shí)踐。
代碼導(dǎo)入
在本書(shū)中，導(dǎo)入Python包時(shí)使用代碼清單0.2所示的約定。
代碼清單0.2

1 # 基本的
2 import numpy as np
3 from scipy import stats
4 import pandas as pd
5 from patsy import bs, dmatrix
6 import matplotlib.pyplot as plt
7
8 # 貝葉斯模型探索性分析
9 import arviz as az
10
11 # 概率編程語(yǔ)言
12 import bambi as bmb
13 import pymc3 as pm
14 import tensorflow_probability as tfp
15
16 tfd = tfp.distributions
17
18 # 計(jì)算后端
19 import theano
20 import theano.tensor as tt
21 import tensorflow as tf

本書(shū)還會(huì)使用ArviZ樣式：az.style.use("arviz-grayscale")。
由于本書(shū)是黑白印刷，本書(shū)中的彩圖為方便讀者閱讀，以彩插形式放在封底二維碼，讀者可自行下載。
與本書(shū)互動(dòng)
本書(shū)的受眾不是貝葉斯讀者，而是貝葉斯從業(yè)者。我們將提供材料，幫助練習(xí)貝葉斯推斷和貝葉斯模型探索性分析。由于利用計(jì)算和代碼是現(xiàn)代貝葉斯從業(yè)者所需要的核心技能，因此將提供示例，以供你在多次嘗試中建立思維。對(duì)于本書(shū)代碼，我們期望你閱讀、執(zhí)行、修改，并再次執(zhí)行多次。我們只能在本書(shū)中展示有限示例，但你可以使用計(jì)算機(jī)自己制作無(wú)數(shù)的示例。通過(guò)這種方式，你不僅可以學(xué)習(xí)統(tǒng)計(jì)概念，還可以學(xué)習(xí)如何使用計(jì)算機(jī)將這些概念應(yīng)用于實(shí)踐。
計(jì)算機(jī)還將使你擺脫印刷文本的限制，例如缺乏顏色、缺乏動(dòng)畫(huà)和并排比較�，F(xiàn)代貝葉斯從業(yè)者利用監(jiān)視器和快速可計(jì)算雙重檢查提供的靈活性，本書(shū)專門創(chuàng)建了示例以允許相同級(jí)別的交互性。每章的末尾都設(shè)有練習(xí)，用于測(cè)試學(xué)習(xí)和實(shí)踐成果。練習(xí)按難易程度標(biāo)記為簡(jiǎn)單(E)、中等(M)和困難(H)，可根據(jù)需要酌情解答。
本書(shū)參考文獻(xiàn)可下載封底二維碼獲取。
致謝
感謝我們的朋友和同事，他們犧牲了大量時(shí)間和精力來(lái)閱讀早期書(shū)稿，提出了建設(shè)性的反饋，幫助我們改進(jìn)了本書(shū)，也幫助我們修復(fù)了書(shū)中的許多錯(cuò)誤。非常感謝：
Oriol Abril-Pla、Alex Andorra、Paul Anzel、Dan Becker、Tomás Capretto、Allen Downey、Christopher Fonnesbeck、Meenal Jhajharia、Will Kurt、Asael Matamoros、Kevin Murphy以及Aki Vehtari。