自動(dòng)駕駛汽車(chē)即將在人們的生活中得到廣泛應(yīng)用。自動(dòng)駕駛領(lǐng)域的發(fā)展和進(jìn)步令人嘆為觀止。作者第一次聽(tīng)說(shuō)自動(dòng)駕駛汽車(chē)是在2010年，當(dāng)時(shí)作者在東京的豐田展廳試乘過(guò)一次，乘車(chē)費(fèi)用約為1美元。汽車(chē)行駛得很緩慢，這輛車(chē)非常明顯地依賴嵌入道路的傳感器。

幾年后，激光雷達(dá)和計(jì)算機(jī)視覺(jué)和深度學(xué)習(xí)取得了很大進(jìn)步，使得之前的技術(shù)看起來(lái)非常原始，存在對(duì)道路不必要的改造，成本高昂。

本書(shū)將使用OpenCV完成各種任務(wù)，包括行人識(shí)別和車(chē)道識(shí)別；讀者將會(huì)探索深度學(xué)習(xí)并學(xué)習(xí)如何將其用于圖像分類(lèi)、目標(biāo)檢測(cè)和語(yǔ)義分割，并用它來(lái)識(shí)別行人、汽車(chē)、道路、人行道和交通信號(hào)燈，同時(shí)學(xué)習(xí)一些影響最深遠(yuǎn)的神經(jīng)網(wǎng)絡(luò)算法。

經(jīng)過(guò)對(duì)本書(shū)的學(xué)習(xí)，讀者將能熟練使用Carla模擬器，基于該模擬器使用行為克隆和PID控制器來(lái)控制汽車(chē)；了解網(wǎng)絡(luò)協(xié)議、傳感器、攝像頭，以及如何使用激光雷達(dá)來(lái)對(duì)周?chē)�世界進(jìn)行建圖和定位。

但在深入研究這些驚人的技術(shù)之前，請(qǐng)花點(diǎn)時(shí)間想象一下20年以后的未來(lái)。汽車(chē)會(huì)是什么樣子？它們可以實(shí)現(xiàn)自動(dòng)駕駛嗎？那時(shí)候汽車(chē)能飛起來(lái)嗎？交通信號(hào)燈那時(shí)還是否會(huì)存在？那些汽車(chē)多快、多重，又有多貴？人們?nèi)绾问褂闷��?chē)以及人們使用汽車(chē)的頻率如何？自動(dòng)駕駛公交車(chē)和貨車(chē)又將如何發(fā)展？

人們無(wú)法預(yù)知未來(lái)，但可以想象，自動(dòng)駕駛汽車(chē)和一切能夠自動(dòng)駕駛的事物將以令人興奮的新方式塑造人們的城市和日常生活。

讀者想在定義未來(lái)中發(fā)揮積極作用嗎？如果是，請(qǐng)繼續(xù)閱讀下去。本書(shū)會(huì)成為這場(chǎng)旅程的開(kāi)端。

本書(shū)面向的讀者

這本書(shū)涵蓋了建造自動(dòng)駕駛汽車(chē)所需的幾個(gè)方面，適用于具備任何一種編程語(yǔ)言 （zuihao是Python） 基礎(chǔ)知識(shí)的程序員。讀者不需要具備深度學(xué)習(xí)的經(jīng)驗(yàn)，但是，若要wanquan理解zui高階的章節(jié)，學(xué)習(xí)一些擴(kuò)展閱讀的內(nèi)容可能會(huì)有所幫助。與第11章相關(guān)的參考源代碼是用C 語(yǔ)言編寫(xiě)的。

本書(shū)內(nèi)容

第1章，OpenCV基礎(chǔ)知識(shí)和攝像頭標(biāo)定，介紹了OpenCV和NumPy；講解如何處理圖像和視頻，如何使用OpenCV檢測(cè)行人；此外還解釋了攝像頭的工作原理以及如何使用OpenCV對(duì)其進(jìn)行校準(zhǔn)。

第2章，理解和使用信號(hào)，介紹了不同類(lèi)型的信號(hào)：串行、并行、數(shù)字、模擬、單端和差分信號(hào)，并講解了一些非常重要的協(xié)議：CAN、以太網(wǎng)、TCP和UDP。

第3章，車(chē)道檢測(cè)，涵蓋使用OpenCV檢測(cè)路上車(chē)道所需的一切。本章介紹了閾值處理、透視校正、邊緣檢測(cè)、直方圖、滑動(dòng)窗口算法以及獲得zui佳檢測(cè)所需的濾波。

第4章，基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)，介紹了一般的神經(jīng)網(wǎng)絡(luò)，特別是卷積神經(jīng)網(wǎng)絡(luò)。本章還介紹了Keras （一個(gè)深度學(xué)習(xí)模塊），并展示了如何用它來(lái)檢測(cè)手寫(xiě)數(shù)字和對(duì)一些圖像進(jìn)行分類(lèi)。讀者通過(guò)本章學(xué)習(xí)，能夠快速掌握編寫(xiě)神經(jīng)網(wǎng)絡(luò)的方法。

第5章，深度學(xué)習(xí)工作流，恰當(dāng)?shù)匮a(bǔ)充了第4章中基于神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)。本章介紹了神經(jīng)網(wǎng)絡(luò)理論和典型工作流的步驟：獲取或創(chuàng)建數(shù)據(jù)集，將其拆分為訓(xùn)練、驗(yàn)證和測(cè)試集，進(jìn)行數(shù)據(jù)增強(qiáng)，在分類(lèi)器中使用的主要層以及如何訓(xùn)練、推理和重新訓(xùn)練。本章還介紹了欠擬合和過(guò)擬合，并解釋了如何將卷積層的激活情況可視化。

第6章，改進(jìn)神經(jīng)網(wǎng)絡(luò)，解釋了如何優(yōu)化神經(jīng)網(wǎng)絡(luò)、減少其參數(shù)，以及如何使用批量歸一化、早終止、數(shù)據(jù)增強(qiáng)和隨機(jī)失活 (Dropout) 來(lái)提高其驗(yàn)證準(zhǔn)確性。

第7章，檢測(cè)行人和交通信號(hào)燈，介紹自動(dòng)駕駛汽車(chē)模擬器Carla，并用它來(lái)創(chuàng)建交通信號(hào)燈數(shù)據(jù)集。本章還使用被稱為SSD的預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)檢測(cè)行人、汽車(chē)和交通信號(hào)燈，以及使用名為遷移學(xué)習(xí)的強(qiáng)大技術(shù)來(lái)訓(xùn)練神經(jīng)網(wǎng)絡(luò)，以便根據(jù)交通信號(hào)燈的顏色對(duì)其進(jìn)行分類(lèi)。

第8章，行為克隆，講解如何訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)驅(qū)動(dòng)Carla，解釋了行為克隆是什么，如何使用Carla構(gòu)建驅(qū)動(dòng)數(shù)據(jù)集，如何創(chuàng)建適合此任務(wù)的網(wǎng)絡(luò)以及如何對(duì)其進(jìn)行訓(xùn)練。本章還使用顯著圖來(lái)了解網(wǎng)絡(luò)正在學(xué)習(xí)什么，并將其與Carla集成以幫助它自驅(qū)動(dòng)。

第9章，語(yǔ)義分割，這是關(guān)于深度學(xué)習(xí)的最后一章，也是zui高階的一章，解釋了什么是語(yǔ)義分割。本章詳細(xì)介紹了一個(gè)非常有趣的DenseNet架構(gòu)，展示了如何使其適用于語(yǔ)義分割。





第10章，轉(zhuǎn)向、加速和制動(dòng)控制，本章內(nèi)容涉及控制自動(dòng)駕駛汽車(chē)，解釋了什么是控制器，重點(diǎn)介紹了PID控制器并涵蓋了MPC控制器的基礎(chǔ)知識(shí)。最后將在Carla中實(shí)現(xiàn)一個(gè)PID控制器的控制。

第11章，環(huán)境建圖，這是本書(shū)最后一章。本章討論了地圖、定位和激光雷達(dá)，并介紹了一些開(kāi)源建圖工具。讀者將了解到什么是同步定位與地圖構(gòu)建(SLAM)，以及如何使用Ouster激光雷達(dá)和Google Cartographer實(shí)現(xiàn)它。

充分利用本書(shū)

本書(shū)假定讀者已經(jīng)具備Python的基礎(chǔ)知識(shí)，熟悉所用操作系統(tǒng)的命令解析器shell。讀者需要安裝Python，也可能用到虛擬環(huán)境來(lái)匹配本書(shū)中使用的軟件版本。建議使用GPU，因?yàn)闆](méi)有GPU的訓(xùn)練會(huì)很艱難。Docker將有助于第11章環(huán)境建圖。

本書(shū)使用的軟件見(jiàn)下表：


本書(shū)用到的軟件/硬件
操作系統(tǒng)要求
Python 3.7
無(wú)
TensorFlow 2.2
無(wú)
Keras 2.3
無(wú)
Carla 0.9.9.2
無(wú)

如果讀者使用的是本書(shū)的電子版，建議自己輸入代碼或通過(guò)github代碼倉(cāng)訪問(wèn)代碼。這樣做有助于避免與復(fù)制粘貼代碼