關于我們
書單推薦
新書推薦
|
Python網(wǎng)絡爬蟲 讀者對象:高校軟件工程專業(yè)師生
本教材是一門基于工作過程開發(fā)出來的學習領域教材,主要講解了爬取靜態(tài)網(wǎng)頁、爬取動態(tài)網(wǎng)頁、爬取APP數(shù)據(jù)、反爬蟲策略及解決辦法、爬蟲優(yōu)化策略,面向不同工作場景,劃分為若干個學習情境,內(nèi)容由淺入深,囊括了目前行業(yè)爬取數(shù)據(jù)的全部主流技術。第一部分是爬取靜態(tài)網(wǎng)頁,由三個學習情境講述:使用Requests+BeautifulSoup4+CSV,使用Mechanize+BeautifulSoup4+CSV,使用Scrapy+XPath+MySQL爬取數(shù)據(jù)。第二部分是爬取動態(tài)網(wǎng)頁,使用兩個學習情境描述:使用Scrapy+JSON+MySQL使用Selenium+PhantomJS爬取數(shù)據(jù)。第三部分是爬取APP數(shù)據(jù)由使用Fiddler+Requests爬取新聞類APP接口數(shù)據(jù)描述。第四部分反爬蟲策略及解決辦法。由常見反爬蟲策略及解決辦法,處理輸入式驗證碼校驗講述。第五部分是爬蟲優(yōu)化策略,講述了Scrapy+Redis分布式爬取數(shù)據(jù)。
你還可能感興趣
我要評論
|