作為一種便捷地收集網(wǎng)上信息并從中抽取出可用信息的方式,網(wǎng)絡爬蟲技術變得越來越有用。使用Python這樣的簡單編程語言,你可以使用少量編程技能就可以爬取復雜的網(wǎng)站。《用Python寫網(wǎng)絡爬蟲》作為使用Python來爬取網(wǎng)絡數(shù)據(jù)的杰出指南,講解了從靜態(tài)頁面爬取數(shù)據(jù)的方法以及使用緩存來管理服務器負載的方法。此外,本書還介紹了如何使用AJAX URL和firebug擴展來爬取數(shù)據(jù),以及有關爬取技術的更多真相,比如使用瀏覽器渲染、管理cookie、通過提交表單從受驗證碼保護的復雜網(wǎng)站中抽取數(shù)據(jù)等。本書使用Scrapy創(chuàng)建了一個高級網(wǎng)絡爬蟲,并對一些真實的網(wǎng)站進行了爬取。
標簽:
python
網(wǎng)絡爬蟲
上傳時間:
2022-06-16
上傳用戶:xsr1983