以后再也不用擔心寫爬蟲ip被封,不用擔心沒錢買代理ip的煩惱了 在使用python寫爬蟲時候,你會遇到所要爬取的網站有反爬取技術比如用同一個IP反復爬取同一個網頁,很可能會被封。如何有效的解決這個問題呢?我們可以使用代理ip,來設置代理ip池。 現在教大家一個可獲取大量免費有效快速的代理ip方法,我們訪問西刺免費代理ip網址 這里面提供了許多代理ip,但是我們嘗試過后會發現并不是每一個都是有效的。所以我們現在所要做的就是從里面提供的篩選出有效快速穩定的ip。 以下介紹的免費獲取代理ip池的方法: 優點:免費、數量多、有效、速度快 缺點:需要定期篩選 主要思路: 從網址上爬取ip地址并存儲 驗證ip是否能使用-(隨機訪問網址判斷響應碼) 格式化ip地址 代碼如下: 1.導入包 import requests from lxml import etree import time 1 2 3 2.獲取西刺免費代理ip網址上的代理ip def get_all_proxy(): url = 'http://www.xicidaili.com/nn/1' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36', } response = requests.get(url, headers=headers) html_ele = etree.HTML(response.text) ip_eles = html_ele.xpath('//table[@id="ip_list"]/tr/td[2]/text()') port_ele = html_ele.xpath('//table[@id="ip_list"]/tr/td[3]/text()') proxy_list = [] for i in range(0,len(ip_eles)): proxy_str = 'http://' + ip_eles[i] + ':' + port_ele[i] proxy_list.append(proxy_str) return proxy_list 1 2 3 4 5 6 7 8 9 10 11 12 13 14 3.驗證獲取的ip def check_all_proxy(proxy_list): valid_proxy_list = [] for proxy in proxy_list: url = 'http://www.baidu.com/' proxy_dict = { 'http': proxy } try: start_time = time.time() response = requests.get(url, proxies=proxy_dict, timeout=5) if response.status_code == 200: end_time = time.time() print('代理可用:' + proxy) print('耗時:' + str(end_time - start_time)) valid_proxy_list.append(proxy) else: print('代理超時') except: print('代理不可用--------------->'+proxy) return valid_proxy_list 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 4.輸出獲取ip池 if __name__ == '__main__': proxy_list = get_all_proxy() valid_proxy_list = check_all_proxy(proxy_list) print('--'*30) print(valid_proxy_list) 1 2 3 4 5 技術能力有限歡迎提出意見,保證積極向上不斷學習 ———————————————— 版權聲明:本文為CSDN博主「彬小二」的原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接及本聲明。 原文鏈接:https://blog.csdn.net/qq_39884947/article/details/86609930
上傳時間: 2019-11-15
上傳用戶:fygwz1982
ad封裝庫,包含一些數碼管和蜂鳴器等聲亮器件的封裝庫和元件庫。
標簽: ad封裝庫
上傳時間: 2020-06-23
上傳用戶:inkfz
這是ALTERA器件選型手冊,對于想做CPLD器件選型的朋友有幫助
上傳時間: 2021-01-17
上傳用戶:qiuben_2007
873廠片式器件手冊
上傳時間: 2021-06-28
上傳用戶:zw666
本書共11章。 第1章簡要介紹了高電壓功率器件的可能應用, 定義了理想功率開關的電特性, 并與典型器件的電特性進行了比較。 第2章和第3章分析了硅基功率晶閘管和碳化硅基功率晶閘管。 第4章討論了硅門極關斷 (GTO) 晶閘管結構。 第5章致力于分析硅基IGBT結構, 以提供對比分析的標準。 第6章和第7章分析了碳化硅MOSFET和碳化硅IGBT的結構。 碳化硅MOSFET 和IGBT的結構設計重點在于保護柵氧化層, 以防止其提前擊穿。 另外, 必須屏蔽基區,以避免擴展擊穿。 這些器件的導通電壓降由溝道電阻和緩沖層設計所決定。 第8章和第9章討論了金屬氧化物半導體控制晶閘(MCT) 結構和基極電阻控制晶閘管 (BRT) 結構, 后者利用MOS柵控制晶閘管的導通和關斷。 第10章介紹了發射極開關晶閘(EST), 該種結構也利用一種MOS柵結構來控制晶閘管的導通與關斷, 并可利用IGBT加工工藝來制造。 這種器件具有良好的安全工作區。本書最后一章比較了書中討論的所有高壓功率器件結構。本書的讀者對象包括在校學生、 功率器件設計制造和電力電子應用領域的工程技術人員及其他相關專業人員。 本書適合高等院校有關專業用作教材或專業參考書, 亦可被電力電子學界和廣大的功率器件和裝置生產企業的工程技術人員作為參考書之用。
標簽: 大功率器件
上傳時間: 2021-11-02
上傳用戶:
本書介紹了功率半導體器件的原理、 結構、 特性和可靠性技術, 器件部分涵蓋了當前電力電子技術中使用的各種類型功率半導體器件, 包括二極管、 晶閘管、 MOSFET、 IGBT和功率集成器件等。 此外, 還包含了制造工藝、 測試技術和損壞機理分析。 就其內容的全面性和結構的完整性來說, 在同類專業書籍中是不多見的。本書內容新穎, 緊跟時代發展, 除了介紹經典的功率二極管、 晶閘管外, 還重點介紹了MOSFET、 IGBT 等現代功率器件, 頗為難得的是收入了近年來有關功率半導體器件的最新的成果。 本書是一本精心編著, 并根據作者多年教學經驗和工程實踐不斷補充更新的好書, 相信它的翻譯出版, 必將有助于我國電力電子事業的發展。本書的讀者對象包括在校學生、 功率器件設計制造和電力電子應用領域的工程技術人員及其他相關專業人員。 本書適合高等院校有關專業用作教材或專業參考書, 亦可被電力電子學界和廣大的功率器件和裝置生產企業的工程技術人員作為參考書之用。
標簽: 功率半導體器件
上傳時間: 2021-11-07
上傳用戶:
該文檔為電力電子半導體器件(MOSFET).講解文檔,是一份很不錯的參考資料,具有較高參考價值,感興趣的可以下載看看………………
上傳時間: 2021-11-11
上傳用戶:
該文檔為電力電子半導體器件GTR介紹文檔,是一份很不錯的參考資料,具有較高參考價值,感興趣的可以下載看看………………
上傳時間: 2021-11-15
上傳用戶:qingfengchizhu
該文檔為直流逆變電焊機及功率器件產品介紹簡介文檔,是一份很不錯的參考資料,具有較高參考價值,感興趣的可以下載看看………………
上傳時間: 2021-11-17
上傳用戶:
該文檔為寬禁帶半導體器件對比簡介文檔,是一份很不錯的參考資料,具有較高參考價值,感興趣的可以下載看看………………
標簽: 半導體器件
上傳時間: 2021-11-19
上傳用戶:XuVshu