以后再也不用擔(dān)心寫(xiě)爬蟲(chóng)ip被封，不用擔(dān)心沒(méi)錢(qián)買代理ip的煩惱了 在使用python寫(xiě)爬蟲(chóng)時(shí)候，你會(huì)遇到所要爬取的網(wǎng)站有反爬取技術(shù)比如用同一個(gè)IP反復(fù)爬取同一個(gè)網(wǎng)頁(yè)，很可能會(huì)被封。如何有效的解決這個(gè)問(wèn)題呢？我們可以使用代理ip，來(lái)設(shè)置代理ip池。 現(xiàn)在教大家一個(gè)可獲取大量免費(fèi)有效快速的代理ip方法，我們?cè)L問(wèn)西刺免費(fèi)代理ip網(wǎng)址 這里面提供了許多代理ip，但是我們嘗試過(guò)后會(huì)發(fā)現(xiàn)并不是每一個(gè)都是有效的。所以我們現(xiàn)在所要做的就是從里面提供的篩選出有效快速穩(wěn)定的ip。 以下介紹的免費(fèi)獲取代理ip池的方法： 優(yōu)點(diǎn)：免費(fèi)、數(shù)量多、有效、速度快 缺點(diǎn)：需要定期篩選 主要思路： 從網(wǎng)址上爬取ip地址并存儲(chǔ) 驗(yàn)證ip是否能使用-（隨機(jī)訪問(wèn)網(wǎng)址判斷響應(yīng)碼） 格式化ip地址 代碼如下： 1.導(dǎo)入包 import requests from lxml import etree import time 1 2 3 2.獲取西刺免費(fèi)代理ip網(wǎng)址上的代理ip def get_all_proxy(): url = 'http://www.xicidaili.com/nn/1' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; X64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36', } response = requests.get(url, headers=headers) html_ele = etree.HTML(response.text) ip_eles = html_ele.xpath('//table[@id="ip_list"]/tr/td[2]/text()') port_ele = html_ele.xpath('//table[@id="ip_list"]/tr/td[3]/text()') proxy_list = [] for i in range(0,len(ip_eles)): proxy_str = 'http://' + ip_eles[i] + ':' + port_ele[i] proxy_list.append(proxy_str) return proxy_list 1 2 3 4 5 6 7 8 9 10 11 12 13 14 3.驗(yàn)證獲取的ip def check_all_proxy(proxy_list): valid_proxy_list = [] for proxy in proxy_list: url = 'http://www.baidu.com/' proxy_dict = { 'http': proxy } try: start_time = time.time() response = requests.get(url, proxies=proxy_dict, timeout=5) if response.status_code == 200: end_time = time.time() print('代理可用：' + proxy) print('耗時(shí):' + str(end_time - start_time)) valid_proxy_list.append(proxy) else: print('代理超時(shí)') except: print('代理不可用--------------->'+proxy) return valid_proxy_list 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 4.輸出獲取ip池 if __name__ == '__main__': proxy_list = get_all_proxy() valid_proxy_list = check_all_proxy(proxy_list) print('--'*30) print(valid_proxy_list) 1 2 3 4 5 技術(shù)能力有限歡迎提出意見(jiàn)，保證積極向上不斷學(xué)習(xí) ———————————————— 版權(quán)聲明：本文為CSDN博主「彬小二」的原創(chuàng)文章，遵循 CC 4.0 BY-SA 版權(quán)協(xié)議，轉(zhuǎn)載請(qǐng)附上原文出處鏈接及本聲明。 原文鏈接：https://blog.csdn.net/qq_39884947/article/details/86609930
上傳時(shí)間： 2019-11-15
上傳用戶：fygwz1982
展訊平臺(tái)刷機(jī)工具Researchdownload,本版本工具可以用來(lái)刷寫(xiě)線刷固件的，當(dāng)然也不排除其它基于CPU的手機(jī)能使用。本軟件適合展訊芯片手機(jī)刷機(jī)使用，一般刷機(jī)包格式為：*.pac，使用前請(qǐng)安裝壓縮包內(nèi)的驅(qū)動(dòng)文件(DPInst.exe)，64位系統(tǒng)請(qǐng)手動(dòng)到驅(qū)動(dòng)文件夾下安裝X64。
標(biāo)簽： 展訊 刷機(jī)工具 驅(qū)動(dòng) 教程
上傳時(shí)間： 2020-11-30
上傳用戶：
文檔資料 - 0視頻教程 - 0工具 - 0ESP8266開(kāi)發(fā)板例程_基于NON-OS_SDK.zip - 273.05MB深藍(lán)串口調(diào)試工具(支持UTF-8) - 0樂(lè)鑫開(kāi)發(fā)環(huán)境搭建 - 0技小新_MQTT單片機(jī)編程小工具 - 0UTF-8串口助手 - 0tcp調(diào)試助手 - 0SER-NET - 0MQTT_FX客戶端 - 0flash_download_tools_v3.6.3 - 0flash_download_tools_v3.6.3.rar - 6.61MBmqttfx-1.7.0-windows-X64 - 0
標(biāo)簽： esp8266
上傳時(shí)間： 2022-06-05
上傳用戶：trh505
PLC模擬器是三菱FX3U系列PLC模擬軟件，可支持對(duì)PLC的運(yùn)行模擬，界面美觀更大方，操作簡(jiǎn)便，方便大家對(duì)程序進(jìn)行前期調(diào)試，為用戶節(jié)省大量的調(diào)試時(shí)問(wèn)。注意：該軟件需要.net 4.6.2運(yùn)行環(huán)境，至少需要Windows 7 sp1版本操作系統(tǒng)，推薦使用Windows 10 X64操作系統(tǒng)使用說(shuō)明 PLC支持串口方式進(jìn)行通信，串口波特率為19200bps，可通過(guò)三菱GX軟件直接下載到模擬器中。 本模擬器使用了與凌一PLC硬件同樣的源代碼，以保證模擬器上的運(yùn)行結(jié)果與PLC硬件上的運(yùn)行結(jié)果是一樣的（注：高速脈沖輸出以及AD功能無(wú)法模擬）安裝說(shuō)明 下載虛擬串口，打開(kāi)安裝“VSPD”，然后將Cra目錄中的兩個(gè)文件覆蓋到安裝目錄完成破解。虛擬串口配置 打開(kāi)Configure Virtual Serial Port Driver，進(jìn)入串口配置界面。在配置界面中，添加串口對(duì)，這樣就可以實(shí)現(xiàn)PLC模擬器與三菱GX軟件的通信（包括下載，監(jiān)視）。
上傳時(shí)間： 2022-06-12
上傳用戶：
在UEFI開(kāi)源社區(qū)中，存在四個(gè)與UEFI BIOS相關(guān)的開(kāi)源項(xiàng)目，分別為EDK（EFI Dev Kit），EDKII，EFI Shell和EFI Toolkit.其中，EDKII（EFI Development Kit）是一個(gè)開(kāi)源的EFI BIOS的發(fā)布框架，其中包含一系列的開(kāi)發(fā)示例和大量基本的底層庫(kù)函數(shù)，因此，對(duì)于其MDE（Module Development Environment）模塊開(kāi)發(fā)環(huán)境的分析與測(cè)試能夠在最大程度上保證開(kāi)發(fā)的穩(wěn)定性和質(zhì)量。因而選題具有一定的實(shí)用性和先進(jìn)性，此外，整個(gè)分析和測(cè)試設(shè)計(jì)的過(guò)程中，能夠充分體現(xiàn)出在UEFI從事程序設(shè)計(jì)相對(duì)于傳統(tǒng)BIOS環(huán)境下的優(yōu)勢(shì)。本論文計(jì)劃從以下幾個(gè)方面進(jìn)行研究：1、學(xué)習(xí)研究UEFI（統(tǒng)一可拓展固件接口）技術(shù)；2、學(xué)習(xí)研究EDKII框架和相應(yīng)的MDE（模塊開(kāi)發(fā)環(huán)境）；3、搭建MDE庫(kù)的測(cè)試框架MdeTestPkg：4、編寫(xiě)MdeTestPkg下的測(cè)試實(shí)例，實(shí)現(xiàn)對(duì)MDE庫(kù)的分析與測(cè)試。通過(guò)對(duì)現(xiàn)有的UEFT（統(tǒng)一可擴(kuò)展固件按口）技術(shù)的學(xué)習(xí)，深入了解UEFI BIOS的背景知識(shí)。在此基礎(chǔ)上，學(xué)習(xí)研究EDK II的整體架構(gòu)和模塊單元開(kāi)發(fā)設(shè)計(jì)的規(guī)范和方法，并用基于EDK 11搭建MDE（模塊開(kāi)發(fā)環(huán)境）的測(cè)試框架，編寫(xiě)類庫(kù)的測(cè)試實(shí)例。最終的結(jié)果是完成MDE，即模塊開(kāi)發(fā)環(huán)境框架中的44個(gè)庫(kù)類在DXE階段的功能分析與測(cè)試，并且由于類際的4通性，使得測(cè)試的類際能夠在不同的平臺(tái)架構(gòu)（如：IA32，X64和IPF等）上成功運(yùn)行，具有很好的穩(wěn)定性和健壯性。在本論文中，我只以NT32平臺(tái)架構(gòu)為例，來(lái)說(shuō)明MDE庫(kù)在NT32平臺(tái)下的測(cè)試框架的搭建以及對(duì)于MDE庫(kù)類的測(cè)試實(shí)例的設(shè)計(jì)，編寫(xiě)和測(cè)試。
上傳時(shí)間： 2022-06-26
上傳用戶：kent
蟲(chóng)蟲(chóng)下載站版權(quán)所有 京ICP備2021023401號(hào)-1
