亚洲欧美第一页_禁久久精品乱码_粉嫩av一区二区三区免费野_久草精品视频

蟲蟲首頁| 資源下載| 資源專輯| 精品軟件
登錄| 注冊

您現(xiàn)在的位置是：蟲蟲下載站 > 資源下載 > 源碼 > python爬蟲獲取大量免費有效代理ip--有效防止ip被封

python爬蟲獲取大量免費有效代理ip--有效防止ip被封

  • 資源大小：18 K
  • 上傳時間： 2019-11-15
  • 上傳用戶：fygwz1982
  • 資源積分：2 下載積分
  • 標(biāo)      簽： python ip 代理 防止

資 源 簡 介

以后再也不用擔(dān)心寫爬蟲ip被封，不用擔(dān)心沒錢買代理ip的煩惱了
在使用python寫爬蟲時候，你會遇到所要爬取的網(wǎng)站有反爬取技術(shù)比如用同一個IP反復(fù)爬取同一個網(wǎng)頁，很可能會被封。如何有效的解決這個問題呢？我們可以使用代理ip，來設(shè)置代理ip池。

現(xiàn)在教大家一個可獲取大量免費有效快速的代理ip方法，我們訪問西刺免費代理ip網(wǎng)址
這里面提供了許多代理ip，但是我們嘗試過后會發(fā)現(xiàn)并不是每一個都是有效的。所以我們現(xiàn)在所要做的就是從里面提供的篩選出有效快速穩(wěn)定的ip。

以下介紹的免費獲取代理ip池的方法：
優(yōu)點：免費、數(shù)量多、有效、速度快
缺點：需要定期篩選

主要思路：

從網(wǎng)址上爬取ip地址并存儲
驗證ip是否能使用-（隨機(jī)訪問網(wǎng)址判斷響應(yīng)碼）
格式化ip地址
代碼如下：

1.導(dǎo)入包

import requests
from lxml import etree
import time
1
2
3
2.獲取西刺免費代理ip網(wǎng)址上的代理ip

def get_all_proxy():
    url = 'http://www.xicidaili.com/nn/1'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36',
    }
    response = requests.get(url, headers=headers)
    html_ele = etree.HTML(response.text)
    ip_eles = html_ele.xpath('//table[@id="ip_list"]/tr/td[2]/text()')
    port_ele = html_ele.xpath('//table[@id="ip_list"]/tr/td[3]/text()')
    proxy_list = []
    for i in range(0,len(ip_eles)):
        proxy_str = 'http://' + ip_eles[i] + ':' + port_ele[i]
        proxy_list.append(proxy_str)
    return proxy_list
1
2
3
4
5
6
7
8
9
10
11
12
13
14
3.驗證獲取的ip

def check_all_proxy(proxy_list):
    valid_proxy_list = []
    for proxy in proxy_list:
        url = 'http://www.baidu.com/'
        proxy_dict = {
            'http': proxy
        }
        try:
            start_time = time.time()
            response = requests.get(url, proxies=proxy_dict, timeout=5)
            if response.status_code == 200:
                end_time = time.time()
                print('代理可用：' + proxy)
                print('耗時:' + str(end_time - start_time))
                valid_proxy_list.append(proxy)
            else:
                print('代理超時')
        except:
            print('代理不可用--------------->'+proxy)
    return valid_proxy_list
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
4.輸出獲取ip池

if __name__ == '__main__':
    proxy_list = get_all_proxy()
    valid_proxy_list = check_all_proxy(proxy_list)
    print('--'*30)
    print(valid_proxy_list)
1
2
3
4
5
技術(shù)能力有限歡迎提出意見，保證積極向上不斷學(xué)習(xí)
————————————————
版權(quán)聲明：本文為CSDN博主「彬小二」的原創(chuàng)文章，遵循 CC 4.0 BY-SA 版權(quán)協(xié)議，轉(zhuǎn)載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/qq_39884947/article/details/86609930

相 關(guān) 資 源

主站蜘蛛池模板： 家居| 崇明县| 科技| 龙南县| 定西市| 天气| 德保县| 连城县| 易门县| 曲周县| 手游| 永胜县| 罗江县| 从江县| 砚山县| 兴和县| 呼和浩特市| 辉县市| 调兵山市| 礼泉县| 皋兰县| 高雄县| 安宁市| 武夷山市| 大宁县| 仲巴县| 拜泉县| 五大连池市| 佛坪县| 赤壁市| 阿荣旗| 姜堰市| 定结县| 甘孜| 博野县| 灵石县| 巫溪县| 海门市| 太和县| 伽师县| 汉寿县|