共計 1075 個字符,預計需要花費 3 分鐘才能閱讀完成。
在 Python 爬蟲中設置代理 IP 可以通過使用第三方庫如 requests 或 urllib 庫來實現。以下是一個使用 requests 庫設置代理 IP 的示例代碼:
import requests
# 設置代理 IP
proxies = {
'http': 'http://IP: 端口',
'https': 'https://IP: 端口',
}
# 發送請求時使用代理 IP
response = requests.get('https://www.example.com', proxies=proxies)
# 打印響應內容
print(response.text)
在上面的代碼中,將 IP
和端口
替換為你的代理 IP 和端口號。注意,http
和 https
分別對應 HTTP 和 HTTPS 請求的代理設置。
如果你的代理 IP 需要身份驗證,可以在代理 IP 的后面加上用戶名和密碼,如下所示:
import requests
# 設置代理 IP
proxies = {
'http': 'http:// 用戶名: 密碼 @IP: 端口',
'https': 'https:// 用戶名: 密碼 @IP: 端口',
}
# 發送請求時使用代理 IP
response = requests.get('https://www.example.com', proxies=proxies)
# 打印響應內容
print(response.text)
同樣,將 用戶名
、 密碼
、IP
和端口
替換為你的代理 IP 的相關信息。
另外,如果你需要使用多個代理 IP,可以使用代理 IP 池來實現。代理 IP 池是一個存儲多個代理 IP 的容器,你可以從中隨機選擇一個代理 IP 并設置為請求的代理。以下是一個簡單的示例代碼:
import random
import requests
# 代理 IP 池
proxies = [
'http://IP1: 端口 1',
'http://IP2: 端口 2',
'http://IP3: 端口 3',
]
# 隨機選擇一個代理 IP
proxy = random.choice(proxies)
# 發送請求時使用代理 IP
response = requests.get('https://www.example.com', proxies={'http': proxy})
# 打印響應內容
print(response.text)
在上面的代碼中,proxies
是一個代理 IP 池,你可以在其中添加多個代理 IP。然后,使用 random.choice
函數從代理 IP 池中隨機選擇一個代理 IP 并設置為請求的代理。注意,這里只設置了 HTTP 請求的代理,如果你需要同時設置 HTTPS 請求的代理,需要在 proxies
中添加對應的代理信息。
丸趣 TV 網 – 提供最優質的資源集合!
正文完