共計 684 個字符,預計需要花費 2 分鐘才能閱讀完成。
在 Python 中,有許多用于 Web 抓取的庫,其中比較流行的包括 requests、urllib 和 BeautifulSoup 等。下面是一個簡單的使用 requests 庫進行 Web 抓取的例子:
import requests
url = 'https://www.example.com'
response = requests.get(url)
if response.status_code == 200:
# 打印網頁內容
print(response.text)
else:
print('Failed to retrieve webpage')
這段代碼首先使用 requests 庫發送一個 HTTP GET 請求,并獲取到網頁的響應。然后通過判斷狀態碼是否為 200 來確定請求是否成功,如果成功則打印網頁內容。
如果需要解析網頁內容,可以使用 BeautifulSoup 庫來幫助解析 HTML 文檔。例如:
from bs4 import BeautifulSoup
soup = BeautifulSoup(response.text, 'html.parser')
# 找到所有的 a 標簽并打印鏈接
for link in soup.find_all('a'):
print(link.get('href'))
這段代碼使用 BeautifulSoup 庫解析 HTML 文檔,并找到所有的 a 標簽,然后打印出每個 a 標簽的鏈接。
需要注意的是,在進行 Web 抓取時需要遵守網站的 robots.txt 文件規則,以免觸發網站的反爬蟲機制。
丸趣 TV 網 – 提供最優質的資源集合!
正文完