python爬蟲如何獲取數據

117次閱讀

共計 1151 個字符，預計需要花費 3 分鐘才能閱讀完成。

使用 Python 爬蟲獲取數據可以分為以下幾個步驟：

導入所需的庫：通常情況下，使用 requests 庫發送 HTTP 請求獲取網頁內容，使用 beautifulsoup4 庫解析網頁內容。

import requests
from bs4 import BeautifulSoup

發送 HTTP 請求獲取網頁內容：使用 requests 庫發送 GET 或 POST 請求獲取網頁的 HTML 內容。

url = "http://example.com"  # 要爬取的網頁的 URL
response = requests.get(url)  # 發送 GET 請求獲取網頁內容
html_content = response.text  # 獲取網頁的 HTML 內容

解析網頁內容：使用 beautifulsoup4 庫解析網頁內容，提取所需的數據。

soup = BeautifulSoup(html_content, "html.parser")  # 使用 HTML 解析器解析網頁內容
data = soup.find("tag", attrs={"attribute": "value"})  # 根據標簽和屬性找到特定的數據

提取和處理數據：根據網頁的結構和所需的數據進行相應的處理和提取。

# 提取文本數據
text_data = data.get_text()

# 提取鏈接
link_data = data["href"]

# 提取圖片鏈接
img_data = data.find("img")["src"]

# 提取表格數據
table_data = []
table = soup.find("table")
rows = table.find_all("tr")
for row in rows:
    cols = row.find_all("td")
    cols = [col.get_text() for col in cols]
    table_data.append(cols)

存儲數據：將提取的數據保存到文件中、存儲到數據庫中或者進行其他形式的處理。

# 保存到文件
with open("data.txt", "w") as file:
    file.write(text_data)

# 存儲到數據庫
import sqlite3
conn = sqlite3.connect("data.db")
cursor = conn.cursor()
cursor.execute("CREATE TABLE IF NOT EXISTS data (text TEXT, link TEXT, img TEXT)")
cursor.execute("INSERT INTO data VALUES (?, ?, ?)", (text_data, link_data, img_data))
conn.commit()
conn.close()