python爬蟲怎么遍歷網(wǎng)頁

222次閱讀

共計 819 個字符，預(yù)計需要花費(fèi) 3 分鐘才能閱讀完成。

在 Python 中，可以使用多種方式遍歷網(wǎng)頁，以下是兩種常見的方法：

使用 requests 和 BeautifulSoup 庫：首先，使用 requests 庫發(fā)送 HTTP 請求獲取網(wǎng)頁的 HTML 內(nèi)容，然后使用 BeautifulSoup 庫解析 HTML 內(nèi)容。可以使用 BeautifulSoup 提供的 find_all() 方法遍歷網(wǎng)頁上特定的標(biāo)簽或元素。

import requests
from bs4 import BeautifulSoup

# 發(fā)送 HTTP 請求獲取網(wǎng)頁內(nèi)容 
response = requests.get('http://example.com')
html_content = response.text

# 解析 HTML 內(nèi)容 
soup = BeautifulSoup(html_content, 'html.parser')

# 遍歷網(wǎng)頁上的所有鏈接 
for link in soup.find_all('a'):
    print(link.get('href'))

使用 Scrapy 庫：Scrapy 是一個功能強(qiáng)大的 Python 爬蟲框架，它提供了一套完整的爬取、處理和存儲網(wǎng)頁數(shù)據(jù)的工具和方法。通過編寫自定義的 Spider，可以遍歷網(wǎng)頁上的各個鏈接和頁面。

import scrapy

class MySpider(scrapy.Spider):
    name = 'example'
    start_urls = ['http://example.com']

    def parse(self, response):
        # 遍歷網(wǎng)頁上的所有鏈接 
        for link in response.css('a::attr(href)').getall():
            yield {'link': link
            }