共計 955 個字符，預計需要花費 3 分鐘才能閱讀完成。

一:robots 基礎知識

robots 協議(也稱爬蟲協議、機器人協議等)，“全稱是網絡爬蟲掃除規范“(Robots Exclusion Protocol)，網站經過 robots 協議告訴搜索引擎哪些頁面能夠抓取，哪些頁面不能夠抓取。

Robot.txt 的效果?

能夠讓蜘蛛更高效的匍匐網站

能夠阻撓蜘蛛匍匐動態頁面，從而處理重復錄入的問題

能夠削減蜘蛛匍匐無效頁面，節約服務器帶寬

能夠屏蔽搜索引擎屏蔽一些隱私頁面或許臨時頁面

怎么創立 robots.txt 文件呢?

右擊桌面——新建文本文檔——重命名為 robots.txt(一切文件有必要小寫)——編寫規矩——用 FTP 把文件上 (放到根目錄下) 傳到空間

創立 robots.txt 需求留意的知識點：

1、有必要是 txt 結束的純文本文件

2、文件名一切字母有必要是小寫

3、文件有必要要放在根目錄下

4、文件內的冒號有必要是英文半角狀態下

Robots 基礎知識_創建 robots.txt 注意事項!

二：robots 參數解說

User-agent

首要效果：用于描繪搜索引擎蜘蛛的姓名

舉列：

1、描繪一切蜘蛛

User-agent：*

2、描繪百度蜘蛛

User-agent：BaiduSpider

百度：BaiduSpider

谷歌：Googlebot

搜狗：Sogou web spider

好搜：360Spider

MSN：MSNBot

有道：YoudaoBot

宜搜：EasouSpider

User-agent 技巧：

1、當 robots.txt 不為空的時分，有必要至少有一條 User-adent 記載

2、相同的姓名，只能有一條(例如 User-agent:*)，可是不同蜘蛛，能夠有多條記載(例如：User-agent：Baiduspider 和 User-agent:Googlebot)。

Disallow

首要效果：用于描繪不答應搜索引擎匍匐和抓取的 URL。

Robots 運用技巧：

1、在 robots.txt 中至少要有一條 Disallow

2、Disallow 記載為空，則表明網站一切頁面都答應被抓取。

3、運用 Disallow，每個目錄有必要獨自分隔聲明

4、留意 Disallow:/abc/(abc 目錄底下的目錄不答應抓取，可是目錄底下的 html 答應抓取)和 Disallow:/abc(abc 目錄底下的目錄跟 html 都不答應被抓取)的差異