共計 1962 個字符，預計需要花費 5 分鐘才能閱讀完成。
在網站建設過程中我們會有一部分內容不希望被搜索引擎抓取到或者不希望其在互聯網中出現，那么要怎么辦呢？我要怎么跟搜索引擎說你不要抓取我的 xx 內容呢？這時候 robots 就派上用場了。
robots.txt 是搜索引擎中訪問網站的時候要查看的第一個文件。Robots.txt 文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。
當一個搜索蜘蛛訪問一個站點時，它會首先檢查該站點根目錄下是否存在 robots.txt，如果存在，搜索機器人就會按照該文件中的內容來確定訪問的范圍；如果該文件不存在，所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。
語法：最簡單的 robots.txt 文件使用兩條規則：
? User-Agent: 適用下列規則的漫游器
? Disallow: 要攔截的網頁
但是我們需要注意的幾點：
1.robots.txt 必須存放在網站的根目錄下，
2. 其命名必須為 robots.txt，且文件名必須全部小寫。
3.Robots.txt 是搜索引擎訪問網站的第一個頁面
4.Robots.txt 中必須指明 user-agent
robots.txt 使用誤區
誤區一：我的網站上的所有文件都需要蜘蛛抓取，那我就沒必要在添加 robots.txt 文件了。反正如果該文件不存在，所有的搜索蜘蛛將默認能夠訪問網站上所有沒有被口令保護的頁面。
每當用戶試圖訪問某個不存在的 URL 時，服務器都會在日志中記錄 404 錯誤（無法找到文件）。每當搜索蜘蛛來尋找并不存在的 robots.txt 文件時，服務器也將在日志中記錄一條 404 錯誤，所以你應該做網站中添加一個 robots.txt。
誤區二：在 robots.txt 文件中設置所有的文件都可以被搜索蜘蛛抓取，這樣可以增加網站的收錄率。
網站中的程序腳本、樣式表等文件即使被蜘蛛收錄，也不會增加網站的收錄率，還只會浪費服務器資源。因此必須在 robots.txt 文件里設置不要讓搜索蜘蛛索引這些文件。
具體哪些文件需要排除，在 robots.txt 使用技巧一文中有詳細介紹。
誤區三：搜索蜘蛛抓取網頁太浪費服務器資源，在 robots.txt 文件設置所有的搜索蜘蛛都不能抓取全部的網頁。
如果這樣的話，會導致整個網站不能被搜索引擎收錄。
robots.txt 使用技巧
1. 每當用戶試圖訪問某個不存在的 URL 時，服務器都會在日志中記錄 404 錯誤（無法找到文件）。每當搜索蜘蛛來尋找并不存在的 robots.txt 文件時，服務器也將在日志中記錄一條 404 錯誤，所以你應該在網站中添加一個 robots.txt。
2. 網站管理員必須使蜘蛛程序遠離某些服務器上的目錄——保證服務器性能。比如：大多數網站服務器都有程序儲存在“cgi-bin”目錄下，因此在 robots.txt 文件中加入“Disallow: /cgi-bin”是個好主意，這樣能夠避免將所有程序文件被蜘蛛索引，可以節省服務器資源。一般網站中不需要蜘蛛抓取的文件有：后臺管理文件、程序腳本、附件、數據庫文件、編碼文件、樣式表文件、模板文件、導航圖片和背景圖片等等。
下面是 VeryCMS 里的 robots.txt 文件：
User-agent: *
Disallow: /admin/ 后臺管理文件
Disallow: /require/ 程序文件
Disallow: /attachment/ 附件
Disallow: /images/ 圖片
Disallow: /data/ 數據庫文件
Disallow: /template/ 模板文件
Disallow: /css/ 樣式表文件
Disallow: /lang/ 編碼文件
Disallow: /script/ 腳本文件
3. 如果你的網站是動態網頁，并且你為這些動態網頁創建了靜態副本，以供搜索蜘蛛更容易抓取。那么你需要在 robots.txt 文件里設置避免動態網頁被蜘蛛索引，以保證這些網頁不會被視為含重復內容。
4. robots.txt 文件里還可以直接包括在 sitemap 文件的鏈接。就像這樣：
Sitemap: http://www.***.com/sitemap.xml
目前對此表示支持的搜索引擎公司有 Google, Yahoo, Ask and MSN。而中文搜索引擎公司，顯然不在這個圈子內。這樣做的好處就是，站長不用到每個搜索引擎的站長工具或者相似的站長部分，去提交自己的 sitemap 文件，搜索引擎的蜘蛛自己就會抓取 robots.txt 文件，讀取其中的 sitemap 路徑，接著抓取其中相鏈接的網頁。
5. 合理使用 robots.txt 文件還能避免訪問時出錯。比如，不能讓搜索者直接進入購物車頁面。因為沒有理由使購物車被收錄，所以你可以在 robots.txt 文件里設置來阻止搜索者直接進入購物車頁面
以上就是什么是 robots.txt？的詳細內容，更多請關注王塵宇博客其它相關文章！
丸趣 TV 網 – 提供最優質的資源集合！
