共計 1021 個字符，預計需要花費 3 分鐘才能閱讀完成。
一個新的網(wǎng)站建好之后，只要搜索引擎蜘蛛抓取到的、網(wǎng)站內(nèi)容不是很差勁那么搜索引擎就很有可能收錄我們的網(wǎng)站，如果因為某種原因不想讓搜索引擎收錄網(wǎng)站，那要如何操作？下面本篇文章就來給大家講解一下。
方法一：設置 robots.txt 方法
可以利用設置 robots.txt 來屏蔽搜索引擎蜘蛛，那么什么是 robots.txt？
搜索引擎使用 spider 程序自動訪問互聯(lián)網(wǎng)上的網(wǎng)頁并獲取網(wǎng)頁信息。spider 在訪問一個網(wǎng)站時，會首先會檢查該網(wǎng)站的根域下是否有一個叫做 robots.txt 的純文本文件，這個文件用于指定 spider 在您網(wǎng)站上的抓取范圍。您可以在您的網(wǎng)站中創(chuàng)建一個 robots.txt，在文件中聲明該網(wǎng)站中不想被搜索引擎收錄的部分或者指定搜索引擎只收錄特定的部分。
請注意，僅當您的網(wǎng)站包含不希望被搜索引擎收錄的內(nèi)容時，才需要使用 robots.txt 文件。如果您希望搜索引擎收錄網(wǎng)站上所有內(nèi)容，請勿建立 robots.txt 文件。
如何使用 robots.txt 屏蔽搜索引擎蜘蛛？
搜索引擎默認的遵守 robots.txt 協(xié)議，創(chuàng)建 robots.txt 文本文件放至網(wǎng)站根目錄下，編輯代碼如下:
User-agent: *
Disallow: /通過以上代碼，即可告訴搜索引擎不要抓取采取收錄本網(wǎng)站，注意慎用如上代碼：這將禁止所有搜索引擎訪問網(wǎng)站的任何部分。
如果只想禁止百度收錄全站，可以編輯如下代碼：
User-agent: Baiduspider
Disallow: /如果只想禁止 Google 收錄全站，可以編輯如下代碼：
User-agent: Googlebot
Disallow: /方式二：設置網(wǎng)頁代碼方法
在網(wǎng)站首頁代碼 <head> 與 </head> 之間，加入如下代碼，即可禁止搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁快照。
<meta name="robots" content="noarchive">在網(wǎng)站首頁代碼 <head> 與 </head> 之間，加入如下代碼，即可禁止百度搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁快照。
<meta name="Baiduspider" content="noarchive">在網(wǎng)站首頁代碼 <head> 與 </head> 之間，加入如下代碼，即可禁止谷歌搜索引擎抓取網(wǎng)站并顯示網(wǎng)頁快照。
<meta name="googlebot" content="noarchive">以上就是如何拒絕搜索引擎收錄網(wǎng)站的詳細內(nèi)容，更多請關(guān)注王塵宇博客其它相關(guān)文章！
丸趣 TV 網(wǎng) – 提供最優(yōu)質(zhì)的資源集合！
