共計(jì) 612 個(gè)字符，預(yù)計(jì)需要花費(fèi) 2 分鐘才能閱讀完成。

robots.txt 的寫法是做 seo 的人員必須知道的（什么是 robots.txt），但該如何寫，禁止哪些、允許哪些，這就要我們自己設(shè)定了。

百度蜘蛛是一機(jī)器，它只認(rèn)識(shí)數(shù)字、字母和漢字，而其中 robots.txt 就是最重要也是最開(kāi)始和百度“對(duì)話”的內(nèi)容。

當(dāng)我們的網(wǎng)站在沒(méi)有建好的時(shí)候，我們不希望百度來(lái)抓取我們的網(wǎng)站，往往有人會(huì)禁止百度來(lái)抓取。但是，這種做法是非常不好的，這樣會(huì)讓百度蜘蛛很難再來(lái)到你的網(wǎng)站了。所以，我們必須現(xiàn)在本地搭建網(wǎng)站，等一切都搞好以后，再去買域名、空間，要不，一個(gè)網(wǎng)站的反復(fù)修改，會(huì)對(duì)你的網(wǎng)站有一定的不利影響。

我們的網(wǎng)站起初的 robots.txt 寫法如下：

User-agent: *

Disallow: /wp-admin/

Disallow: /wp-includes/

User-agent: * 的意思是，允許所以引擎抓取。

而 Disallow: /wp-admin/ 和 Disallow: /wp-includes/，則是禁止百度抓取我們的隱私，包括用戶密碼、數(shù)據(jù)庫(kù)等。這樣的寫法既保護(hù)了我們的隱私，也讓百度蜘蛛的抓取最大化。

如果，你想禁止百度蜘蛛抓取某一個(gè)頁(yè)面，比如 123.html，那就加一句代碼“Disallow: /123.html/”即可。

robots.txt 寫好后，只需要上傳到網(wǎng)站的根目錄下即可。

以上就是 robots.txt 的寫法的詳細(xì)內(nèi)容，更多請(qǐng)關(guān)注王塵宇博客其它相關(guān)文章！

丸趣 TV 網(wǎng) – 提供最優(yōu)質(zhì)的資源集合！