共計(jì) 445 個(gè)字符，預(yù)計(jì)需要花費(fèi) 2 分鐘才能閱讀完成。

有時(shí)候我們建站前期忘記寫 robots.txt 文件了，很多我們不想讓搜索引擎收錄的內(nèi)容卻被收錄了，這個(gè)時(shí)候會(huì)發(fā)現(xiàn)好像過了很長(zhǎng)時(shí)間我們不想讓收錄的頁(yè)面還是處于被收錄的狀態(tài)，到底 robots 生效要多久呢？

百度 lee 曾在公開場(chǎng)合說過： 不同的站點(diǎn)略有不同，但通常在幾天內(nèi)陸續(xù)生效。

其實(shí)我們可以假想下 robots 生效的過程：

1. 蜘蛛發(fā)現(xiàn) robots 文件修改并將信息傳回

2. 分析修改前后的 robots 文件

3. 刪除不允許被收錄的索引數(shù)據(jù)

這個(gè)過程中肯能還會(huì)存在其他的一些步驟，然而由于每個(gè)網(wǎng)站蜘蛛爬的頻率和網(wǎng)站的權(quán)重不同（網(wǎng)站的重要性）而導(dǎo)致蜘蛛發(fā)現(xiàn) robots 更改的時(shí)間延時(shí)或者被處理的優(yōu)先性不同，最終導(dǎo)致的結(jié)果就是 robots 的生效時(shí)間不同。

通過以上分析我們可以得出 robots 的生效時(shí)間并不是一定的，如果你的 robots 更改后很久都沒有生效的話，可以去這里投訴：tousu.baidu.com

以上就是 Robots 生效要多久的詳細(xì)內(nèi)容，更多請(qǐng)關(guān)注王塵宇博客其它相關(guān)文章！

丸趣 TV 網(wǎng) – 提供最優(yōu)質(zhì)的資源集合！