共計 2215 個字符，預計需要花費 6 分鐘才能閱讀完成。

注：搜索引擎做為網站流量的重要來源，網站的收錄量自然是大部分網站運營人員關心的問題。

先明確一些基本點，一個網頁被收錄與否，有兩個因素

是否被爬蟲爬過

頁面質量是否過關

上一篇文章已經提過了收錄率這么一個指標，很多網站都懶得去做這個指標，“我看看 site 的數據不就行了！”，事實上沒有這個指標，很多工作就無從下手。從數據中找出問題，利用數據指導解決方案，分析數據驗證工作成果。最近看了《深入淺出數據分析》這個本，覺得不錯，把數據分析的方法講得很生動，建議有興趣的從事數據分析的同學可以買本看看。任何數據分析由，目標 -> 分析 -> 評估 -> 決策，四個環節組成。目標：我們想看一下網站的收錄情況如何，在 SEO 方面是否還有提高的機會。分析：收錄情況什么算好什么算壞，是不是用一些指標來衡量？網站的收錄情況是不是過于籠統，是不是應該細分下各個頁面的收錄情況？評估：于是我們需要下面一些數據> 網站的頁面層級關系> 各個層級頁面帶來的 SEO 流量> 各個層級頁面的收錄情況如何SEO 流量的占比可以從 Google Analytics 中過濾出來。

頁面數量可以從數據庫獲得，或者通過火車頭 or 自制小腳本抓取統計。

收錄率可以將獲取的頁面通過工具進行搜索，火車頭也可以。

問題立馬凸顯！

1+ 2 級目錄頁帶來了大量的流量，收錄率不是很好，優化收錄的流量提升突破口在此！ 

產品頁面數量很多，收錄也不是很理想，但是帶來的流量有限，除了收錄問題，還有頁面內容的問題，本文中先不管它了。決策：我們的結論是立刻展開行動對目錄頁面進行收錄的優化。

看到這邊，似乎剛開始的目標：“通過優化收錄提升流量”

演變成了新的目標：“如何提高目錄頁面的收錄量”

這邊能不能再次通過數據分析的方法進行 SEO 呢？

答案是肯定的！

我們再來重新走一遍 目標 -> 分析 -> 評估 -> 決策 的過程 目標：提高目錄頁面的收錄量 分析：通過本文開始的有關收錄的兩個因素，我們需要檢查一下，網頁是否被爬蟲爬行過，網頁的質量是不是過關。

1. 關于爬蟲的情況，我們需要分析日志，才能確定。于是我們從日志中拆分一系列數據看看頁面是否真的被爬行過。

2. 由于頁面質量似乎是一個很難衡量的值，于是我們可以用相同模板下的：

已被爬行的頁面數量 / 已被爬行并且被收錄頁面數量

來評估該模板頁面質量對收錄的影響大小。如果被爬的頁面都被收錄了，那至少說明這套頁面的內容搜索引擎還算認可。（實際情況遠比這個復雜，而且收錄后也有可能因為質量問題被刪除，但總比什么參照都沒有要好，對吧！）評估：（敏感信息用編號代替，均為真實數據）

先看一下爬蟲日志的情況，通過 Shell 腳本，我們可以分析出。

目錄總計被爬行的次數為 13000 次左右

不重復的目錄爬行次數為 5500 次左右

頻道 A 下的目錄幾乎被 100% 抓取過至少 1 次，頻道 B 的目錄抓取也不錯，有 70% 被至少抓過一次。

其余頻道下的目錄被抓取的覆蓋率不到 30% 不要覺得這個結果很神奇，其實很多網站都會面對這樣的糟糕問題，只要你把數據不斷的細分，細分，再細分，總會觀察出一些端倪的。

關于日志分析，不要迷信任何的日志分析軟件，那都是給懶人用的，自制腳本 +Excel 才是王道，可以拆分顯示出任何你想要的數據，當然，甚至可以連 Excel 都不要。

然后，我們統計了一下被抓得最頻繁的頻道 A 和頻道 B，目錄頁的收錄率頻道 A 和 B 是很讓人放心的，說明頁面質量沒問題，但是余下的收錄情況就讓人比較擔心了。決策：通過上面的數據評估，我們已經得到了如下結論。

頁面質量并不是影響收錄的原因。

頻道 A，B 的抓取量異常的高，通過調查了解，原來是首頁上的目錄頁，顯示的全是頻道 A 下的目錄頁，首頁又擁有全站最高的權重。頻道 B 擁有比其他頻道強大的外鏈資源，權重也非常高。

除了 A, B 頻道，其他頻道的抓取情況不容樂觀，抓取入口太少，太深，進而影響了收錄情況。

很明顯，現在頻道 A 從站內的角度來說太強大了，必須進行一些“劫富濟貧”的運動來降低頻道 A 的抓取量，轉移到其他頻道中去。同時，需要給爬蟲提供更多的入口抓取頻道頁。

現在問題變得清晰起來，我們開始把工作分成兩部分：1. 提供更多的入口 2. 將資源平分給各頻道而不是集中在少數幾個頻道上。

提供入口工作：

1. 把目錄頁的 URL 制作成 sitemap。提交給搜索引擎，并且將其設置為比較高的抓取權重。

2. 完善面包屑導航，將面包屑導航劃分得更加細致，以提供更多入口

3. 在其他產品中推薦目錄頁

資源平分工作：（一些概念：任意頁面都有可能成為爬蟲入口，百度爬蟲抓取深度有限，頁面相對入口越淺，被抓取的概率越高。）

1. 原先首頁指向的都是頻道 A 的目錄頁 + 產品頁，將其全部 nofollow，確保從首頁進入的爬蟲，全部抓取到頻道頁，通過頻道頁再進入目錄頁（其實這個不算太重要）

2. 原先頻道頁指向自身的產品頁，將其全部 nofollow（確保從頻道頁入口的爬蟲，最大程度的抓取目錄頁）

3. 從目錄頁返回到首頁的鏈接，將其全部 nofollow。

4. 減少一些頁面上無關鏈接。（什么情況下這么做都是非常有效的。）

現在可以開始動手了。。成果 這么做到底有什么效果呢，我們來看看修改后 1 個月后的數據。目錄頁的收錄率提高了 100%！

產品頁的收錄率也有一定程度的提高，這是歸功于目錄頁對于產品的良好展現。

目錄頁的 SEO 表現：

SEO 流量占比上升了 15%

增長 10% 的到訪關鍵詞數量（新頁面的收錄）

SEO 流量增長了 50% 以上。（包含一些季節因素）

丸趣 TV 網 – 提供最優質的資源集合！