Spider抓取情況和SEO

發(fā)布：2022-02-25 17:59:57 瀏覽：3255

搜索引|擎Spider對網站的抓取情況，應該是最值得SEO人員研究的內容。但是很多SEO人員面對已經在日志中提取出來的搜索引擎抓取記錄，并不知道需要分析什么。這里簡單討論一下Spider對網站的抓取情況都有哪些方面是值得分析的，以及分析出的結果是如何指導SEO工作的。
Spider的抓取數(shù)據(jù)可以分析:Spider對整個網站的抓取頻率、Spider對重要頁面的抓取頻率、Spider對網站內容的抓取分布情況、Spider對各種類型網頁的抓取情況、Spider對 網站的抓取狀態(tài)碼情況等。

1. 通過分析Spider對整個網站的抓取頻率的趨勢，可以簡單了解網站在搜索引擎眼中的質量。如果網站沒有進行過大幅度的變動，并且內容正常更新，搜索引擎的抓取頻率卻逐漸或突然大幅度降低，不是網站運行出現(xiàn)錯誤，就是搜索引擎認為網站質量出現(xiàn)了問題;如果搜索引擎的抓取頻率突然增大，可能是網站有404之類的頁面引起了Spider的集中重復抓取;如果搜索引擎的抓取頻率逐漸增大，可能是隨著網站內容的逐漸增多，權重的逐漸積累，而獲得的正常抓取。持平和平緩的變動不足為奇，如果出現(xiàn)大幅度的變動，就需要引起足夠的重視了。
2. (2)通過分析Spider對重要頁面的抓取規(guī)律，可以輔助網頁內容更新頻率的調整。一般搜索引擎Spider會對站內的重要頁面進行高頻度的抓取，這類頁面一般不會是內容頁，而是首頁、列表頁或者擁有大量外鏈的專題頁。在網站中有很多種此類抓取頻率非常大的頁面，比如前面所說的網站首頁、目錄頁和專題頁。在網站中往往還會有其他更多類型的聚合頁同樣有著比較大的抓取頻率。尤其是網站的首頁，很多網站的首頁每天都會得到搜索引擎成千上萬次的抓取，但是不少網站首頁上更新的鏈接很少，有些浪費了首頁本身權重所帶來的Spider高抓取頻率。在不影響SEO關鍵詞密度和布局的前提下，SEO人員可以充分利用這部分資源，來使網站內所有的新內容都被搜索引擎及時發(fā)現(xiàn)，也減少搜索引擎的無效抓取。雖然現(xiàn)在通過百度站長平臺的sitemap工具，可以直接把站內的URL提交給百度，并不需要太過擔心百度發(fā)現(xiàn)不了網站內新內容的問題，但是現(xiàn)在也有部分網站是沒有sitemap提交權限的，并且這種通過頁面發(fā)現(xiàn)鏈接的形式還會帶有-定的權值傳遞。眾所周知，網頁的收錄與否，除取決于網頁內容的質量外，與網頁所獲得的外鏈和網頁的權重也是有關系的，所以以上分析和改進還是值得進行的。
3. 分析Spider對網站內容的抓取分布情況。每個網站都會分出一些不同的頻道，可能大家感覺在網站內鏈和外鏈的建設中并沒有特別的偏向，或者為某個頻道做了很多鏈接，就認為該頻道應該會得到搜索引擎的青睞，但是事實可能不是這樣的。Spider對 網站內容抓取分布情況的分析-般會結合網站的收錄數(shù)據(jù)，分析網站各頻道內容的更新量、搜索引擎收錄量和Spider對各頻道的每日抓取量是否成正比。

                如果某個頻道的搜索弓|擎收錄不佳，首先就要分析搜索引|擎對該頻道的抓取是否正常。比如分析百度對網站各頻道的抓取情況，可以使用光年SEO日志分析系統(tǒng)先把百度的抓取記錄提取出來，然后使用該工具對提取出來的日志進行分析。

4. 分析Spider對站內各類頁面的抓取情況。不同網站都有著自己不同的網頁類型，這里進行舉例說明。在大眾網站中-般首頁、目錄頁、文章頁，目錄頁和文章頁可能會有分頁，但是經過分析百度Spider的抓取記錄后，可能會發(fā)現(xiàn)百度Spider幾乎不怎么抓取分頁，不論是列表分頁還是文章分頁。
5. 分析Spider對網站的抓取狀態(tài)碼情況。除了上面所提到的注意網站異常的狀態(tài)碼，還應該留意Spider對網站的抓取記錄中是否還有其他不常見的狀態(tài)碼出現(xiàn)。