理論上,蜘蛛的爬行可以遍佈整個互聯網的全部頁面,但是實際上,蜘蛛做不到這些,也不需要去做到,因為整個互聯網每天出現的新頁面是以萬億級計數的,其中有大量的垃圾內容,這裏所指的垃圾是指垃圾網站出現大量無關內容,例如相親網上出現賭博六合彩的資訊,出現一兩次還可以忍受,出現次數多了會對搜索引擎用户體驗造成很大的傷害,嚴重的影響搜索引擎的盈利。

既然知道了蜘蛛爬行並不會爬行和抓取所有的頁面,我們為了更多頁面被收錄,就要學著討好蜘蛛,蜘蛛的使命就是儘量抓取重要頁面。我們就在這方面討好它,凡是方便利於蜘蛛爬行和抓取的行為都是好行為。

 

 

蜘蛛的抓取一般喜歡以下幾種行為:

蜘蛛喜歡的行為一:網站和頁面的權重儘可能的高,蜘蛛抓取的過程中首先考慮這種網站,因為在蜘蛛看來,質量高、建站時間長的網站才會有比較高的權重。高權重的網站甚至可以達到秒收錄的效果。

蜘蛛喜歡的行為二:頁面更新頻率要高,如果不經常更新頁面,蜘蛛也就沒必要經常過來抓取頁面內容了,只有我們經常更新,蜘蛛才會更加頻繁的光顧我們的網站網頁內容。所以網站維護期最好做到每日更新,不僅是原創內容,也可以轉載一些時效性強的資訊。

蜘蛛喜歡的行為三:高質量的內外鏈建設,高質量的內外鏈建設能使得蜘蛛的爬行深度增加,要被蜘蛛抓取,就必須有匯入連結進頁面,否則蜘蛛根本就爬行不到該頁面,更不要説抓取以及收錄了。這裏就是高質量內外鏈的重要性的體現了,這也是人們常説的 “內容為王,外鏈為後” 這句話的依據。蜘蛛的爬行時沿著連結爬行的,如果有高質量的外部連結,蜘蛛爬行的深度會加深,很可能多爬幾層,讓我們的頁面更多的被蜘蛛抓取。

蜘蛛喜歡的行為四:距離首頁點選距離。這裏説的距離首頁點選距離一般是因為首頁的權重最高,蜘蛛爬行到首頁次數也最多,每通過一次連結叫一次點選,距離首頁點選距離越近代表了頁面權越重高,蜘蛛就喜歡這些短距離高權重的頁面。頁面權重還可以通過 URL 結構來直觀體現,URL 結構短、層次淺代表的頁面權重就相對高。

通過了解搜索引擎工作的基本原理-蜘蛛的抓取,就應該明白搜索引擎蜘蛛喜歡什麼樣的網站,這也就是我們 WooCommerce SEO 工作人員努力的目標。