Better Robots.txt 建立一個 WordPress 虛擬 robots.txt，可幫助您提高網站 SEO（索引容量，Google 排名等）和載入效能-與 Yoast SEO，Google Merchant，WooCommerce 和基於目錄的網站相容（MULTISITE）
使用 Better Robots.txt，您可以確定允許（或不允許）對哪些搜尋引擎進行爬網，針對允許（或不允許）對它們進行操作的明確說明並定義爬網延遲（以防止託管伺服器受到攻擊刮板）。更好的 Robots.txt 還使您可以透過自定義設定框完全控制 WordPress robots.txt 的內容。
減少網站在網站上固有的生態足跡和溫室氣體（CO2）產生。
快速概述：
支援 7 種語言
Better Robots.txt 外掛可以翻譯並提供以下版本：中文–漢語/漢語，英語，法語–法語–法語–Руссɤɢɣ，葡萄牙語–葡萄牙語，西班牙語–Español，德語– Deutsch
你知道嗎…
robots.txt 檔案是放置在您的網路伺服器上的簡單文字檔案，它告訴網路爬蟲（例如 Googlebot）是否應訪問該檔案。
robots.txt 檔案控制搜尋引擎蜘蛛如何檢視您的網頁並與之互動。
該檔案和與之互動的機器人是搜尋引擎工作原理的基本組成部分。
搜尋引擎爬蟲在訪問頁面時首先要看的是 robots.txt 檔案；
robots.txt 是 SEO 汁的來源，它正等待被解鎖。嘗試更好的 Robots.txt！
關於專業版（附加功能）：
1. 利用您的站點地圖在搜尋引擎上增加您的內容！
確保搜尋引擎考慮您的頁面，文章和產品，甚至最新的資訊！
Better Robots.txt 外掛可以與 Yoast SEO 外掛一起使用（可能是 WordPress 網站的最佳 SEO 外掛）。它將檢測您當前是否在使用 Yoast SEO，以及是否啟用了站點地圖功能。如果是的話，它將自動將說明新增到 Robots.txt 檔案中，要求漫遊器/爬網程式讀取您的站點地圖，並檢查您是否對網站進行了最近的更改（以便搜尋引擎可以對可用的新內容進行爬網）。
如果您想新增自己的站點地圖（或者您正在使用其他 SEO 外掛），則只需複製並貼上您的站點地圖 URL，Better Robots.txt 會將其新增到 WordPress Robots.txt 中。
2. 保護您的資料和內容
阻止不良機器人抓取您的網站並使您的資料商業化。
Better Robots.txt 外掛可幫助您阻止最流行的不良 bot 爬行和抓取資料。
當涉及到爬網您的網站時，有好機器人和壞機器人。優秀的機器人（例如 Google 機器人）會抓取您的網站以將其編入搜尋引擎索引。其他人則出於更邪惡的原因而抓取您的網站，例如剝離內容（文字，價格等）以重新發布，下載網站的完整檔案或提取影象。據報道，一些機器人由於大量使用寬頻而關閉了整個網站。
Better Robots.txt 外掛可保護您的網站免受 Distil Networks 識別為不良 bot 的蜘蛛/抓取工具的攻擊。
3. 隱藏和保護您的反向連結
阻止競爭對手確定您可獲利的反向連結。
當一個網站連結到另一個網站時，就會建立反向連結，也稱為 “入站連結” 或 “入站連結” 。到外部網站的連結稱為反向連結。反向連結對 SEO 尤其有價值，因為它們表示從一個站點到另一個站點的 “信任投票” 。從本質上講，指向您網站的反向連結向搜尋引擎發出訊號，表明其他人擔保您的內容。
如果許多站點連結到同一網頁或網站，則搜尋引擎可以推斷出值得連結的內容，因此也值得在 SERP 上顯示。因此，獲得這些反向連結會對網站的排名或搜尋可見度產生積極影響。在 SEM 行業中，專家通常會確定（競爭對手）這些反向連結來自何處，以便挑選出最佳反向連結併為自己的客戶生成高質量的反向連結。
考慮到為公司建立非常有利可圖的反向連結需要花費大量時間（時間+精力+預算），因此讓您的競爭對手如此輕鬆地識別和複製它們是純粹的效率損失。
Better Robots.txt 可以幫助您阻止所有 SEO 搜尋器（aHref，Majestic 和 Semrush），以使反向連結無法檢測。
4. 避免垃圾郵件反向連結
機器人會在您網站的評論表單中填充內容，告訴您 “偉大的文章”，“喜歡資訊”，“希望您能儘快詳細說明該主題”，甚至提供個性化評論，包括作者姓名眾多。隨著時間的推移，垃圾郵件搜尋者變得越來越聰明，不幸的是，評論垃圾郵件連結確實會損害您的反向連結配置檔案。更好的 Robots.txt 可幫助您避免搜尋引擎將這些評論編入索引。
5. Seo 工具
在改進外掛的同時，我們向兩個非常重要的工具（如果您擔心您在搜尋引擎上的排名）新增了快捷連結：Google Search Console 和 Bing 網站管理員工具。如果您尚未使用它們，現在可以在最佳化 robots.txt 的同時管理網站索引！還新增了對 Mass ping 工具的直接訪問，使您可以 ping 通 70 多個搜尋引擎上的連結。
我們還建立了 4 個與最佳線上 SEO 工具相關的快捷連結，這些連結可直接在 Better Robots.txt SEO PRO 上找到。這樣一來，您隨時可以檢視網站的載入效能，分析 SEO 得分，使用關鍵字和點選量確定 SERP 的當前排名，甚至可以掃描整個網站以查詢無效連結（404 、 503 錯誤， …），直接從外掛中獲取。
6. 獨一無二
我們認為，可以透過新增一項功能使您可以使用自己獨特的 “簽名”“自定義” WordPress robots.txt，從而在 Better Robots.txt 上新增一些獨創性。世界上大多數主要公司都透過新增諺語（https://www.yelp.com/robots.txt），標語（https://www.youtube.com/robots.txt）甚至是圖紙來對 robots.txt 進行個性化設定（https://store.nike.com/robots.txt –在底部）。而為什麼不呢？這就是為什麼我們在設定頁面上專門設定了一個特定區域，您可以在其中真正地寫或畫所需的任何東西而不會影響 robots.txt 的效率。
7. 防止機器人抓取無用的 WooCommerce 連結
我們新增了一項獨特的功能，可以阻止搜尋引擎抓取特定連結（“購物車”，“ orderby”，“ fllter”，購物車，帳戶，結帳…）。這些連結中的大多數需要大量的 CPU，記憶體和頻寬使用（在託管伺服器上），因為它們不可快取和/或建立 “無限” 的爬網迴圈（儘管它們無用）。擁有線上商店時，為 WooCommerce 最佳化 WordPress robots.txt，可以為真正重要的頁面提供更多處理能力，並提高載入效能。
8. 避免爬蟲陷阱：
“爬蟲陷阱” 是網站中的一個結構性問題，可導致爬蟲找到實際上無數個不相關的 URL 。從理論上講，搜尋器可能會卡在網站的一部分中，而永遠無法完成對這些不相關 URL 的搜尋。 Better Robots.txt 有助於防止爬網程式陷阱，這些陷阱會損害爬網預算並導致重複內容。
9. 增長駭客工具
當今發展最快的公司，例如 Amazon，Airbnb 和 Facebook，都透過圍繞高速測試/學習過程調整其團隊來推動突破性增長。我們正在談論增長駭客。增長駭客是一個快速嘗試並實施僅專注於高效，快速業務增長的營銷和促銷策略的過程。 Better Robots.txt 提供了 150 多種線上工具的列表，這些工具可助您快速發展。
10. Robots.txt Post Meta Box 用於手動排除
透過在 WordPress robots.txt 檔案中注入專用的 “禁止” +“ noindex” 規則，該 Post Meta Box 可以設定頁面 “手動” 設定是否在搜尋引擎上可見（或不可見）。為什麼它是您在搜尋引擎上排名的資產？僅僅因為某些頁面並不意味著要被爬網/建立索引。謝謝頁面，登入頁面，僅包含表單的頁面對訪問者有用，但對爬蟲無用，並且您不需要它們在搜尋引擎上可見。另外，某些包含動態日曆（用於線上預訂）的頁面絕對不能被爬蟲訪問，因為它們傾向於將它們陷入無限的爬蟲迴圈中，這會直接影響您的爬蟲預算（和您的排名）。
11. Ads.txt 和 App-ads.txt 的爬網能力
為了確保搜尋引擎可以抓取 ads.txt 和 app-ads.txt，無論您的配置如何，Better Robots.txt 外掛均確保預設情況下在 Robots.txt 檔案中允許使用它們。對於您的資訊，IAB 計劃是 Web 的授權數字賣家，或 ads.txt，旨在提高程式化廣告的透明度。您可以建立自己的 ads.txt 檔案，以標識誰有權出售您的廣告資源。這些檔案是公開可用的，並且可以由交易所，供應方平臺（SSP），其他買方和第三方供應商抓取。 Apps 的授權賣家，或 app-ads.txt，是 “授權數字賣家” 標準的擴充套件。它擴充套件了相容性以支援在移動應用中顯示的廣告。
一如既往……
