Better Robots.txt 創建一個 WordPress 虛擬 robots.txt，可幫助您提高網站 SEO（索引容量，Google 排名等）和加載性能-與 Yoast SEO，Google Merchant，WooCommerce 和基於目錄的網站兼容（MULTISITE）
使用 Better Robots.txt，您可以確定允許（或不允許）對哪些搜索引擎進行爬網，針對允許（或不允許）對它們進行操作的明確説明並定義爬網延遲（以防止託管服務器受到攻擊刮板）。更好的 Robots.txt 還使您可以通過自定義設置框完全控制 WordPress robots.txt 的內容。
減少網站在網站上固有的生態足跡和温室氣體（CO2）產生。
快速概述：
支持 7 種語言
Better Robots.txt 插件可以翻譯並提供以下版本：中文–漢語/漢語，英語，法語–法語–法語–Руссɤɢɣ，葡萄牙語–葡萄牙語，西班牙語–Español，德語– Deutsch
你知道嗎…
robots.txt 文件是放置在您的網絡服務器上的簡單文本文件，它告訴網絡爬蟲（例如 Googlebot）是否應訪問該文件。
robots.txt 文件控制搜索引擎蜘蛛如何查看您的網頁並與之交互。
該文件和與之交互的機器人是搜索引擎工作原理的基本組成部分。
搜索引擎爬蟲在訪問頁面時首先要看的是 robots.txt 文件；
robots.txt 是 SEO 汁的來源，它正等待被解鎖。嘗試更好的 Robots.txt！
關於專業版（附加功能）：
1. 利用您的站點地圖在搜索引擎上增加您的內容！
確保搜索引擎考慮您的頁面，文章和產品，甚至最新的信息！
Better Robots.txt 插件可以與 Yoast SEO 插件一起使用（可能是 WordPress 網站的最佳 SEO 插件）。它將檢測您當前是否在使用 Yoast SEO，以及是否激活了站點地圖功能。如果是的話，它將自動將説明添加到 Robots.txt 文件中，要求漫遊器/爬網程序讀取您的站點地圖，並檢查您是否對網站進行了最近的更改（以便搜索引擎可以對可用的新內容進行爬網）。
如果您想添加自己的站點地圖（或者您正在使用其他 SEO 插件），則只需複製並粘貼您的站點地圖 URL，Better Robots.txt 會將其添加到 WordPress Robots.txt 中。
2. 保護您的數據和內容
阻止不良機器人抓取您的網站並使您的數據商業化。
Better Robots.txt 插件可幫助您阻止最流行的不良 bot 爬行和抓取數據。
當涉及到爬網您的網站時，有好機器人和壞機器人。優秀的機器人（例如 Google 機器人）會抓取您的網站以將其編入搜索引擎索引。其他人則出於更邪惡的原因而抓取您的網站，例如剝離內容（文本，價格等）以重新發布，下載網站的完整檔案或提取圖像。據報道，一些機器人由於大量使用寬帶而關閉了整個網站。
Better Robots.txt 插件可保護您的網站免受 Distil Networks 識別為不良 bot 的蜘蛛/抓取工具的攻擊。
3. 隱藏和保護您的反向鏈接
阻止競爭對手確定您可獲利的反向鏈接。
當一個網站鏈接到另一個網站時，就會創建反向鏈接，也稱為 “入站鏈接” 或 “入站鏈接” 。到外部網站的鏈接稱為反向鏈接。反向鏈接對 SEO 尤其有價值，因為它們表示從一個站點到另一個站點的 “信任投票” 。從本質上講，指向您網站的反向鏈接向搜索引擎發出信號，表明其他人擔保您的內容。
如果許多站點鏈接到同一網頁或網站，則搜索引擎可以推斷出值得鏈接的內容，因此也值得在 SERP 上顯示。因此，獲得這些反向鏈接會對網站的排名或搜索可見度產生積極影響。在 SEM 行業中，專家通常會確定（競爭對手）這些反向鏈接來自何處，以便挑選出最佳反向鏈接併為自己的客户生成高質量的反向鏈接。
考慮到為公司創建非常有利可圖的反向鏈接需要花費大量時間（時間+精力+預算），因此讓您的競爭對手如此輕鬆地識別和複製它們是純粹的效率損失。
Better Robots.txt 可以幫助您阻止所有 SEO 搜尋器（aHref，Majestic 和 Semrush），以使反向鏈接無法檢測。
4. 避免垃圾郵件反向鏈接
機器人會在您網站的評論表單中填充內容，告訴您 “偉大的文章”，“喜歡信息”，“希望您能儘快詳細説明該主題”，甚至提供個性化評論，包括作者姓名眾多。隨着時間的推移，垃圾郵件搜索者變得越來越聰明，不幸的是，評論垃圾郵件鏈接確實會損害您的反向鏈接配置文件。更好的 Robots.txt 可幫助您避免搜索引擎將這些評論編入索引。
5. Seo 工具
在改進插件的同時，我們向兩個非常重要的工具（如果您擔心您在搜索引擎上的排名）添加了快捷鏈接：Google Search Console 和 Bing 網站管理員工具。如果您尚未使用它們，現在可以在優化 robots.txt 的同時管理網站索引！還添加了對 Mass ping 工具的直接訪問，使您可以 ping 通 70 多個搜索引擎上的鏈接。
我們還創建了 4 個與最佳在線 SEO 工具相關的快捷鏈接，這些鏈接可直接在 Better Robots.txt SEO PRO 上找到。這樣一來，您隨時可以查看網站的加載性能，分析 SEO 得分，使用關鍵字和點擊量確定 SERP 的當前排名，甚至可以掃描整個網站以查找無效鏈接（404 、 503 錯誤， …），直接從插件中獲取。
6. 獨一無二
我們認為，可以通過添加一項功能使您可以使用自己獨特的 “簽名”“自定義” WordPress robots.txt，從而在 Better Robots.txt 上添加一些獨創性。世界上大多數主要公司都通過添加諺語（https://www.yelp.com/robots.txt），標語（https://www.youtube.com/robots.txt）甚至是圖紙來對 robots.txt 進行個性化設置（https://store.nike.com/robots.txt –在底部）。而為什麼不呢？這就是為什麼我們在設置頁面上專門設置了一個特定區域，您可以在其中真正地寫或畫所需的任何東西而不會影響 robots.txt 的效率。
7. 防止機器人抓取無用的 WooCommerce 鏈接
我們添加了一項獨特的功能，可以阻止搜索引擎抓取特定鏈接（“購物車”，“ orderby”，“ fllter”，購物車，帳户，結帳…）。這些鏈接中的大多數需要大量的 CPU，內存和帶寬使用（在託管服務器上），因為它們不可緩存和/或創建 “無限” 的爬網循環（儘管它們無用）。擁有在線商店時，為 WooCommerce 優化 WordPress robots.txt，可以為真正重要的頁面提供更多處理能力，並提高加載性能。
8. 避免爬蟲陷阱：
“爬蟲陷阱” 是網站中的一個結構性問題，可導致爬蟲找到實際上無數個不相關的 URL 。從理論上講，搜尋器可能會卡在網站的一部分中，而永遠無法完成對這些不相關 URL 的搜尋。 Better Robots.txt 有助於防止爬網程序陷阱，這些陷阱會損害爬網預算並導致重複內容。
9. 增長黑客工具
當今發展最快的公司，例如 Amazon，Airbnb 和 Facebook，都通過圍繞高速測試/學習過程調整其團隊來推動突破性增長。我們正在談論增長黑客。增長駭客是一個快速嘗試並實施僅專注於高效，快速業務增長的營銷和促銷策略的過程。 Better Robots.txt 提供了 150 多種在線工具的列表，這些工具可助您快速發展。
10. Robots.txt Post Meta Box 用於手動排除
通過在 WordPress robots.txt 文件中注入專用的 “禁止” +“ noindex” 規則，該 Post Meta Box 可以設置頁面 “手動” 設置是否在搜索引擎上可見（或不可見）。為什麼它是您在搜索引擎上排名的資產？僅僅因為某些頁面並不意味着要被爬網/建立索引。謝謝頁面，登錄頁面，僅包含表單的頁面對訪問者有用，但對爬蟲無用，並且您不需要它們在搜索引擎上可見。另外，某些包含動態日曆（用於在線預訂）的頁面絕對不能被爬蟲訪問，因為它們傾向於將它們陷入無限的爬蟲循環中，這會直接影響您的爬蟲預算（和您的排名）。
11. Ads.txt 和 App-ads.txt 的爬網能力
為了確保搜索引擎可以抓取 ads.txt 和 app-ads.txt，無論您的配置如何，Better Robots.txt 插件均確保默認情況下在 Robots.txt 文件中允許使用它們。對於您的信息，IAB 計劃是 Web 的授權數字賣家，或 ads.txt，旨在提高程序化廣告的透明度。您可以創建自己的 ads.txt 文件，以標識誰有權出售您的廣告資源。這些文件是公開可用的，並且可以由交易所，供應方平台（SSP），其他買方和第三方供應商抓取。 Apps 的授權賣家，或 app-ads.txt，是 “授權數字賣家” 標準的擴展。它擴展了兼容性以支持在移動應用中顯示的廣告。
一如既往……
