Better Robots.txt 创建一个 WordPress 虚拟 robots.txt，可帮助您提高网站 SEO（索引容量，Google 排名等）和加载性能-与 Yoast SEO，Google Merchant，WooCommerce 和基于目录的网站兼容（MULTISITE）
使用 Better Robots.txt，您可以确定允许（或不允许）对哪些搜索引擎进行爬网，针对允许（或不允许）对它们进行操作的明确说明并定义爬网延迟（以防止托管服务器受到攻击刮板）。更好的 Robots.txt 还使您可以通过自定义设置框完全控制 WordPress robots.txt 的内容。
减少网站在网站上固有的生态足迹和温室气体（CO2）产生。
快速概述：
支持 7 种语言
Better Robots.txt 插件可以翻译并提供以下版本：中文–汉语/汉语，英语，法语–法语–法语–Руссɤɢɣ，葡萄牙语–葡萄牙语，西班牙语–Español，德语– Deutsch
你知道吗…
robots.txt 文件是放置在您的网络服务器上的简单文本文件，它告诉网络爬虫（例如 Googlebot）是否应访问该文件。
robots.txt 文件控制搜索引擎蜘蛛如何查看您的网页并与之交互。
该文件和与之交互的机器人是搜索引擎工作原理的基本组成部分。
搜索引擎爬虫在访问页面时首先要看的是 robots.txt 文件；
robots.txt 是 SEO 汁的来源，它正等待被解锁。尝试更好的 Robots.txt！
关于专业版（附加功能）：
1. 利用您的站点地图在搜索引擎上增加您的内容！
确保搜索引擎考虑您的页面，文章和产品，甚至最新的信息！
Better Robots.txt 插件可以与 Yoast SEO 插件一起使用（可能是 WordPress 网站的最佳 SEO 插件）。它将检测您当前是否在使用 Yoast SEO，以及是否激活了站点地图功能。如果是的话，它将自动将说明添加到 Robots.txt 文件中，要求漫游器/爬网程序读取您的站点地图，并检查您是否对网站进行了最近的更改（以便搜索引擎可以对可用的新内容进行爬网）。
如果您想添加自己的站点地图（或者您正在使用其他 SEO 插件），则只需复制并粘贴您的站点地图 URL，Better Robots.txt 会将其添加到 WordPress Robots.txt 中。
2. 保护您的数据和内容
阻止不良机器人抓取您的网站并使您的数据商业化。
Better Robots.txt 插件可帮助您阻止最流行的不良 bot 爬行和抓取数据。
当涉及到爬网您的网站时，有好机器人和坏机器人。优秀的机器人（例如 Google 机器人）会抓取您的网站以将其编入搜索引擎索引。其他人则出于更邪恶的原因而抓取您的网站，例如剥离内容（文本，价格等）以重新发布，下载网站的完整档案或提取图像。据报道，一些机器人由于大量使用宽带而关闭了整个网站。
Better Robots.txt 插件可保护您的网站免受 Distil Networks 识别为不良 bot 的蜘蛛/抓取工具的攻击。
3. 隐藏和保护您的反向链接
阻止竞争对手确定您可获利的反向链接。
当一个网站链接到另一个网站时，就会创建反向链接，也称为 “入站链接” 或 “入站链接” 。到外部网站的链接称为反向链接。反向链接对 SEO 尤其有价值，因为它们表示从一个站点到另一个站点的 “信任投票” 。从本质上讲，指向您网站的反向链接向搜索引擎发出信号，表明其他人担保您的内容。
如果许多站点链接到同一网页或网站，则搜索引擎可以推断出值得链接的内容，因此也值得在 SERP 上显示。因此，获得这些反向链接会对网站的排名或搜索可见度产生积极影响。在 SEM 行业中，专家通常会确定（竞争对手）这些反向链接来自何处，以便挑选出最佳反向链接并为自己的客户生成高质量的反向链接。
考虑到为公司创建非常有利可图的反向链接需要花费大量时间（时间+精力+预算），因此让您的竞争对手如此轻松地识别和复制它们是纯粹的效率损失。
Better Robots.txt 可以帮助您阻止所有 SEO 搜寻器（aHref，Majestic 和 Semrush），以使反向链接无法检测。
4. 避免垃圾邮件反向链接
机器人会在您网站的评论表单中填充内容，告诉您 “伟大的文章”，“喜欢信息”，“希望您能尽快详细说明该主题”，甚至提供个性化评论，包括作者姓名众多。随着时间的推移，垃圾邮件搜索者变得越来越聪明，不幸的是，评论垃圾邮件链接确实会损害您的反向链接配置文件。更好的 Robots.txt 可帮助您避免搜索引擎将这些评论编入索引。
5. Seo 工具
在改进插件的同时，我们向两个非常重要的工具（如果您担心您在搜索引擎上的排名）添加了快捷链接：Google Search Console 和 Bing 网站管理员工具。如果您尚未使用它们，现在可以在优化 robots.txt 的同时管理网站索引！还添加了对 Mass ping 工具的直接访问，使您可以 ping 通 70 多个搜索引擎上的链接。
我们还创建了 4 个与最佳在线 SEO 工具相关的快捷链接，这些链接可直接在 Better Robots.txt SEO PRO 上找到。这样一来，您随时可以查看网站的加载性能，分析 SEO 得分，使用关键字和点击量确定 SERP 的当前排名，甚至可以扫描整个网站以查找无效链接（404 、 503 错误， …），直接从插件中获取。
6. 独一无二
我们认为，可以通过添加一项功能使您可以使用自己独特的 “签名”“自定义” WordPress robots.txt，从而在 Better Robots.txt 上添加一些独创性。世界上大多数主要公司都通过添加谚语（https://www.yelp.com/robots.txt），标语（https://www.youtube.com/robots.txt）甚至是图纸来对 robots.txt 进行个性化设置（https://store.nike.com/robots.txt –在底部）。而为什么不呢？这就是为什么我们在设置页面上专门设置了一个特定区域，您可以在其中真正地写或画所需的任何东西而不会影响 robots.txt 的效率。
7. 防止机器人抓取无用的 WooCommerce 链接
我们添加了一项独特的功能，可以阻止搜索引擎抓取特定链接（“购物车”，“ orderby”，“ fllter”，购物车，帐户，结帐…）。这些链接中的大多数需要大量的 CPU，内存和带宽使用（在托管服务器上），因为它们不可缓存和/或创建 “无限” 的爬网循环（尽管它们无用）。拥有在线商店时，为 WooCommerce 优化 WordPress robots.txt，可以为真正重要的页面提供更多处理能力，并提高加载性能。
8. 避免爬虫陷阱：
“爬虫陷阱” 是网站中的一个结构性问题，可导致爬虫找到实际上无数个不相关的 URL 。从理论上讲，搜寻器可能会卡在网站的一部分中，而永远无法完成对这些不相关 URL 的搜寻。 Better Robots.txt 有助于防止爬网程序陷阱，这些陷阱会损害爬网预算并导致重复内容。
9. 增长黑客工具
当今发展最快的公司，例如 Amazon，Airbnb 和 Facebook，都通过围绕高速测试/学习过程调整其团队来推动突破性增长。我们正在谈论增长黑客。增长骇客是一个快速尝试并实施仅专注于高效，快速业务增长的营销和促销策略的过程。 Better Robots.txt 提供了 150 多种在线工具的列表，这些工具可助您快速发展。
10. Robots.txt Post Meta Box 用于手动排除
通过在 WordPress robots.txt 文件中注入专用的 “禁止” +“ noindex” 规则，该 Post Meta Box 可以设置页面 “手动” 设置是否在搜索引擎上可见（或不可见）。为什么它是您在搜索引擎上排名的资产？仅仅因为某些页面并不意味着要被爬网/建立索引。谢谢页面，登录页面，仅包含表单的页面对访问者有用，但对爬虫无用，并且您不需要它们在搜索引擎上可见。另外，某些包含动态日历（用于在线预订）的页面绝对不能被爬虫访问，因为它们倾向于将它们陷入无限的爬虫循环中，这会直接影响您的爬虫预算（和您的排名）。
11. Ads.txt 和 App-ads.txt 的爬网能力
为了确保搜索引擎可以抓取 ads.txt 和 app-ads.txt，无论您的配置如何，Better Robots.txt 插件均确保默认情况下在 Robots.txt 文件中允许使用它们。对于您的信息，IAB 计划是 Web 的授权数字卖家，或 ads.txt，旨在提高程序化广告的透明度。您可以创建自己的 ads.txt 文件，以标识谁有权出售您的广告资源。这些文件是公开可用的，并且可以由交易所，供应方平台（SSP），其他买方和第三方供应商抓取。 Apps 的授权卖家，或 app-ads.txt，是 “授权数字卖家” 标准的扩展。它扩展了兼容性以支持在移动应用中显示的广告。
一如既往……
