什么是抓取预算以及为什么它在 SEO 中很重要？

已发表: 2020-07-29

抓取预算是 SEO 行业中最受破坏的部分之一，并且通常被世界各地的品牌认为是一个古老的、休眠的功能。相反，抓取预算已根据现代行业标准和 Google 算法演变，使其随着时间的推移变得更加重要。

根据 Google，抓取预算是您网站的抓取速度限制的总和（确保 Googlebot 或其他机器人不会过多地抓取您的网页，造成任何损害）；和抓取需求（它定义了谷歌想要抓取多少页面）。

但是，抓取预算有助于了解搜索引擎为您的网站提供的关注度或权重。已经编写了几个计算机程序来从网页中收集信息，称为机器人、爬虫、网络蜘蛛等。它可以帮助确定 Google 在一天内将在您的网站上抓取的页面数量，并且没有固定限制，因为这些一天可以爬取 1 到 40,00,000 个页面或更多。

因此，优化您的抓取预算以帮助收集有关网站更新页面的更好信息、分析其内容质量并将数据发送到其他搜索引擎至关重要。因此，抓取预算越好，搜索引擎索引中反映的信息就越快，从而可以对您的网站进行更改。要获得有关技术 SEO 的更多知识，请查看我们的数字营销课程。

为了更好地了解爬取预算，让我们首先深入了解爬取过程。

阅读更多：技术 SEO：您现在应该实施的 7 个最佳实践

搜索引擎优化方面的抓取预算

它是 SEO 行业中广泛使用的相对术语，表示机器人爬行所需的各种方法和概念。这些技术可能取决于机器人爬取的页面的数量和类型。搜索引擎将抓取预算分配给网站，因为有无限的在线网站，但从搜索引擎页面的角度来看，用于覆盖和收集数据的资源有限。

预算可以帮助他们将注意力分散到众多网站上，并优先考虑他们的抓取事件。搜索引擎页面分配的抓取预算取决于以下因素：

抓取限制：网站可以处理的抓取频率及其所有者的偏好。
抓取需求：根据受欢迎程度和相关性，哪些网站 URL 值得抓取

由于抓取预算存在很多混淆，许多品牌经常在不知不觉中未充分利用或忽视分配给您网站的抓取预算，从而对其在线 SEO 策略和 SERP 结果造成更大的损害。

每天，爬虫都会被分配到一个 URL 列表，它需要系统地覆盖每个 URL。为此，爬虫需要及时获取robots.txt文件，以了解它是否仍然可以爬取每个给定的URL并开始一个接一个地爬取。 Google 认为一个网站值得抓取并没有预先确定的理由，但更新 XML 站点地图和新反向链接等因素会影响抓取并充分利用它。

那么，抓取预算中的“预算”一词指的是什么？是不是跟财务有关？

爬行“预算”一词是一个不确定的术语，用于描述机器人访问网站的频率，以及它首先访问的页面。如上所述，预算可以是爬网需求、爬网率等许多因素的综合影响。

爬网对于拥有较大网站和许多着陆页的品牌来说非常重要，例如亚马逊这样的电子商务网站，当它向其网站添加新的部分/类别时，该网站本身包含数千个页面。当您需要爬网预算以快速将所有这些页面编入索引时，这是理想的情况。但是，拥有过多的重定向链也会影响您的抓取预算。

为什么抓取预算很重要？

这非常重要，因为您希望搜索引擎快速索引您的页面，更新现有页面，并很快让这些页面上的访问者开始转换。如果没有主动抓取，您的访问者可能永远无法知道或在您的网站上购买更新、更新的产品、未被发现并不必要地浪费您的抓取预算。如果在 Google Search Console 上得到验证，还有一些方法可以查看您网站的抓取预算。这是如何做：

首先，登录 Google Search Console 并选择您想了解抓取预算的网站。
其次，转到 Crawl > Crawl Stats，在这里您可以看到Google每天抓取的页面数量。

例如，如果您看到平均抓取预算为 70 页/天，并且保持不变，则每月抓取预算将为（70 页）x（30 天）= 2100 页在一个月内。

谷歌表示，每天有数百万个网站被抓取，抓取预算较高的页面会受到爬虫的更多关注，并会吸引机器人检查这些页面，而不会直接增加 SEO 活动，但主要是让企业主从中受益。

阅读：数字营销教程

优化抓取预算

通过遵循行业最佳实践，您可以通过多种方式确保不再浪费抓取预算。以下是检查和优化抓取预算的一些最常见原因：

可访问的 URL：确保没有 URL 保存任何参数，以便在产品过滤器中进行更广泛的选择。
良好的网站速度：页面加载速度更快，爬取率提高的机会更高，并保持用户体验最大化
内部链接：谷歌喜欢与网站内许多页面相互链接的网站，指针分散在各处。 此外，由于内部链接，Googlebot 会访问您网站上需要索引的所有页面。
没有内容质量差：质量差或内容少的页面不会为网站增加任何价值，并且可能会影响您网站的整体抓取率。
扁平化网站架构：您的网站越受欢迎，您拥有的链接权限就越多。 因此，扁平化网站架构有助于利用所有网站页面的链接权限，并获得网站爬虫的更多关注。
限制重复内容： Google 反对复制或重复的内容页面，因此，在您的网站上放置此类页面可能会影响整体抓取预算和费率。
没有孤立页面：对于您的网站来说，在其所有登录页面上拥有大量内部和外部链接是非常重要的。 如果没有此类链接，页面被称为“孤儿页面”，通常会被取消索引或需要 Google 大量时间才能在搜索引擎结果中发现此类页面。

另请阅读：必读 73 个谷歌分析面试问题和答案

结论

随着时间的推移，爬网预算是、过去和将来可能是让网站被索引并在搜索引擎结果页面中更加可见的最关键因素之一。每个 SEO 专业人士都需要找到方法并密切关注爬网预算优化，从而间接导致任何品牌更好的 SEO 存在。

如果您想亲自动手进行数字营销，请查看数字营销高级证书和