UK Database

技术 SEO | 高级 SEO
作者的观点完全是他们自己的（不包括催眠的不太可能发生的情况）并且可能并不总是反映 Moz 的观点。

我每天都会使用网络爬虫。虽然它们非常有用，但它们只是模仿搜索引擎爬虫的行为，这意味着你无法始终了解全部情况。

唯一可以真正概览 采购总监电子邮件列表 搜索引擎如何抓取您的网站的工具是日志文件。尽管如此，许多人仍然痴迷于抓取预算——Googlebot 可以并且想要抓取的 URL 数量。

日志文件分析可能会发现您网站上一些您不了解但搜索引擎却在抓取的 URL，这对 Google 服务器资源造成了极大浪费（Google 网站管理员博客）：

“在这样的页面上浪费服务器资源会耗尽那些真正有价值的页面的抓取活动，这可能会导致在网站上发现优质内容的延迟。”

虽然这是一个有趣的话题，但事实上大多数网站并不需要过多担心抓取预算——John Mueller（谷歌网站管理员趋势分析师）已经多次分享过这一观察。

不过，分析这些抓取产生的日志仍然有很大的价值。它将显示 Google 正在抓取哪些页面以及是否需要修复任何内容。

当您确切了解日志文件告诉您的内容时，您将获得有关 Google 如何抓取和查看您的网站的宝贵见解，这意味着您可以针对这些数据进行优化以增加流量。网站越大，解决这些问题的影响就越大。