大多数爬虫都会为您提供 URL 和各种页面指标和数据，例如标题、描述、元标记和字数。除此之外，您还需要了解内部和外部链接、流量、内容独特性等，以便在内容审核项目的分析部分提出充分明智的建议。
您的流程可能有所不同，但我 iOS 数据库 们通常会尝试使用尽可能少的来源来获取我们需要的一切。URL Profiler是实现此目的的绝佳资源，因为它与Screaming Frog配合良好，并且可以轻松与我们需要的所有 API 集成。
一旦 Screaming Frog 扫描完成（仅抓取可索引内容），导出“Internal All”文件，然后可将其用作 URL Profiler 中的种子列表（与通过 GSC、GA 和其他地方在抓取之外找到的任何其他可索引 URL 相结合）。
这是我的 URL Profiler 设置，用于对小型或中型网站进行典型的内容审核。此外，在“帐户”下，我已通过API 密钥连接到 Moz 和 SEMrush。
一旦 URL Profiler 完成，你应该得到如下结果：
Screaming Frog 和 URL Profiler：在这两个工具及其连接的 API 之间，您可能不需要任何其他东西就可以查看域上每个可索引 URL 的以下指标。
从第三方工具获取分析数据的风险
我们注意到，在大型高流量网站上使用上述方法时，会出现奇怪的数据不匹配和抽样数据。我们的内部流程包括直接从 Google Analytics 导出这些报告，有时还会结合Analytics Canvas来获取来自 GA 的完整未抽样数据。然后在电子表格中使用 VLookup 来合并数据，其中 URL 是唯一标识符。