第 步收集其他指标
Posted: Tue Jan 28, 2025 9:53 am
大多数爬虫都会为您提供 URL 和各种页面指标和数据，例如标题、描述、元标记和字数。除此之外，您还需要了解内部和外部链接、流量、内容独特性等，以便在内容审核项目的分析部分提出充分明智的建议。
您的流程可能有所不同，但我 iOS 数据库 们通常会尝试使用尽可能少的来源来获取我们需要的一切。URL Profiler是实现此目的的绝佳资源，因为它与Screaming Frog配合良好，并且可以轻松与我们需要的所有 API 集成。
一旦 Screaming Frog 扫描完成（仅抓取可索引内容），导出“Internal All”文件，然后可将其用作 URL Profiler 中的种子列表（与通过 GSC、GA 和其他地方在抓取之外找到的任何其他可索引 URL 相结合）。
这是我的 URL Profiler 设置，用于对小型或中型网站进行典型的内容审核。此外，在“帐户”下，我已通过API 密钥连接到 Moz 和 SEMrush。
一旦 URL Profiler 完成，你应该得到如下结果：
Screaming Frog 和 URL Profiler：在这两个工具及其连接的 API 之间，您可能不需要任何其他东西就可以查看域上每个可索引 URL 的以下指标。
从第三方工具获取分析数据的风险
我们注意到，在大型高流量网站上使用上述方法时，会出现奇怪的数据不匹配和抽样数据。我们的内部流程包括直接从 Google Analytics 导出这些报告，有时还会结合Analytics Canvas来获取来自 GA 的完整未抽样数据。然后在电子表格中使用 VLookup 来合并数据，其中 URL 是唯一标识符。
您的流程可能有所不同，但我 iOS 数据库 们通常会尝试使用尽可能少的来源来获取我们需要的一切。URL Profiler是实现此目的的绝佳资源，因为它与Screaming Frog配合良好，并且可以轻松与我们需要的所有 API 集成。
一旦 Screaming Frog 扫描完成（仅抓取可索引内容），导出“Internal All”文件，然后可将其用作 URL Profiler 中的种子列表（与通过 GSC、GA 和其他地方在抓取之外找到的任何其他可索引 URL 相结合）。
这是我的 URL Profiler 设置，用于对小型或中型网站进行典型的内容审核。此外，在“帐户”下，我已通过API 密钥连接到 Moz 和 SEMrush。
一旦 URL Profiler 完成，你应该得到如下结果：
Screaming Frog 和 URL Profiler：在这两个工具及其连接的 API 之间，您可能不需要任何其他东西就可以查看域上每个可索引 URL 的以下指标。
从第三方工具获取分析数据的风险
我们注意到，在大型高流量网站上使用上述方法时，会出现奇怪的数据不匹配和抽样数据。我们的内部流程包括直接从 Google Analytics 导出这些报告，有时还会结合Analytics Canvas来获取来自 GA 的完整未抽样数据。然后在电子表格中使用 VLookup 来合并数据，其中 URL 是唯一标识符。