它会悄悄降临到我们身上

A collection of data related to the UK.
Post Reply
fomayof928@mowline
Posts: 180
Joined: Mon Dec 23, 2024 3:36 am

它会悄悄降临到我们身上

Post by fomayof928@mowline »

如果 Google 在我们的日志文件中没有持续获得 200 秒,但我们尝试时可以正常访问该页面,那么 Googlebot 和我们之间显然存在一些差异。这些差异可能是什么?

这显然是一个机器人,而不是一个假装成机器人的人。
它会在一天中的不同时间爬行。
这意味着:

如果我们的网站阻止智能机器人,它可能能够区分我们和 Googlebot。
由于 Googlebot 会对我们的网络服务器 阿富汗 WhatsApp 数据 更大的压力,因此它的行为可能会有所不同。当网站同时被太多机器人或访问者访问时,他们可能会采取某些措施来帮助保持网站在线。他们可能会打开更多的计算机来为网站提供动力(这称为扩展),他们也可能会尝试限制用户请求太多页面的速率,或提供减少版本的页面。
服务器定期运行任务。例如,列表网站可能会在每天 01:00 运行一项任务来清除所有旧列表,这可能会影响服务器性能。
如果要弄清楚这些间歇性影响到底是怎么回事,那就太无情了。您可能需要与后端开发人员交谈。

根据您的技能水平,您可能不知道从哪里进行讨论。一个有用的讨论结构通常是讨论应用程序如何在技术堆栈中移动,然后查看我们上面讨论的边缘情况。

服务器在高负载下会发生什么?
重要的计划任务什么时候到期?
进入此对话的两个有用信息:

根据日志中问题的规律性,通常值得尝试使用爬虫以与 Google 相同的速度/强度爬行网站来重现问题,看看是否可以找到/导致相同的问题。根据网站的大小,这并不总是可行,但对于某些网站来说是可行的。能够持续重现问题是解决问题的最佳方法。
Post Reply