限制：遵守与 Googlebot 搜索引擎蜘蛛相同的 robots.txt 规则，但使用不同的 Googlebot 用户代理令牌。这允许网站所有者控制其网站的哪些部分被爬网，哪些部分不被爬网。 • HTTP 协议版本：使用与Googlebot 相同的HTTP 版本，当前为HTTP1.1 和HTTP2（如果站点支持）。 • 获取大小限制：与Googlebot 具有相同的页面大小限制，当前设置为10MB。
这可以防止大页面消耗过多的资源，从而减慢爬 波兰电话号码数据 网过程。正如 s 指出的那样，本ooglebot。 GoogleOther 对您的 SEO 策略意味着什么：专家权衡 虽然已经向网站站长保证新的爬虫不会对网站产生重大影响，但许多 SEO 专家仍然想知道它对网站排名的潜在影响 Thrive 首席 SEO 技术顾问 Ronnel Viloria 表示，现在确定 GoogleOther 将如何影响 SEO 工作还为时过早。
鉴于 GoogleOther 是最近添加的，因此没有案例研究可以表明它如何影响排名和流量。 “谷歌定期更新其算法和爬虫，这些变化可能会影响搜索结果和网站排名。然而，在获得更多有关 GoogleOther 的信息之前，不可能预测它会对 SEO 产生怎样的影响。” Viloria 说。当谈到优化您的 SEO 活动策略时，Ronnel 建议坚持使用当前的系统，同时关注这个新的更新。