seo文件调换_谷歌修改了全体爬虫文档

Google 对其爬虫文档进行了重大改版，缩小了主概览页面，并将内容拆分为三个新的、更集中的页面。
虽然更新日志淡化了这些变革，但有一个全新的部分，并且基本上重写了全体爬虫概览页面。
增加的页面使 Google 能够增加所有爬虫页面的信息密度并改进主题覆盖范围。

Google 的文档变更日志记录了两项变更，但实际上还有很多变更。

以下是一些变革：

技能属性部分包含以前不存在的全新信息。
抓取工具的行为没有任何变革，但通过创建三个特定主题的页面，Google 能够向抓取工具概览页面添加更多信息，同时缩小其体积。

这是有关内容编码（压缩）的新信息：

“Google 的抓取工具和提取工具支持以下内容编码（压缩）：gzip、deflate 和 Brotli (br)。
每个 Google 用户代理支持的内容编码都会在其发出的每个要求的 Accept-Encoding 标头中公布。
例如，Accept-Encoding：gzip、deflate、br。
”

还有关于通过 HTTP/1.1 和 HTTP/2 进行抓取的附加信息，以及关于他们的目标是在不影响网站做事器的情形下抓取尽可能多的页面的声明。

文档的变动是由于概览页面变得过大。
额外的爬虫信息将使概览页面变得更大。
我们决定将页面分为三个子主题，以便特定爬虫内容可以连续增长，并为概览页面上的更多一样平常信息腾出空间。
将子主题拆分本钱身的页面是办理如何最好地做事用户问题的绝妙方法。

文档变更日志对这一变更的阐明如下：

“文档变得非常长，这限定了我们扩展有关爬虫和用户触发的获取器内容的能力。

…重新组织了 Google 抓取工具和用户触发抓取工具的文档。
我们还添加了关于每个抓取工具影响哪些产品的明确解释，并为每个抓取工具添加了 robots.*** 代码片段，以演示如何利用用户代理令牌。
除此之外，内容没有任何故意义的变动。
”

变更日志将这些变革描述为重组，以淡化其主要性，由于爬虫概述已被大量重写，此外还创建了三个全新的页面。

虽然内容基本保持不变，但将其划分为子主题使 Google 可以更轻松地向新页面添加更多内容，而无需连续扩展原始页面。
原始页面称为 Google 抓取工具和提取器（用户代理）概述，现在真正成为概述，个中更详细的内容已移至独立页面。

Google 发布了三个新页面：

正如标题所示，这些都是常见的抓取工具，个中一些与 GoogleBot 干系联，包括利用 GoogleBot 用户代理的 Google-InspectionTool。
本页列出的所有机器人均遵守 robots.*** 规则。

以下是已记录的 Google 爬虫：

这些是与特定产品干系联的爬虫，根据与这些产品用户的协议进行爬取，并且从与 GoogleBot 爬虫 IP 地址不同的 IP 地址运行。

用户触发的获取器页面涵盖了由用户要求激活的机器人，阐明如下：

“用户触发的抓取程序由用户启动，用于在 Google 产品中实行抓取功能。
例如，Google Site Verifier 根据用户的要求实行操作，或者托管在 Google Cloud (GCP) 上的网站具有许可网站用户检索外部 RSS 源的功能。
由于抓取是由用户要求的，因此这些抓取程序常日会忽略 robots.*** 规则。
Google 抓取程序的一样平常技能特性也适用于用户触发的抓取程序。
”

该文档涵盖以下机器人：

Google 的爬虫概述页面变得过于全面，可能不太实用，由于人们并不总是须要全面的页面，他们只对特定信息感兴趣。
概述页面不太详细，但也更随意马虎理解。
它现在充当一个入口点，用户可以从中深入理解与三种爬虫干系的更详细的子主题。

这一变革供应了有关如何更新可能因内容过于综合而表现不佳的页面的见地。
将综合页面拆分为独立页面可让子主题知足特定用户的需求，并且如果它们在搜索结果中排名靠前，可能会让它们更有用。

我不会说这种变革反响了谷歌算法的任何变革，它只反响了谷歌如何更新他们的文档以使其更有用，并设置为添加更多信息。