许多页面在与爬行和常规索引不同的进程/队列中异步呈现,从而除了最初索引的未呈现版本中找到的单词和短语之外,还将页面添加到仅在渲染完成时在 JS 渲染版本中找到的新单词和短语的索引中。
除了将页面添加到索引之外,JS 渲染还包括:
可能会将新的 URL 添加到 Googlebot 的发现/抓取队列中
将 JavaScript 渲染作为索引管道的一个 VNpay 数据库 独特且独立的部分的想法得到了 KMag 的以下引言的支持,我之前提到过他对这个HN 线程的贡献(直接链接)[重点是我的]:
“我当时正在开发轻量级高性能 JavaScript 解释系统,该系统几乎只对 JS 引擎和 DOM 实现进行了沙盒处理,我们可以在索引中的每个网页上运行它。我的大部分工作是尝试提高系统的保真度。我的代码分析了索引中的每个网页。
在我任职的最后阶段,山景城有人正在开发一个更重、更高保真度的系统,该系统对浏览器进行了更多的沙盒处理,他们试图提高性能,以便可以在更高比例的索引上使用它”
这是 2010 年的情况。看起来他们在所有情况下都已经向无头浏览器迈进了一大步,但我怀疑他们是否值得用 JavaScript 渲染他们抓取的每个页面,因为这样做的成本很高,而且很大一部分页面不会发生实质性变化。
我最好的猜测是,他们正在尝试找出在给定页面上执行 JavaScript 的必要性,并结合信任/权威指标来决定是否(以及以何种优先级)使用 JS 呈现页面。
进行测试,获得宣传
我有一个假设,希望有人能测试一下:有可能让一个页面被索引,并根据所提供 HTML 中包含的无意义单词进行排名,但最初不会根据通过 JavaScript 添加的另一个无意义单词进行排名;然后,看到 JS 在一段时间后被索引,并根据这两个无意义单词进行排名。如果你想运行这个测试,请告诉我结果——我很乐意公布它们。