我们最关心的是外部链接

[rakibhasan]

现在来谈谈最大的问题，
高达 63% 的外部链接是桌面爬虫独有的。在仅限移动设备的爬虫世界中，外部链接的总数减少了一半。


那么，到底是什么导致了抓取中的巨大差异？好吧，我们知道这与使网站“适合移动设备”的一些常见捷径有关，其中包括：

子域名版本的内容 美国华侨华人数据 具有较少的链接或功能
通过用户代理检测插件删除链接和功能
当然，这些变化可能会让您的用户体验更好，但它确实为机器人带来了不同的体验。让我们仔细看看一个网站，看看这会带来什么效果。

根据 Google 的数据，该网站有约 10,000 个页面，根据新的Moz Link Explorer ，其域名权限为 72，引用域名为 22,670 个。但是，该网站使用了一个流行的 WordPress 插件，该插件将内容缩减为网站上的文章和页面，从类别页面文章的描述中删除链接，并从侧边栏和页脚中删除大多数（如果不是全部）无关链接。超过 200,000 个网站都在使用这个特定的插件。那么，当我们使用Screaming Frog启动六级深度抓取时会发生什么？（它非常适合这种分析，因为我们可以轻松更改用户代理并限制设置以仅抓取 HTML 内容。）



差异令人震惊。首先，请注意，在左侧的移动抓取中，每个页面的链接数量明显较少，而且随着您深入网站，链接数量非常稳定。这就是产生如此稳定的指数增长曲线的原因。其次，请注意，抓取在第四级突然结束。该网站没有更多页面可供移动抓取工具使用！Google 报告的约 10,000 个页面中，只有约 3,000 个被发现。