如何做搜索引擎蜘蛛日志剖析

搜索引擎蜘蛛日志文件是一种异常壮大但未被站长充实使用的文件，剖析它可以获取有关每个搜索引擎如何爬取网站内容的相关信息点，及查看搜索引擎蜘蛛在一段时间内的行为。

凭空去料想搜索引擎蜘蛛毫无意义，日志数据可以辅助站长准确剖析正在发生的事情。这就是为什么SEO职员剖析搜索引擎蜘蛛日志文件至关主要的缘故原由，纵然原始接见日志可能很难从客户端（或主机，服务器和开发团队）那里获取也是云云。

什么是搜索引擎蜘蛛

蜘蛛是搜索引擎用于爬取各大网站数据信息的工具，搜索引擎不能能脱离网站内容凭空对每个网站的页面进行排名。搜索引擎依赖蜘蛛对全网的网站进行周全爬取，包罗站点舆图、站点资源、站点结构、站点页面数据等等，然后再依赖盘算机对数据周全多维度剖析后，再给予站点权重。

什么是搜索引擎蜘蛛日志

服务器自己并没有针对蜘蛛的自力接见日志。但服务器会周全纪录所有对网站进行接见的数据，包罗正常的客户端接见数据、搜索引擎蜘蛛的接见数据及其他爬网工具的数据。

也就是说，搜索引擎蜘蛛日志属于服务器站点接见日志的一部门。下面是一条百度搜索引擎蜘蛛的接见日志示例：

220.181.108.160 - - [28/JAN/2021:19:16:21 +0800] "GET / HTTP/1.1" 200 5374 "-" "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"

剖析搜索引擎蜘蛛接见日志的主要性

剖析搜索引擎蜘蛛日志文件可以辅助您深入领会以下事项：

1. 确切验证可以或不能爬取的内容。
2. 查看搜索引擎蜘蛛在其爬网时代遇到的响应。
3. 识别蜘蛛爬网问题，这些问题可能具有更普遍的基于站点的寄义（例如条理结构或内部链接结构）。
4. 查看搜索引擎优先思考的页面，辅助你领会哪些页面可能被搜索引擎评估为更主要。
5. 发现搜索引擎蜘蛛爬取预算可能被虚耗的地方。

除了其他数据（例如爬取或外部链接）以外，还可以发现有关搜索引擎蜘蛛行为的更多信息。

蜘蛛爬网预算的界说

在我们学习本教程之前，领会搜索蜘蛛爬网预算异常有需要，该预算本质上是搜索引擎可以而且想要为网站执行爬网义务的URL数目。

基于网站对请求的响应速率的“抓取速率限制”，以及“抓取需求”，URL的受迎接水平，更改频率以及搜索引擎对索引中“陈旧性”的容忍度，所有这些都市影响随便搜索引擎蜘蛛的爬取速率、效率及数目。

Google注释说：“许多低附加值URL可能会对网站的爬取和索引发生负面影响”。他们的研究发现，低附加值URL按主要性顺序分为以下几类。

• 多面导航和URL参数。
• 重复内容。
• 软错误页面。
• 页面被黑。
• 垃圾主机服务器（超售虚拟主机。
• 低质量和垃圾邮件内容。

注：多面导航，即Faceted navigation，指统一页面存在多个URL地址，但又未界说统一的权威链接。

因此，阻止蜘蛛虚耗时间和精神对有用URL进行爬取就显得异常关键词，让搜索引擎蜘蛛对重复内容页面进行爬取只会导致主要页面爬取延迟。

在本教程中，我们将使用Spider Analyser-用于统计剖析蜘蛛的工具插件，来说明如何通过种种方式剖析日志文件，从而辅助站长获得更多搜索蜘蛛信息数据。

1.蜘蛛抓取概况

插件的蜘蛛概况可辅助您总体上领会网站的蜘蛛爬网预算。该页面显示今天、昨天和最近30天总共已爬网了若干个唯一URL，以及平均天天爬网的唯一URL的数目。

除此之外，蜘蛛概况还可以让站长快速领会Top10蜘蛛、Top10蜘蛛爬取URL及Top10热门文章等数据。若是要剖析总体趋势，这将异常有用。

2.识别被爬取的网站

通过执行模拟抓取，站长工具，数据剖析，XML网站舆图，或直接从数据库导出等等，有许多方式可以从网站网络和剖析URL 。然则这些方式都不能准确告诉您搜索引擎蜘蛛已爬取了哪些URL。

Spider Analyser站长工具插件的基础是能够准确验证搜索蜘蛛已爬取了哪些URL。

您可以通过安装启用蜘蛛剖析插件，进入WordPress后台的“蜘蛛剖析-蜘蛛日志”，然后选择需要统计的“蜘蛛名称”及“统计时间周期”，即可查看该段时间，网站哪些链接被特定的搜索引擎蜘蛛所爬取。如下图所示：

3.确定低附加值网站

能够查看被爬取的URL及其频率，可以辅助您发现潜在的爬网预算虚耗地方，例如带参数，分面导航，多余空格或重复的URL。您可以使用搜索功效搜索问号（？），辅助你识别虚耗爬网预算的地方，例如URL参数。

通过“蜘蛛剖析-接见路径”，输入“?”进行搜索，若是需要剖析特定搜索引擎蜘蛛，则可以在所有蜘蛛下拉菜单选择指定蜘蛛：

在这种情形下，我们可以关闭WordPress分页显示谈论。您还可以进一步从列表URL地址发现纪律搜索URL片断搜索特定URL链接。这可以辅助您能够快速浏览爬网的URL，并发现任何模式，例如重复，或错误的稀奇长的相对链接。

另有许多其他方式可以识别潜在的虚耗蜘蛛爬网预算的地方，我们将在本教程中继续探讨这些方式。

注：带？的链接纷歧定是为需要的，站长应该凭证现真相形判断。但当存在多个URL的相同页面时，务必在页面说明权威链接。

4.URL被爬取的频率（最多或最少）

搜索引擎蜘蛛爬取页面的频率取决于多种因素，例如内容更改的频率以及索引器的主要性-搜索引擎以为页面的主要性。只管并不是最主要的URL就会被爬取得越多那么简朴，但将其作为指标可以辅助站长识别网站可能存在的潜在问题很有辅助。

你可以通过插件的多个页面位置去剖析URL被爬取的频率：

（1）接见路径列表

如何禁用或者关闭WordPress页面顶部管理员工具栏

进入蜘蛛剖析的“接见路径”页面，选择蜘蛛名称、页面类型实时间周期，即可查看特定蜘蛛在时间段内容爬取URL的频率，如下图：

（2）热门文章

若是你只需要领会文章类型的URL的蜘蛛爬取频率，则只需要进入蜘蛛剖析的“热门文章”列表，即可查看所有文章指准时间周期差异搜索引擎蜘蛛的爬取频率：

这可以辅助您发现与网站结构，条理结构，内部链接等有关的更深条理的问题。在执行蜘蛛日志剖析的每一个步骤中，您都可以问自己，搜索引擎是否在虚耗他们的时间来爬网URL，又或者蜘蛛是否对什么类型的内容或者URL更感兴趣。

5.子目录抓取频率

以差其余方式思考爬网频率也很有用。若是您具有直观的URL结构，则按子目录聚合的爬网细节会异常壮大。这也是通过插件的接见路径列表来剖析。

您可以发现网站的哪些部门被最多爬行。好比首页、分类页、自力页、标签页、Sitemap，照样其他部门？如下图所示：

6.差异搜索引擎蜘蛛抓取频率

您可以剖析差异搜索引擎蜘蛛对你的网站的爬取频率，这可以辅助您深入领会每个搜索引擎对你的网站评定的权重，以便于你针对该搜索引擎作有针对性的SEO优化。

在剖析的时间段内，被爬网的唯一URL的数目，将辅助您捋清每个搜索引擎蜘蛛对你的网站的爬取起劲性。

7.发现抓取错误

插件可让您快速剖析搜索引擎针对其爬网的每个URL所吸收到的最后响应代码。在“蜘蛛日志”页面下，您可以使用过滤器查看任何404错误，又或者301或302状态码爬取。

这个数据异常有辅助，站长应该实时处置404错误的URL，以免搜索引擎蜘蛛由于频仍的404报错，而降低对你的网站的爬取频次甚至放弃爬取，进而影响对你的网站评级。

然后，301或者302重定向链接，若是是不需要的重定向，应该尽快将发生重定向的链接修改为重定向的目的链接。

8.按子目录查看错误

在接见路径页面，通过直观的URL结构进行查看，发现网站的哪些部门遇到了最多的手艺错误。

这可以辅助诊断影响站点特定区域的问题，若是泛起一类URL的404错误，万万不要忽视，要第一时间进行处置。

9.检查重定向

您可以查看搜索引擎蜘蛛请求响应代码为301或者302重定向的每个URL。进入蜘蛛日志，选择状态码为301或者302，可以查看这些内容。

记着，301或者302响应状态码纷歧定是非正常的，当切勿在页面内部防止会泛起重定向状态的URL链接。对于不需要的301或者302重定向，应实时修复为重定向目的URL链接。

10.识别阻挡伪蜘蛛

插件所统计纪录的并非所有是真实的蜘蛛，要识别伪蜘蛛，你只需要接见蜘蛛列表，切换至伪蜘蛛标签页，即可查看所有伪蜘蛛。

对于伪蜘蛛，建议站长将其添加至阻挡列表阻止虚耗资源。除此之外，对于其他你可能不需要的蜘蛛，如工具类型的蜘蛛等，也可以思考添加到阻挡列表，由于许多时刻这些蜘蛛的爬取，对网站毫无意义。

关于伪蜘蛛：又称假蜘蛛，虚伪蜘蛛，可能未某些别有专心的人伪装成真实的蜘蛛，对你的网站进行采集，又或者其他非法行为。面具者，伪君子也！

11.剖析未收录文章

站长可以接见插件的热门文章列表，选择指定的蜘蛛及未收录状态、时间周期，来查询未收录的文章清单，以辅助您进一步剖析文章未被收录的缘故原由。

这些未能够被收录的文章的主要缘故原由可能在：

• （1）文章内容过少；
• （2）与其他页面链接过少。

对于未收录的文章，我们的建议是，进一步厚实文章内容进行内容重修，而且应该合理地在网站其他被收录的文章或者爬取较为频仍的页面结构这些未收录的URL，以便于搜索引擎蜘蛛抓取、收录。

不要止步于上

另有许多其他数据源可与蜘蛛剖析插件一起进行连系剖析，例如网站数据统计，站长工具，XML Sitemaps等。本教程旨在通过几个要点说明如何使用蜘蛛剖析站长工具插件来深入发现搜索引擎蜘蛛对网站的爬取行为，以辅助站上进一步做WordPress SEO优化。