原文标题:小白必看，快速学会网站蜘蛛日志分析!

　　小白必看，快速学会网站蜘蛛日志分析!

　　通过网站日志分析网站是SEO工作者每天必备的工作内容，无论是服务器的IIS日志还是主机空间的Apache日志，都记录着来访者的信息、用户和搜索引擎蜘蛛对网站的访问行为。所以网站日志对每个网站优化者非常的重要，这点同时也可方便网站优化人员查看网站的具体情况。

　　网站日志可以统计访客的信息，将访客的信息以文档的新式记录下来，可以知道访客那个时间段来过，从哪里过来，做了哪些操作，得到的结果是什么。它就相当于黑匣子记录飞机所有的运行数据一般。

　　我们通过分析查看网站日志可以让我们了解网站的死链接，301，202等等，可让我们知道网站哪些链接是搜索引擎经常爬取的，每天那些页面是被搜索引擎爬取过，可以分析出网站是否被降权、哪些页面被收录等等，今天，就跟大家分享一下如何查看分析网站日志。

　　一、什么是网站日志?

　　1、网站日志

　　网站日志主要用于记录用户和搜索引擎蜘蛛对网站的访问行为。记录用户IP、访问的网页地址、访问时间、访问状态信息，这些信息保存在日志文件里。可以让我们知道网站的死链接、http返回状态码等，让我们及时的分析好网站的收录和快照更新情况。日志中的数据比统计工具更加精准。

　　2、通过网站日志我们能知道些什么?

　　(1)我们发的外链是否起到效果?

　　(2)我们买的空间是否能够稳定?

　　(3)蜘蛛对我们的那些页面比较喜欢，而对哪些页面内容不喜欢?

　　(4)蜘蛛什么时候抓取我们的网站频繁，我们需要什么时候更新内容?

　　(5)都有哪些搜索引擎喜欢我们的网站内容

　　(6)网站是否存在隐性的死链接、错误链接?

　　网站蜘蛛日志在哪里获取?

　　如果你是虚拟主机，你可以用FTP链接空间，里面的“Log目录”就存放着你的蜘蛛日志，如果没找到的，可以问你的空间商，他们会告诉你的，如果你用的WDCP面板、宝塔面板那么你需要在“www/wwwlogs”目录下来下载你的网站蜘蛛日志，如果用的windows服务器请在“BtSoftWebSoftpachelogs”目录中去寻找!另外蜘蛛日志都是以“.log”为结尾的文件，如果是“_log”你下载到本地，直接重命名为“.log”即可!

　　使用什么软件分析网站蜘蛛日志?

　　当你把蜘蛛日志下载到本地的时候，你需要把日志放入软件去分析，我们常用到的软件有两种，第一种是在线的“http://www.loghao.com”日志分析工具，第二种是需要下载“光年日志分析软件”这两款分析日志工具非常不错，通常我们都结合使用，效果非常好!

　　

 

　　如何识别蜘蛛都来自哪些搜索引擎

　　下图是我用Notepad++软件打开网站日志的图片，下面做了详细的注解，分析蜘蛛来自哪个搜索引擎主要看“蜘蛛类型”就可以分辨出来!

　　

 

　　Baiduspider：就是百度蜘蛛，针对的是百度搜索引擎的抓取

　　Googlebot：就是Googlebot蜘蛛，针对的是谷歌搜索引擎的抓取

　　Sogou：就是搜狗蜘蛛，针对的是搜狗搜索引擎的抓取

　　360Spider：就是360蜘蛛，针对的是360搜索引擎的抓取

　　我们可以用光年日志工具来分析蜘蛛的抓取数据，非常直观!

　　

 

　　网站蜘蛛返回状态码解析

　　蜘蛛返回状态码，也就是上图的“蜘蛛返回状态码”，根据不同的返回状态码，我们可以分析出抓取成功、抓取未成功、是什么原因造成的等等信息，下面举出各类状态码所代表的意思!

　　200：代表搜索引擎蜘蛛访问成功;同时代表抓取成功。

　　404：代表页面无法访问;蜘蛛访问页面未找到资源。

　　410：代表请求的资源已永久删除，蜘蛛抓取资源被永久性删除。

　　301：代表页面跳转;表示蜘蛛抓取资源时，我们的链接进行了跳转。

　　403：状态码表示服务器拒绝请求。应该检查robots或者服务器访问权限。

　　500：(服务器内部错误) 服务器遇到错误，服务器很不稳定造成的。

　　一般而言，蜘蛛状态码我们用在线工具“logohao.com”来查看比较方便!

　　

 

　　当然也可以用光年日志分析软件进行分析蜘蛛抓取状态码!

　　

 

　　如何查看蜘蛛抓取了那些链接目录

　　链接与目录，我们通过上图的“蜘蛛抓取目录”可以分析出来，比如“/robots.txt”就是我们的“域名/robots.txt”我们通过光年日志进行分析比较直观一些!我们可以通过点击光年日志左边的“目录抓取”、“页面抓取”来进行查看分析!

　　

 

　　

 

　　通过IP段分析蜘蛛类型

　　IP段是指上图中的“蜘蛛IP”，这个IP代表的意思非常多，有降权蜘蛛，沙盒蜘蛛，高权重蜘蛛，低权重蜘蛛等等，通过蜘蛛IP段我们可以分析出我们网站的整体质量，下面来详细讲解下!

　　123.125.68.*：这个蜘蛛经常来,别的来的少,表示网站可能要进入沙盒了，或被者降权。

　　220.181.68.*：每天这个IP 段只增不减很有可能进沙盒或K站。

　　220.181.7.*、123.125.66.*：代表百度蜘蛛IP造访，准备抓取你东西。

　　121.14.89.*：这个ip段作为度过新站考察期。

　　203.208.60.*：这个ip段出现在新站及站点有不正常现象后。

　　210.72.225.*：这个ip段不间断巡逻各站。

　　220.181.108.*：段的话，基本来说你的网站会天天隔夜快照，绝对错不了的，我保证。

　　220.181.*：段属于权重IP段此段爬过的文章或首页基本24小时放出来。

　　123.125.71.106：抓取内页收录的，权重较低，爬过内页文章不会很快放出来，因不是原创或采集文章。

　　220.181.108.91：属于综合的，主要抓取首页和内页，属于权重IP段，爬过的文章或首页基本24小时放出来。

　　我们通过“http://www.loghao.com”分析日志的时候，也可以从首页分析中更直观的看出来!

　　

 

　　总结：网站日志分析是每个站长所必须要掌握的技能，每个SEO专家和网站管理员都想知道他们网站上发生了什么。通过日志文件分析，我们可以了解百度如何查看我们的网站以及抓取工具正在关注哪些网页。知道发生了什么，努力检查所有资源和页面，清理你看到的错误和重复。日志需要长时间不断的分析经验积累，随着自身SEO的技术不断的增长，你所分析日志得到的信息是不一样的。