网站蜘蛛日志分析及工具

  
 
  使用专业蜘蛛日志分析工具有规律的对网站进行seo数据分析意义重大,通过分析出来的数据,我们可以辨别蜘蛛来源,可以查看各搜索引擎蜘蛛是否正常,还可以辨别蜘蛛的真假,帮助seoer了解网站的运营状态,帮助我们提高网站的收录量,缩短网站页面收录时间,帮助我们从根源上掌握网站的一举一动。
 
  seo教程自学网认为:因为分析网站蜘蛛日志特别重要,所以我们要对其重视。本文从以下方面讲解:
 
网站蜘蛛日志分析及工具推荐
 
  网站日志放在哪里。
 
  如何分析网站蜘蛛日志。
 
  蜘蛛爬取返回状态解读。
 
  解读搜索引擎蜘蛛名称。
 
  吸引蜘蛛爬取的方法。
 
  利用蜘蛛爬行时间缩短网站内容收录时间。
 
  网站蜘蛛日志分析工具。
 
  掌握以上seo技术,基本上就可以对网站日志做完整的分析了。
 
  一:网站日志放在哪里?
 
  不同的空间存放网站日志的位置不尽相同,以万网虚拟主机为例,其存放网站日志的位置在wwwlogs文件夹下,且只提供最近八天的日志,如图:
 
网站蜘蛛日志分析及工具:网站日志在哪里?
 
  二:如何分析网站蜘蛛日志?以下代码为例:
 
  104.130.253.35 - - [14/Jul/2017:01:02:16 +0800] "GET /tag/sitemap_80_1.html HTTP/1.1" 200 53930 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
 
  104.130.253.35:来路IP,也就是说这个用户或者蜘蛛进来我们网站的IP是多少。
 
  [14/Jul/2017:01:02:16 +0800] :时间2017年7月16日早上1点02分16秒。
 
  /tag/sitemap_80_1.html:蜘蛛访问的页面,本网站的主域名是http://seoyy.cn,所以蜘蛛访问的页面为:http://seoyy.cn/tag/sitemap_80_1.html。
 
  状态码200:表示能够正常访问你的网站。
 
  53930:表示此次加载了53930个字节。
 
  Googlebot:表示谷歌蜘蛛。
 
  通过分段讲解,我们可以了解搜索引擎蜘蛛的ip,访问网站某页面的时间,访问的页面等相关内容,需要着重注意的是蜘蛛返回码;另外一方面,使用人工分析的方式是不能批量分析网站状态的,需要合理利用工具对日志做整体分析。
 
  三:蜘蛛爬取返回状态解读。
 
  200 - 服务器成功返回网页
 
  404 - 请求的网页不存在
 
  503 - 服务器暂时不可用
 
  500 - 服务器出现错误
 
  四:解读搜索引擎蜘蛛名称。
 
  百度(Baidu)爬虫名称(Baiduspider)
 
  谷歌(Google)爬虫名称(Googlebot)
 
  雅虎(Yahoo)爬虫名称(Yahoo Slurp)
 
  有道(Yodao)蜘蛛名称(YodaoBot)
 
  搜狗(sogou)蜘蛛名称(sogou spider)
 
  MSN的蜘蛛名称:msnbot。
 
  五:吸引蜘蛛爬取的方法。
 
  那么看懂这些数据以后,很多朋友可能会很失望,觉得自己的网站蜘蛛访问的很少甚至没有访问记录,那么你也别担心,可能是你网站的一些小问题引起了蜘蛛的不关注。下面来看看面对蜘蛛不关注我们的网站,我们应该如何操作吧。
 
  定时更新:对于小网站或者博客网站,我们可以定时更新1-3篇少量信息,那么对于论坛门户这种栏目较多的网站,我们就需要更具自己网站的情况来更新,以便获得蜘蛛的青睐。
 
  网站地图:制作蜘蛛网站地图,当蜘蛛在抓取你的页面,蜘蛛会先抓取你的robots文件,所以网站地图写在robots文件里面来引导蜘蛛抓取网站地图内容。
 
  外链引导:我曾经做过一次这样的实验,新建一个文本页面的网站,不做任何操作,仅仅在A5论坛发了一个纯文本链接,第二天百度收录了我的那个文本页面。这一点说明SEO外链是可以引导百度蜘蛛来收录你的网站的。
 
  推荐此文:如果你的条件允许的情况下,你可以将你的内容文字推荐到首页,或者在其他内容页推荐,因为一个网站首页的权重是最高的,所以在首页推荐的情况下,是非常容易就可以收录你的文章。
 
  六:利用蜘蛛爬行时间缩短网站内容收录时间。
 
  1:分析蜘蛛爬取本网站的大致时间段。
 
  2:在蜘蛛爬取频繁的时间段内,加大文章更新频率。
 
  说明:对于大型网站来讲,每天有海量新建页面产生,在这一点上不用做额外工作。对于小型企业站来讲,每天文章更新的量较少,在合适的时间更新文章,很有必要。
 
  七:网站蜘蛛日志分析工具推荐。
 
  seo教程自学网认为,通过工具批量分析网站蜘蛛日志,很有必要,也是seo优化人员的必修课?那么,有哪些蜘蛛分析工具呢?推荐如下,排名不分先后。
 
  1:LogHao网站日志在线分析工具。
 
  简介:LogHao站长工具,最好的网站日志分析工具,baiduspider在线分析工具,拉格好首创百度蜘蛛在线分析.
 
  网址:http://www.loghao.com/。
 
LogHao网站日志在线分析工具
 
  2:超级监控蜘蛛日志分析工具。
 
  简介:蜘蛛日志分析工具,实时监控搜索引擎蜘蛛访问状况,并记录所有百度、谷歌蜘蛛所访问的页面、来访时间、访问次数和访问状态,智能区分真假蜘蛛IP。
 
  网址:http://www.chaoji.com/features/seo/spiderloganalysistool.aspx。
 
超级监控蜘蛛日志分析工具
 
  3:爱站seo工具包之日志分析工具。
 
  简介:一款辅助seo日志分析的工具,爱站seo工具包之日志分析工具可自动识别IIS、Apache、Nginx日志格式,具有蜘蛛分析、数据展示、关键词分析、状态码分析以及时间统计等功能,是seo不可或缺的好帮手!
 
  网址:各大平台均提供本工具下载。
 
爱站seo工具包之日志分析工具
 
  4:光年日志蜘蛛分析工具。
 
光年日志分析工具
 
  简介:
 
  (1),这是第一个专门为SEO设计的日志分析软件。
 
  以前的很多日志分析软件,都是顺带分析一下SEO方面的数据,而这个软件里面分析的每一个指标都是为SEO设计的。而且很多的分析维度,都是其他日志分析软件没有的。这能让你看到很多非常有用、但是以前获取不了的数据。
 
  (2),它能分析无限大的日志,而且速度很快。
 
  很多的日志分析软件,在日志大于2G以后,都会越来越慢或者程序无响应。而这个软件能分析无限大的日志,并且每小时能分析完40G的日志。这对于那种需要分析几个月内的日志、以及要分析几十G的大型网站的日志都非常有帮助。
 
  (3),能自动判断日志格式。
 
  现在很多的日志分析软件,对Nginx或者CDN日志都不支持,而且对日志记录的顺序都要格式要求。而这个软件就没有这么多的限制,它能从日志中自动检测到哪个是时间、哪个是URL、哪个是IP地址等等。
 
  (4),软件容量小、操作简单、绿色免安装版。
 
  这个软件不会动不动就几十M,现在软件还不足1M,可以用邮件附件非常方便发出去。 软件的操作也很简单,三个步骤就可以。 还有就是软件不需要安装,是绿色免安装版。
 
  下载地址:各大软件下载站均提供此工具下载。
 
  seo教程自学网点评:
 
  seo是由搜索需求覆盖,良好收录,良好排序,良好展现,网站seo数据构成的。使用工具对网站蜘蛛日志进行系统分析,才能从整体上把握网站运营状态,才能看到网站的不足与劣势,才能根据数据改进网站。

发布时间:2017-07-16

文章来源:详解网站蜘蛛日志分析及工具推荐

编辑整理:SEO教程自学网

如需转载 http://seoyy.cn/seozhanchangxueyuan/421.html 请注明出处

本文关键词: 网站日志分析