一、什么是网站日志
1.网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以·log结尾的文件。
2.通过网站日志可以清楚的得知用户在什么IP、什么时间、用什么操作系统、什么浏览器、什么分辨率设备下访问了网站的哪个页面，是否访问成功。
3.搜索引擎也属于网站中的一类用户，我们今天的分享课，主要是针对搜索引擎这种用户在服务器留下的记录展开分析。
为了方便读懂搜索引擎日志，我们需要了解不同搜索引擎蜘蛛的标识，以下为4种搜索引擎的标识——*百度蜘蛛：Baiduspider*搜狗：Sogou News Spider*360：360Spider*谷歌：Googlebot
二、如何看懂网站日志
（以下为一段日志记录）
58.180.251.134 - - [25/Mar/2015:13:24:33 +0800] "GET /m53256.html
HTTP/1.1" 200 12264 "" "Mozilla/5.0
(Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko)
Chrome/35.0.1916.153 Safari/537.36 SE 2.X MetaSr 1.0" "-" "-" "-"
以下为字段解读：
通常日志文件较大的情况下，需要借助shell与python结合起来，做数据提取与分析。所以读懂网站日志中的字段就有利于日常的分析。这个在此不赘述，有兴趣的童鞋 可以继续深入了解。
大型网站通常可以用以上的方法来进行做日志分析。
普通的个人站点，或者企业网站，则可以通过 光年日志分析工具结合百度站长平台一起使用。
三、为什么要做网站日志分析
先来了解SEO流量的获取流程：抓取－－索引－－－排名－－－点击－－－流量
因此，要获得SEO流量的前提务必是，有价值的页面被搜索引擎抓取到。
所以，对于SEO运营而言，分析搜索引擎网站日志就显得非常有必要：*分析抓取有无：解决一定的索引问题。*发现异常：及时规避。如存在大量异常页面，404等*抓取调控：让更多优质的内容被抓取，过滤无效抓取。
网站分析的最终目标：让更多有价值的页面被抓取，将有机会获得索引，从而有机会获得SEO流量。
四、怎么做网站日志分析
*定期监控搜索引擎抓取量变化，历史数据的横向纵向对比才能发现异常情况。*借助第三方站长平台，如百度站长平台，了解搜索引擎抓取频次变化。*借助光年日志分析工具，定期做数据记录，了解重要栏目、重要页面的抓取量变化。
举个栗子：
老站点（建站1年且有人维护的网站）：Seo流量出现异常波动。
分2种情况：
了解外界：了解外界的前提在于平时你得有一定的人脉基础，如果没有也没关系。泡2个地方——去搜索引擎站长平台或者加入搜索引擎站长群。比如，像百度搜索引擎，它拥有站长平台，也会相应建立站长QQ群。有人脉基础上，可以直接了解外界的情况——是否也出现类似幅度的波动？这个的前提要结合你短期做过的SEO操作一并考虑，避免误判。无人脉的情况，泡群、泡站长平台。通常如果是搜索引擎算法升级，会在群里或者站长平台有相关的小道信息出现。如果是搜索引擎自身算法升级导致的流量波动，那么就得根据新算法做相应的站内优化。比如，百度冰桶3.0版本提出：将严厉打击在百度移动搜索中，打断用户完整搜索路径的调起行为。如果站点有存在以上的情况就需要针对性的做优化：无论是通过对接的APPLINK调起，还是网页自主调起的应用，以及普通的网页，都应是可返回，可关闭的。用户校验搜索结果的准确性，不需要额外下载APP或者权限。
分析内在：
在分析内在之前，再次抛出这个公式：Seo流量=抓取量*收录率（准确来说应该是索引率）*首页率*点击率
。当抓取频次出现异常必然引起抓取量的减少。因此，排除了外界的因素，就需要对网站的日志进行分析。如果你的站点是中文站点，且是百度站长平台的VIP用户。那么，你就可以先借助第三方站长平台的“抓取频次”工具（如，百度），先了解搜索引擎近期的抓取频次、抓取时间、异常页面。通常借助这个工具，我们可以对搜索引擎近期抓取情况有初步了解，并且可以借助这个工具，相应的找到一些解决办法。
在此先解释这个概念，方便理解：
1.抓取频次：抓取频次是搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，蜘蛛会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。
2.抓取时间：指的是搜索引擎每次抓取耗时。而影响抓取频次的可能原因有：
（1）抓取频次上限误调，调低了，则会直接影响到抓取量减少，抓取量减少则索引量少，流量相应减少。
（2）运营层面：存在大量重复页面（情况一：自身网站存在大量重复的内容。情况二：自身网站内容采集了大量互联网已存在的内容）。从搜索引擎的目标出发——搜索引擎希望抓取到更多更好的页面，而你的网站产出的却是网上泛滥的内容，何必浪费资源在你的网站上？另外，网站内容太久不更新。建议，通过有规律定期产出优质内容来解决此问题。抓取时间变长，也会导致网站抓取量减少。通常存在的可能情况是，服务器速度变慢导致抓取时间变长。还有一种可能是与网站自身结构有关系。层级太深导致。
小结一下：
老站如何做网站日志分析（针对中文站点）：外界排除：
了解搜索引擎最新算法是否发生变动、同行是否也有类似变化。
内在分析：
（1）使用工具：百度站长平台（非VIP账户看后文介绍）
（2）分析方法：主要使用抓取频次分析工具进行分析，网站抓取频次、抓取时间、异常页面情况等数据变化。并与相关部门进行对接解决。
五、用光年日志分析工具
非百度VIP：
步骤：
1.下载网站日志（如果是企业站点，可以直接让运维部门的童鞋帮忙下载，如果是个人站长，直接在你所购买的虚拟主机后台进行下载，文件以.log为结尾的便是）
2.打开光年日志分析工具，上传网站日志。
3.查看分析结果。主要维度有这几个：
（1）概况分析：各种爬虫的总抓取量、总停留时间、总访问次数。
（2）目录分析：各种爬虫抓取各目录的情况分析。通过这个可以了解到搜索引擎对一些重要栏目的抓取情况，又抓取了哪些无效的页面。
（3）页面分析：通过页面分析可以了解到经常被重复抓取的页面有哪些，可以相应的做优化调整。比如，像网站的一些注册页面及登录页面，经常会发现多次被抓取，发现这种情况，我们通常会将登录/注册页面进行屏蔽处理。
（4）状态码分析主要分为2种，爬虫状态码以及用户状态码。主要反应用户/爬虫访问页面时的页面状态。通过页面状态码，我们可以了解到页面状态，做相应调整，如，当网站存在大量404页面。那就需要进一步排查，比如，有些团购页面，团购过期后，页面就直接变成404了，但并未向百度站长平台提交死链清单，则容易造成无效抓取。
我为各大站长以及网站管理员量身定做的一款网站日志分析软件，这款软件支持IIS、Apache网站的日志，支持的日志格式有W3C、IIS、NCSA等格式。这款软件同时还是一款SEO工具，能够帮助站长以及管理员更好的管理站点。
六大功能：
一、蜘蛛抓取
搜索引擎蜘蛛可以自由添加，除统计每个蜘蛛访问了多少次外，还统计每个蜘蛛访问了那些页，访问时间;如果对同一个网页访问了多次，还可以知道首次访问时间和最后离开时间。
二、页面受访
统计每个网页被用户访问了多少次，不包括搜索引擎访问次数;可以知道那个网页最受用户欢迎，也能掌握那个IP恶意访问不存在的网页，揪出扫描服务器的IP、试图恶意上传病毒的用户和想窃取自己网站的'用户;并且详细列出每个网页受访问时间、状态码和来源网址。
三、IP访问页面
分别统计出访客IP和搜索引擎IP的总数，每个IP访问了多少次、到访时间和离开时间;可以掌握那个IP恶意访问，揪出每天访问次数特别多只浪费流量不带来流量的IP。
四、返回状态码
统计返回404、403、500、503、304的网页，并且根据这些状态码进行分类，统计出每个页面每种状态出现多少次;能及时掌握路径更改和不存在的网页。
五、访客来源
分为来源搜索引擎和普通网站，统计出每个搜索引擎来源多少次，通过搜索什么关键词来的，受访的是什么网页，每个网页来源次数(受访次数);来源普通网站是指除搜索引擎外的所有网站;这些信息便于掌握自己的推广效果。
六、搜索关键词
是指从搜索引擎搜索关键词并点击进入您的网站的情况，除统计出每个来源关键词外，还统计每个关键词来源次数，便于掌握那些网页设置的关键词能带来流量。
站长帮手网日志分析工具是一款由草上飞作者推出的.网站IIS日志分析辅助工具。这款站长帮手网日志分析工具功能强大，支持蜘蛛分析、IP分析、状态码分析、来路分析等多项网站信息辅助，是网站站长必备的辅助工具。
【功能特点】
1、支持自定义蜘蛛以及搜索引擎搜索参数，状态码等。
2、查看蜘蛛抓取网页记录
3、查看某个IP的访问次数以及每秒并发数，从而获知哪个IP在采集网站。
4、查看状态码次数，从而或者哪些页面不存在或者报错。
5、统计搜索引擎访问次数，以及关键词搜索的次数。
6、统计某个域名来路次数
7、详细日志查看
8、选中IP反查IP是否为真正的蜘蛛。查询IP详细信息。
网站日志中数据量过大，所以我们一般需要借助网站日志分析工具来查看。常用的日志分析工具有：光年日志分析工具、web log exploer 、WPS表格等
117.26.203.167 - - [02/May/2011:01:57:44 -0700] "GET/index.php HTTP/1.1" 500 19967 "-" "Mozilla/4.0 (compatible; MSIE8.0;Windows NT 5.1; Trident/4.0; AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa Toolbar)"
分析：
117.26.203.167：来访ip
02/May/2011:01:57:44 -0700 访问日期 -时区
GET/index.php HTTP/1.1 根据HTTP/1.1 协议 抓取（域名下）/index.php 这个页面（GET表示服务器动作）
500：服务器响应状态码
服务器响应状态码通常状态码有以下几种：200,301,302,304,404,500等。200代表用户成功的获取到了所请求的文件，如果是搜索引擎，则证 明蜘蛛在这次爬行中顺利的发现了一些新的内容。而301则代表用户所访问的某个页面url已经做了301重定向(永久性)处理，302则是暂时性重 定向。404则代表所访问的页面已经不存在了，或者说访问的url根本就是个错误的。500则是服务器的错误。
19967：表示抓取了19967个字节
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0;
AskTbCS-ST/5.11.3.15590; .NET CLR 2.0.50727; Alexa
Toolbar表示访问者使用火狐浏览器及Alexa Toolbar 等访问端信息
如果你的日志里格式不是如此，则代表日志格式设置不同。
很多日志里可以看到 200 0 0和200 0 64 则都代表正常抓取。
抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知，抓取频率并没有一个规范的时间表或频率数字，我们一般通过多日的日志对比来判断,当然，我们希望百度蜘蛛每日抓取的次数越多越好，这里分享下如何分辨百度蜘蛛《如何分辨真假百度搜索引擎蜘蛛IP》。
有时候我们的路径不统一出现带斜杠和不带斜杠的问题，蜘蛛会自动识别为301跳转到带斜杠的页面，这里我们就发现了搜索引擎是可以判断我们的目录的，所以我们要对我们的目录进行统一。
我们分析日志分析时间长了，我们能够看出蜘蛛的抓取规律，同一目录下面的单个文件的抓取频率间隔和不同目录的抓取频率间隔都可以看出来，这些抓取频率间隔时间是蜘蛛根据网站权重和网站更新频率来自动确定的。
蜘蛛对于我们的页面的抓取是分等级的，是根据权重依次递减的，一般顺序为首页、目录页、内页
1、此工具支持直接拖拽日志文件(一个或者多个)至窗口进行分析，可自动识别IIS、Apache、Nginx日志格式。
2、蜘蛛分析
包括概要分析，即所有不同的蜘蛛的访问次数、停留时间、总抓取量的数据分析。目录抓取，即站点目录被抓取的数据量分析。页面抓取，单个页面被抓取的数据量分析。IP排行，不同IP地址的访问次数、抓取量、停留时长的排行对比。
3、本工具每一项数据都分别以“数据显示”和“图形显示”两种不同方式展示数据结果;
方便用户从不同角度来查看分析。
4、搜索引擎分析之关键词分析
可分析出各搜索引擎来路的关键词。这里不仅是蜘蛛分析，同时兼顾到了用户分析。
5、状态码分析
分为用户状态码和蜘蛛状态码分析。通过查看网站正常状态码和问题状态码，第一时间发现网站的问题页面，及时修改，改善用户体验和蜘蛛体验。
6、按时间统计
工具自动保存不同日期的日志文件数据，每一项统计功能都可以按照时间来分析，可有效查看时间段内的数据变化趋势。
本文转载自互联网，如有侵权，联系删除
