网站日志分析有什么用(如何对网站日志进行分析)

网站日志分析有什么用,如何对网站日志进行分析

内容导航：

什么是网站日志分析需要分析哪些内容

网站日志是什么如何分析网站日志

如何做好网站日志分析

什么是日志分析

一、什么是网站日志分析需要分析哪些内容

网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以·log结尾的文件，确切的讲，应该是服务器日志。网站日志最大的意义是记录网站运营中比如空间的运营情况，被访问请求的记录。怎么分析网站日志？登录“FTP”账号，链接到网站数据，找到网站日志文件夹。（注意：一般情况下，网站日志所在文件夹都是与网站文件同级文件夹，且带有log字样。只有少数情况下，网站日志文件夹在网站根目录下。）打开文件夹，下载日志压缩文件！（下载方法很简单，只要选中文件直接拖到电脑桌面，然后左下方的本地浏览下载目录的文件上“右键—传输队列”即可！）解压下载的日志文件，而后将解压后文件的后缀改为“txt”新建一个excel表格，并打开！找到顶端工具栏的“数据”工具点击“导入数据”，默认“直接打开数据文件”，再选择“选择数据源”。选中解压后的txt文档，并打开！默认“其他编码“选择“分隔符号”，并“下一步”；勾选所有选项，然后“下一步”；默认“常规”，并“完成”；如图，网站日志哥数据项之间全部分隔开来；接下来只要保留自己需要的数据项即可。删除不需要的数据项！（如图，仅保留了数据分析需要的访客ip、访问文件、访问状态码以及访客名称四项数据。）选中访客名称一整列，然后点击“开始”栏目的“筛选”工具点击访客名称一列上方的三角下拉按钮；取消“全选”，找到百度蜘蛛的访客名称，选中并“确定”；我们就可以得到日志当天百度蜘蛛访问网站的所有数据。最后，该数据保存到网站每日分析日志中。（注意：每日更新原创内容的网站一般在分析日志的时候还需要保留时间数据。）

二、网站日志是什么如何分析网站日志

网站日志是记录web服务器接收处理请求以及运行时错误等各种原始信息的以·log结尾的文件，确切的讲，应该是服务器日志。
网站日志最大的意义是记录网站运营中比如空间的运营情况，被访问请求的记录。
怎么分析网站日志？登录“FTP”账号，链接到网站数据，找到网站日志文件夹。
（注意：一般情况下，网站日志所在文件夹都是与网站文件同级文件夹，且带有log字样。
只有少数情况下，网站日志文件夹在网站根目录下。
）打开文件夹，下载日志压缩文件！（下载方法很简单，只要选中文件直接拖到电脑桌面，然后左下方的本地浏览下载目录的文件上“右键—传输队列”即可！）解压下载的日志文件，而后将解压后文件的后缀改为“txt”新建一个excel表格，并打开！找到顶端工具栏的“数据”工具点击“导入数据”，默认“直接打开数据文件”，再选择“选择数据源”。
选中解压后的txt文档，并打开！默认“其他编码”选择“分隔符号”，并“下一步”；勾选所有选项，然后“下一步”；默认“常规”，并“完成”；如图，网站日志哥数据项之间全部分隔开来；接下来只要保留自己需要的数据项即可。
删除不需要的数据项！（如图，仅保留了数据分析需要的访客ip、访问文件、访问状态码以及访客名称四项数据。
）选中访客名称一整列，然后点击“开始”栏目的“筛选”工具点击访客名称一列上方的三角下拉按钮；取消“全选”，找到百度蜘蛛的访客名称，选中并“确定”；我们就可以得到日志当天百度蜘蛛访问网站的所有数据。
最后，该数据保存到网站每日分析日志中。
（注意：每日更新原创内容的网站一般在分析日志的时候还需要保留时间数据。
）一个合格的站长或者seoer必须要能看懂网站的服务器日志文件，这个日志记录了网站被搜索引擎爬取的痕迹，给站长提供了蜘蛛是否来访的有力佐证，站长朋友可以通过网站日志来分析搜索引擎蜘蛛的抓取情况，分析网站的是否存在收录异常问题。
并且我们可以根据这个日志文件判断蜘蛛来访频率以及抓取规律，这将非常有利于我们做优化。
另外，学习分析网站日志文件也是站长必须具备的能力，也是你从一个初级seo进阶到seo高手的必由之路。
但是前提是要主机服务商开通日志统计功能，一般虚拟主机提供商都不会开通，你可以申请开通，或者自己到服务器管理后台开通这个日志统计功能，不过日志也会占用空间的，我们在看完日志文件后，可以隔段时间清理下日志文件。
那么如何分析服务器日志文件呢?听我娓娓道来。
搜索引擎抓取网站信息必会在服务器上留下信息，这个信息就在网站日志文件里。
我们通过日志可以了解搜索引擎的访问情况，一般通过主机服务商开通日志功能，再通过ftp访问网站的根目录，在根目录下可以看到一个log或者weblog文件夹，这里面就是日志文件，我们把这个日志文件下载下来，用记事本(或浏览器)打开就可以看到网站日志的内容。
那么到底这个日志里面隐藏了什么玄机呢?其实日志文件就像飞机上的黑匣子。
我们可以通过这个日志了解很多信息，那么到底这个日志给我们传递了什么内容呢?
如果想要知道网站日志文件包含了什么内容，首先必须知道各搜索引擎的蜘蛛名称，比如百度的蜘蛛程序名称是baiduspider，google的机器人程序名称是google-
googlebot等等，我们在日志的内容里搜索上述的的蜘蛛名就可以知道哪个搜索引擎已经爬取过网站了，这里就留下了他们的蛛丝马迹。
再者，必须能看懂常见的http状态码，最常见的http状态码有200(页面抓取成功)、304(上次抓取的和这次抓取的没变化)，404(未找到页面，错误链接)500(服务器未响应，一般由服务器维护和出故障，网站打不开时出现的)，这些状态码是我们站长朋友必须能看懂的，服务器状态码的值是我们和蜘蛛交流的信号。
知道了这些基本信息以后我们就可以根据网站日志进行分析了，一般来说我们只看百度和谷歌蜘蛛的爬行和抓取情况，当然有特殊需要的也可以对其他几个蜘蛛的爬行情况进行分析。
网站日志中出现大量的谷歌蜘蛛和百度蜘蛛，说明搜索引擎蜘蛛时常来光顾你的网站。
说到分析日志文件，我们就不得不说分析日志文件的时机了，那么在什么情况下我们要去分析日志文件呢?首先，新网站刚建立的时候，这个时候也是站长朋友最急切的时候，我们一般都会焦急的等待搜索引擎收录网站内容，经常会做的事情就是去百度或者google用命令site:下网站域名看看是否被收录，这个时候，其实我们没必要频繁的查询网站是否被收录，要想知道搜索引擎是否关顾我们的网站。
我们就可以借助网站日志文件来查看，怎么看?看网站日志是否有搜索引擎的蜘蛛来网站抓取过，看返回的状态码是200还是其他，如果返回200说明抓取成功，如果返回404说明页面错误，或者页面不存在，就需要做301永久重定向或者302暂时重定向。
一般抓取成功后被搜索引擎放出来的时间也会晚点，一般谷歌机器人放出来的比较快，最快可秒杀，但是百度反应就慢了，最快也要一周左右，不过11月份百度算法调整后，放出来的速度还是很快的。
其次，当网站收录异常时我们要把正常收录的日志和异常的日志进行对比分析，找出问题所在，这样可以解决网站收录问题，也是对完整优化大有裨益的。
第三，网站被搜索引擎k掉后，我们必须要观察网站日志文件来亡羊补牢，一般这种情况下，日志文件里只有很少的几个蜘蛛爬行了首页和robots，我们要找出被k的原因并改正，再提交给搜索引擎，接下来就可以通过观察日志来看蜘蛛是否正常来临，慢慢过一段时间，如果蜘蛛数量增加或者经常来临并且返回200状态吗，那么恭喜你，你的网站又活了，如果半年都没反应，那么建议放弃该域名重新再战了。
很多站长朋友不懂得如何利用网站日志文件，遇到网站收录问题就去提问别人，而不好好自检，这是作为站长或者seoer的悲哀。
而且网上的很多软文都提到要做好日志文件的分析，但是那只是软文而已，说不定写文章的作者都没有去看日志文件。
说到底，还是希望站长朋友一定不要忽略了网站日志文件，合理的利用好网站日志文件是一个站长或seoer必备的技能。
再者说，看懂网站日志文件并不需要你有多么高深的编码知识，其实只要看得懂html代码和几个返回的状态码就可以了，一定不能懒，或者抱着侥幸心理去对待你的网站，这种心理会导致你输得很惨。
如果你是一个小站长，或者你是一个seoer，如果你以前没有意识到网站日志文件的重要性，那么从看到我写的这篇文章开始要好好对待你的网站日志了。

三、如何做好网站日志分析

在做网站日志分析之前，得先弄明白：
1.什么是网站日志？
2.在什么情况下需要做网站日志分析？
什么是网站日志？
网站日志，准确来说是服务器日志。通过服务器日志，我们可以了解到用户在什么IP、在什么分辨率的设备、什么时间、什么地区访问了我们的网站，以及当时访问的页面是否正常。
对于我们网站而言，搜索引擎也是网站用户之一。本文提到的网站日志分析，更多是在分析搜索引擎这种用户。
在什么情况下需要做网站日志分析？
1、老站点（建站1年且正常运营的网站）：Seo流量出现异常波动。
2、刚建立不久的站点（建站6个月以下的网站）：定期分析。
了解以上两种情况后，我们如何进行网站日志分析？
针对老站点网站日志分析
作为一个Seoer是需要定期做数据分析。了解网站Seo流量的波动情况。当网站Seo流量波动在10%及以上就需要进一步深入分析。
分2种情况：
了解外界：了解外界的前提在于平时你得有一定的人脉基础，如果没有也没关系。泡2个地方——去搜索引擎站长平台或者加入搜索引擎站长群。比如，像百度搜索引擎，它拥有站长平台，也会相应建立站长QQ群。
有人脉基础上，可以直接了解外界的情况——是否也出现类似幅度的波动？这个的前提要结合你短期做过的SEO操作一并考虑，避免误判。
无人脉的情况，泡群、泡站长平台。通常如果是搜索引擎算法升级，会在群里或者站长平台有相关的小道信息出现。
如果是搜索引擎自身算法升级导致的流量波动，那么就得根据新算法做相应的站内优化。
比如，百度冰桶3.0版本提出：将严厉打击在百度移动搜索中，打断用户完整搜索路径的调起行为。
如果站点有存在以上的情况就需要针对性的做优化：无论是通过对接的APPLINK调起，还是网页自主调起的应用，以及普通的网页，都应是可返回，可关闭的。用户校验搜索结果的准确性，不需要额外下载APP或者权限。
分析内在：在分析内在之前，再次抛出这个公式：
Seo流量=抓取量 收录率（准确来说应该是索引率） 首页率*点击率 。当抓取频次、抓取时间出现异常必然引起抓取量的减少。
因此，排除了外界的因素，就需要对网站的日志进行分析。如果你的站点是中文站点，且是百度站长平台的VIP用户。那么，你就可以先借助百度站长平台的“抓取频次”工具，先了解搜索引擎近期的抓取频次、抓取时间、异常页面。通常借助这个工具，我们可以对搜索引擎近期抓取情况有初步了解，并且可以借助这个工具，相应的找到一些解决办法。
在此先解释2个概念，方便理解：
1.抓取频次：抓取频次是搜索引擎在单位时间内（天级）对网站服务器抓取的总次数，如果搜索引擎对站点的抓取频次过高，很有可能造成服务器不稳定，Baiduspider会根据网站内容更新频率和服务器压力等因素自动调整抓取频次。
2.抓取时间：指的是搜索引擎每次抓取耗时。
影响抓取频次的可能原因
1.抓取频次上限误调，调低了，则会直接影响到抓取量减少，抓取量减少则索引量少，流量相应减少。
2.运营层面：存在大量重复页面（情况一：自身网站存在大量重复的内容。情况二：自身网站内容采集了大量互联网已存在的内容）。从搜索引擎的目标出发——搜索引擎希望抓取到更多更好的页面，而你的网站产出的却是网上泛滥的内容，何必浪费资源在你的网站上？另外，网站内容太久不更新。建议，通过有规律定期产出优质内容来解决此问题。
抓取时间变长，也会导致网站抓取量减少。通常存在的可能情况是，服务器速度变慢导致抓取时间变长。还有一种可能是与网站自身结构有关系。层级太深导致
小结一下老站如何做网站日志分析（针对中文站点）：
外界排除：了解搜索引擎最新算法是否发生变动、同行是否也有类似变化。
内在分析：1.使用工具：百度站长平台。（非VIP账户看后文介绍）
2.分析方法：主要使用抓取频次分析工具进行分析，网站抓取频次、抓取时间、异常页面情况等数据变化。并与相关部门进行对接解决。
针对新站点如何做网站日志分析
对新站点做网站日志分析，主要目的在于如何促进新站点被索引并获得一定的排名。通常新站建立之初都会进入沙盒期（沙盒是指一个新站建立后搜索引擎会对其进行一个类似资格评价的阶段，我们将这个阶段称为沙盒，在沙盒里面的这段时间，我们将其称为沙盒期，沙盒期一般都是2-6个月。）进入沙盒期并不意味着站点不会被抓取，由于新站点建立之初，权重较低，内容量较少，因此抓取量等相应的也不会太多。
前期，我们分析新站点网站日志，主要是分析站点是否有被爬虫抓取过？如果没有的情况下，一来是要让站点持续更新优质的内容，二来，在站点建设较为完善的情况下，需要主动向搜索引擎提交链接，让爬虫发现你的站点。除此之外，还可以通过正确渠道交换一些优质的友情链接，吸引爬虫来抓取。
通常新站点建立之初较难获得百度站长平台VIP账号，那么分析网站日志，我们可以通过下载光年日志分析工具进行分析。
步骤
1、下载网站日志（如果是企业站点，可以直接让运维部门的童鞋帮忙下载，如果是个人站长，直接在你所购买的虚拟主机后台进行下载，文件以.log为结尾的便是）
2、打开光年日志分析工具，上传网站日志。
3、查看分析结果。主要维度有这几个：
（1）概况分析：各种爬虫的总抓取量、总停留时间、总访问次数。

四、什么是日志分析

答：日志数据可以是有价值的信息宝库，也可以是毫无价值的数据泥潭。要保护和提高你的网络安全，由各种操作系统、应用程序、设备和安全产品的日志数据能够帮助你提前发现和避开灾难，并且找到安全事件的根本原因。当然，日志数据对于实现网络安全的价值有多大取决于两个因素:第一，你的系统和设备必须进行合适的设置以便记录你需要的数据。第二，你必须有合适的工具、培训和可用的资源来分析收集到的数据。你不能分析你没有的东西在你能够分析日志数据之前，你显然要收集数据。更重要的是，记录数据的程序或者设备要设置为收集你需要的数据。例如，微软的Windows操作系统在“EventViewerSecurity”(安全事件观察器)中能够检查到各种活动和日志信息。然而，在Windows2000和XP中，安全检查功能并不是缺省启用的，WindowsServer2003缺省的安全检查设置也许不能满足你的需求。对于Windows中的安全检查事件，你可以选择记录成功的尝试，或者记录失败的尝试。如果你仅选择记录失败的访问文件和文件夹的数据，记录的数据就不会显示这个文件是什么时候被成功破解的。如果你仅记录成功地访问一个用户账号的尝试，记录的数据就不会向你显示一个黑客50次没有猜对那个账号的用户名和密码。无论你是在使用Windows操作系统还是任何其它的设备和程序，你必须花费一些时间和努力事先了解你拥有的安全日志功能，并且为你的需要恰当地设置好日志选项。虽然简单地把一切都记录下来似乎是合乎逻辑的，但是，监测和记录安全事件会给处理器增加工作负担并且要使用内存和硬盘的空间。你需要了解可用的日志选项，在记录一切和全不记录之间选择最佳的平衡点，以便记录对你有价值的数据。信息过载一旦你收集完日志数据，这个挑战就是如何有效地利用这些数据。位于新泽西州Edison的netForensics公司安全战略家AntonChuvakin指出:“一旦技术合适和收集完日志，就需要实施一个监测程序并且评估行动中的陷阱和可能的升级。网络和安全管理员经常花费时间建立日志数据收集，但是，他们没有处理这些数据或者没有现成的资源来监测和分析那些数据。因为没有人监测这些日志数据，有关网络侦察或者潜在的攻击的信息也许会被忽略而失去时效。当安全事件发生时，查看日志数据也许可以确定事件发生的时间。但是，在很多情况下，需要查看的数据量太大，人们没有经过技术培训或者不会查看这些数据，有日志数据也没有意义了。现在，有安全事件管理(SEM)应用软件等一些工具专门用于监测安全事件并且使用某些逻辑或者过滤器帮助管理员获取有意义的数据。然而，这些工具仍需要设置和恰当地使用才能有效率。人们要对过滤的数据有所了解并且采取措施。收集堆积如山的事件日志数据，如果没有经过培训的人员和资源对这些日志数据进行监测和分析，就如同没有收集任何数据一样毫无用处。在本系列讲座的下一讲，我将提供一些技巧，帮助你了解这些日志数据的意义，并且使用这些数据保护你的网络和增强网络的安全。