shell脚本分析网站日记步骤

shell脚本分析网站日志步骤
1cd?d:?或?cd?/cygdrive/d/

如日志在d盘weblog文件夹，那使用指令：

返回上级目录：

返回底层目录：

注：cygwin的默认文件夹是cygwin安装文件中home/administrator文件夹，可以通过指令来修改默认文件夹，具体指令请上网搜索。

二、ls指令：显示目前文件夹中所有文件

比如当前路径是在/d/weblog/

就可以显示出/d/weblog/中所有文件。

三、cat指令：连接文件

当几个日志需要连接融合时，需要用到cat指令，cat的全称是concatenate，为连接之意，如我想看4月份的日志情况，需要用到ex120401.log,?ex120402.log,?ex120403.log…等日志文件，我可以使用下列指令：

那么4月的所有日志文件就会合为april这一个文件了。

注：

1、ex12*.log中的*号为通配符，可代表所有字母或数字。

2、cat?ex12*.log>?april.log后面的“>?april.log”代表把日志文件导出为一个名为april.log的文件，如果没有“april.log”，那所有的数据只会在编辑器中出现，并不导出。

四、grep指令：提取文件中的部分数据

其中A是要在文件中提取的数据，比如要提取百度蜘蛛数据，那这里就是Baiduspider；B.log指的是要提取的目标文件，比如上面的april.log；C.log是提取出的数据要导出的文件，比如要把数据导出为baidu.log，那这里就应该为baidu.log。下面是一个例子，要提取april.log文件中百度蜘蛛数据，并导出为aprilbaidu.log，指令为：

注：

1、grep的提取是找到相应的数据，并把整行数据都提取出来。

2、大小写不能搞错。

5月17日补充：

grep?-v排除不需要的数据，跟grep用法正好相反。

五、awk指令：分割相应的列数据

以上是百度蜘蛛抓取小站的日志情况，根据中间的空格可以分为19列（根据日志设置各有不同），awk可以单独提取出其中的某一列，比如要单独提取出其中的时间和URL：

其中的$2,$4是所对应的列数，aprilbaidu.log是要分割的文件，url.log是相应数据的导出文件。

六、sort指令：排序

这个就是简单的排序，如果本来是按照原来的顺序，“1，2，9，5，1，2，6，4”，那么使用sort之后将是“1，1，2，2，4，5，6，9”。

另外，sort?–nr?按照降序排列。

七、uniq指令：对数据进行汇总

这个只用uniq?–c，表示周围数据排序整理，比如经过sort排序后是这样的

那么使用uniq?–c后会变为这种：

注：由于uniq?–c只能对周围数据排序整理，所以需要先对数据sort排序处理。

八、|符号的使用

|符号表示把后面的指令用在前面的文件上，比如

标题将所有ex开头的log文件融合，然后提取出其中包含Baiduspider的部分。

九、常用shell指令汇总

1、把百度蜘蛛数据提取出来

2、调取不重复抓取URL数据，并按照降序排列

3、调取爬虫IP，并按照降序排列

4、调取返回码，并按照降序排列

?