用SED+AWK回分析NGINX日志

用SED+AWK来分析NGINX日志！

?用SED+AWK来分析NGINX日志！2010-01-28 16:40:30标签：SED?NGINX?AWK原创作品，允许转载，转载时请务必以超链接形式标明文章?原始出处?、作者信息和本声明。否则将追究法律责任。http://storysky.blog.51cto.com/628458/271560? 前几天写了篇文章是用AWK 来过滤NGINX 日志里面的特定值，但是光过滤出来了不行，还得要用啊，开发同事给我提出了新要求。让我统计 9:30~13:30 和13：30~17:30的这两个时间段每个小时的动态请求数，还有上面两个时间段里的 “action=xxxxx”这个值的种类和每种action的数量~~~，要求还真不少！
??
?说起来复杂其实做起来挺简单的，只要理清思路就好了！让我们先来解决第一个问题，每小时的动态请求数，我再看下NGINX日志的格式
??118.203.20.3 - - [16/Jan/2010:05:00:01 +0800] "POST /design/game.php HTTP/1.1" "check=085af328d69bd499fe47c4f484ea5dfb&cid=0&cuid=419884&oid=4&timestamp=1263589204&action=researchOre" 200 277 "http://www.ime.com/design/flash/main.swf?v=430/[[DYNAMIC]]/1" "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1) ; .NET CLR 2.0.50727)" -
?因为我们的动态请求都是通过php来完成的，所以我只要过滤出包含.php的行就可以了，时间段的选取可以交给?SED来做，数量统计用?uniq -c?，好了开工吧！
?sed -n "/2010:13:30:00/,/2010:17:30:00/"p access_2010011605.log | awk -F: '/'.'php/{print $2}' |uniq -c
?168576 13
?301975 14
?285616 15
?299248 16
?154377 17
?因为日志比较大，所以时间稍微长了点，不过目的达到了，至于9:30~13:30直接改上面的时间就好了，在这里感谢下 给我提供帮助的三门同学；
?下面我们再看看09:30~13:30这段时间的 每种 action 的总和。
格式过滤出action 的方法上一篇文章《用AWK来过滤nginx日志中的特定值》已经写好了，生成文件的格式为
?202.113.30.144??? ??? 25/Jan/2010:13:42:07??? ??? cuid=181188??? action=compound????
124.227.66.162??? ??? 25/Jan/2010:13:42:07??? ??? cuid=355287??? action=plantInfo????
124.240.39.49??? ??? 25/Jan/2010:13:42:07??? ??? action=researchLayer??? cuid=496990????
121.236.118.126??? ??? 25/Jan/2010:13:42:07??? ??? cuid=509590??? action=oreInfo???

? 我们就根据这个格式来统计，上面我已经生成好了这个文件名字叫 action.new
sed -n "/2010:09:30:00/,/2010:13:30:00/"p action.new |awk '{if($3~/^action/){print $3} else if($4~/^action/){print $4}}' |sort |uniq -c |sort -nr
?533271 action=plInfo
?132742 action=FriendPet
?101258 action=Info
? 98091 action=oInfo
? 84749 action=wInfo
? 71751 action=Result
? 71558 action=Quest
? 63471 action=cQuest
? 60886 action=qInfo
? 58112 action=bag
? .....略
? 在这里感谢下小I 同学的帮助
好了，把这几个结果交给开发的同事让他们去分析了。呵呵，希望这篇文章对朋友们有帮助~~~ O(∩_∩)O~

本文出自 “story的天空” 博客，请务必保留此出处http://storysky.blog.51cto.com/628458/271560