海量日志分析处理系统 一、开篇
????? 目前正在写一个日志处理系统，虽然业务很简单，但是感觉想把它做大做强，还是有很多东西可以挖掘的，希望能在这里把整个过程记录下来，对自己的积累做个总结。
?
????? 计划使用如下技术构建整个系统。
?
????? 1. 使用scribe集群完成日志收集
????? 2. 使用hadoop集群完成日志分析处理
????? 3. 使用hbase完成分析结果的存储
????? 4. 使用hightchar作为前端UI的展示工具
?
????? 计划编写如下程序完成整个系统
?
????? 1. scribe客户端程序，负责将日志内容通过管道写入scribe
????? 2. scribe中心端程序，负责将收集的日志上传到hadoop
????? 3. 日志分析处理程序，负责对hdfs中的日志分析处理
????? 4. hbase客户端程序，负责对rest接口返回查询结果
????? 5. 前端web展示程序，负责解析xml并以报表方式展示
1 楼 xvm03 2011-04-26 要坚持呀，一定要完整记录整个过程，顶你