"海量日志分析系统实践"分享总结
概述：
此分享是关于海量日志分析系统实践的汇总
?
汇总点：
基于MySql;分析指标有，Hits、带宽、UIP（独立用户IP）、下载速度、下载时长、响应时间、受访URL、受访域名、来路URL、来路域名、全国用户分布统计、运营商分布统计、受访文件大小、文件类型、Squid命中率、请求响应类型、异常用户统计;海量数据,写多读少;节点包括：A(Agent) 、B(Bee) 、D(Data) 、M(Manger) 、R(Relay) ；采集节点利用Rsync实现推送日志到B点；运算节点根据需求分析日志并推送到D点；R节点保障数据传输的速度及效率，减少网络问题导致的数据阻塞及不完整性；D节点负责将接收到的sql文本入库；表细分汇总包括m_表、h_表、d_表等；展示节点基于web数据库访问层基于Amoeba；管理节点掌握各大节点的系统运行状况，资源使用情况；D节点中采用热数据来缓解DB的压力；在MyISAM表中尽量使用定长类型；将IP字段存储为整形；使用merge表，对于过期的只读表进行myisampack，使用enum 使PROCEDURE ANALYSE() ，根据业务需求将产品线及时间建立联合索引；Mysql架构优化包括增加节点、分库分表、将m,h,d表的索引文件及数据文件分布到不同磁盘、将数据库指向不同的磁盘、禁止系统更新文件的atime属性；使用tmpfs作cache磁盘(ramdisk）；采用infobright版；基于mysqlnd做性能测试；基于Memcache多级缓存；
?
技术：
Gearman 用于分布式节点的管理；Memcached 缓存数据；Amoeba 展示层数据库代理；INFOBRIGHT的ICE版；
?
更多详情参见附件
