OSCACHE配置URL实现页面缓存的Fliter(修改配置无需重启)
在web系统中经常会有遇到一些公共页面,如首页,公告,动态生成jfreechart图片,这些页面访问量较大,每次访问会需要计算或者访问后台数据库,随着访问并发量的上升系统的压力会越来越大,这时就需要使用缓存来减小压力,提高性能.
如一张首页面每次访问会访问一次数据库,当每秒并发为100时,每秒钟会访问100次数据库,如果对这个页面设置30秒的缓存,则每隔30才会访问一次数据库.数据库压力减小了3000倍.
缓存分类:
1.客户端缓存: 即浏览器缓存,可以通过http的head头告诉浏览器该资源是否需要缓存,缓存多久.客户端缓存直接保存在本地,所以速度最快,而且对服务器没有访问压力.
2.CDN:全称是Content Delivery Network，即内容分发网络。其基本思路是尽可能避开互联网上有可能影响数据传输速度和稳定性的瓶颈和环节，使内容传输的更快、更稳定。
比如sina，把中心服务器的内容分发到各个省市的cache服务器，根据用户所在的网络（ip段）来确定用户拉去最近服务器上的内容，达到访问速度最快。
3.前段缓存:主要用于缓存一些静态资源文件.代表性的有:(apache mod_cache、squid)
4.应用缓存:主要通过一些缓存框架对一些动态的数据进行缓存,以减少计算量或减少对数据库的访问次数.应用缓存又分为本地缓存和远程缓存.
本地缓存是指缓存内容保存在本地jvm堆内存钟,访问速度极快,但不能跨越机器共享数据.典型的有OSCache,EHCache
远程缓存是指缓存数据被集中保存在远端的缓存服务器上,应用服务器通过网络访问缓存数据.访问速度比本地缓存慢,但缓存内容不受应用服务器重启影响,多台应用服务器可以共享缓存数据.典型的有memcached
5.数据库缓存oracle,mysql等数据库系统都带有自己的缓存,将一些与编译的sql语句,热点数据进行缓存,提高访问速度.
碰到的问题
我现在做的系统中有很多的页面报表和动态生成的统计图,这些资源一般1,2分钟更新一次就足够了,而且所有人看到的内容都是一样的.所以使用本地的应用缓存来对这些内容做缓存很划算.但这样做就需要修改代码,把缓存的api加进去(代码比较乱,用aop也比较麻烦).
我首先想到的是oscache(http://davidxiaozhi.iteye.com/blog/1045223),这家伙是专门做页面级缓存的,专门实现了一个cachefilter来拦截页面请求.但研究发现oscache必须使用jsp标签来设置页面缓存的内容(我用的是velocity),而且配起来也比较麻烦.所以就想着自己实现一个简单的缓存过滤器.
设计说明
1.有一个配置文件可以登记那些url需要缓存,缓存多长时间,是否开启缓存.
2.配置文件修改以后立即生效,不需要重启.
3.只对get请求缓存,post不缓存.
4.缓存的key为请求的url(包括参数),不同的url缓存为不同的对象.
5.登记的url可以设置参数,当请求的url和登记url的参数匹配时才缓存.
如: 登记的url为
/a.htm?A=100&B=5
则请求的url缓存情况:
/a.htm 不缓存
/a.htm?A=100 不缓存
/a.htm?A=100&B=5 缓存
/a.htm?A=100&B=5&C=3 缓存
编码
cacheUrl.properties配置文件登记需要缓存的url,缓存的时间和是否开启缓存.(用||分割)
/test1.jsp || 30 || true/test2.jsp?param2=tom¶m3=2010-11-11 || 60 ||true/tt/test3.jsp?param1=100 || 30 ||true/index.jsp || 60 || false
/** * 动态读取配置文件类 * @author dick_wyq * @version 1.0 */public class RefreshFileRead {private static final Log log = LogFactory.getLog(RefreshFileRead.class);/** * 属性文件全名 */private String pfile = "cacheUrl.properties";/** * 属性文件所对应的属性对象变量 */private long m_lastModifiedTime = 0;/** * 上次检查时间 */private long lastCheckTime = 0;private List<String> lines;/** * 动态文件的路径,classpath的相对路径. * @param filepath */public RefreshFileRead(String filepath) {if(filepath!=null)this.pfile=filepath;_RefreshFileRead();}private void _RefreshFileRead() {m_lastModifiedTime = getFile().lastModified();if (m_lastModifiedTime == 0) {log.error(pfile + "file does not exist!");}}/** * 查找ClassPath路径获取文件 * * @return File对象 * @throws URISyntaxException */private File getFile(){File m_file = new File("");try {URI fileUri = this.getClass().getClassLoader().getResource(pfile).toURI();m_file = new File(fileUri);} catch (URISyntaxException e) {log.error(pfile+"文件路径不正确");} catch (Exception e) {log.error(pfile+"文件读取异常");}return m_file;}/** * 读取一特定的属性项 */public List<String> getLines() {if(this.lines==null||isFileModified()){//获取数据this.lines=_getLines();}return this.lines;}/** * 判读文件是否改变 * @return */private boolean isFileModified(){long nowCheckTime=System.currentTimeMillis();boolean result=false;//如果没到1秒钟,直接返回falseif(nowCheckTime-lastCheckTime>5000){lastCheckTime=nowCheckTime;long newTime = getFile().lastModified();// 检查属性文件是否被修改if (newTime == 0) {// 属性文件不存在if (m_lastModifiedTime == 0) {log.error(pfile + " file does not exist!");} else {log.error(pfile + " file was deleted!!");}}else if (newTime != m_lastModifiedTime){result= true;m_lastModifiedTime=newTime;}}return result;}/** * 读取文件的数据到list里 * @return */private List<String> _getLines(){List<String> myline=new ArrayList<String>();BufferedReader br=null;try {String l=null;br=new BufferedReader(new FileReader(getFile()));while((l=br.readLine())!=null){if(!l.trim().equals(""))myline.add(l);}} catch (Exception e) {log.error("read File error!,文件读取异常");}finally{if(br!=null)try {br.close();} catch (Exception e) {}}return myline;}}public class MyCacheFilter implements Filter { ... public void init(FilterConfig filterConfig) { config = filterConfig; log.info("OSCache: Initializing CacheFilter with filter name " + config.getFilterName()); //读取配置文件的路径 String cacheUrlFile = config.getInitParameter("cacheUrlFile"); //实例化动态读取配置文件类,默认是cacheUrl.properties refreshFileRead=new RefreshFileRead(cacheUrlFile); //oscache实例 cacheAdmin=new GeneralCacheAdministrator(); } public void doFilter(ServletRequest request, ServletResponse response, FilterChain chain) throws ServletException, IOException { long l1=System.currentTimeMillis(); HttpServletRequest httpRequest = (HttpServletRequest) request; UrlCheck urlCheck=new UrlCheck(refreshFileRead); //判断当前请求是否在需要缓存的列表中 CacheUrlVo vo=urlCheck.checkReqCache(httpRequest); if(vo==null){ //如果当前不请求符合缓存要求,就继续执行. chain.doFilter(request, response); return; } //如果当前请求符合缓存要求. //生成缓存的key String key=genCacheKey(httpRequest); //key太长,用md5编码 String md5key=Md5Utils.MD5(key); //获取当前请求可以缓存的时间. int cacheTime=vo.getCacheTime(); try { //直接从缓存中获取数据 ResponseContent respContent = (ResponseContent) cacheAdmin.getFromCache(md5key, cacheTime); boolean acceptsGZip = false; //将缓存中获取的数据写入response中 respContent.writeTo(response, false, acceptsGZip); if (log.isInfoEnabled()) { log.info("OK!!CACHE HITED"+",TIME="+(System.currentTimeMillis()-l1)+"ms," + key); } } catch (NeedsRefreshException nre) { boolean updateSucceeded = false; try { //包装response CacheHttpServletResponseWrapper cacheResponse = new CacheHttpServletResponseWrapper((HttpServletResponse) response, false, cacheTime * 1000L, lastModified, expires, cacheControlMaxAge); //继续执行 chain.doFilter(request, cacheResponse); cacheResponse.flushBuffer(); //保存到cache中 cacheAdmin.putInCache(md5key, cacheResponse.getContent()); updateSucceeded = true; if (log.isInfoEnabled()) { log.info("MMD!!CACHE NOT FIND,EXECUTE!"+",cacheTime="+vo.getCacheTime()+"second,TIME="+(System.currentTimeMillis()-l1)+"ms," + key); } } finally { if (!updateSucceeded) { cacheAdmin.cancelUpdate(md5key); //如果执行失败就取消更新 } } } } ...}<filter><filter-name>MyCacheFilter</filter-name><filter-class>cache.MyCacheFilter</filter-class></filter><filter-mapping><filter-name>MyCacheFilter</filter-name> <url-pattern>*.jsp</url-pattern></filter-mapping>
