差点导致系统挂掉,可用率啊可用率!
早上我们线的架构找到我,由于一张表被频繁查询,险些导致系统挂掉(还好现在只有每天几千的查询量,数据量不大,不过过段时间,当一个新业务上线时,会有每天1000w--5000w的量,就是说每天查询1000w次),现在打字时还有些腿软,可用率啊可用率!
?
上下文是这样的:
原因:系统中有些配置数据会被频繁查询,所以我们将之纳入缓存,用于提升系统的性能,缓解数据库的压力。
措施:因此每次系统启动时会把这些配置信息放入缓存,并且在每次请求访问配置数据时,加了一个容错,根据缓存Map的size==0来防止启动时数据库问题而加载不到配置信息,恰恰是由于这个容错,可能导致更加频繁的数据库查询。
问题:在什么情况下会出现这种情况呢?数据库的配置信息没有数据的时候!这个时候每次查询,缓存Map的size总是0,每次执行业务程序的时候,会以为是数据库加载不到数据而重新加载数据。也许大家会问为什么这个配置会是0呢?因为这是一个缓冲配置表,为了防止热点账户反复请求而设置的配置信息,所以它是动态增加的,系统刚上线时,自然是为0的。
总结:还是要多点责任心,事先也许由于经验不足,没有考虑到;事后没有监控好日志,确实是自己的责任了。 下面看看有问题的程序:
?
public class ProductCacheConfigManagerImpl extends TimerTask implements ProductCacheConfigManager, InitializingBean { /** 定时任务logger */ private static final Logger timeTaskLogger = LoggerFactory .getLogger(LoggerName.CONFIG_TIMETASK); /** logger */ private static final Logger logger = LoggerFactory .getLogger(ProductCacheConfigManagerImpl.class); /** 缓冲配置DAO */ private ProdCacheConfigDAO prodCacheConfigDAO; /** 缓冲配置信息缓存 */ private Map<String, List<String>> configMap = new HashMap<String, List<String>>(); /** * 是否需要缓冲记账 * * @param principalId 主体id * @param subProductCode 子产品码 * @return boolean 是否需要缓冲配置 */ public boolean isCached(String principalId, String subProductCode) { ?// 可能由于网络或者数据库原因没有加载到数据,需要重新加载。??????? if (configMap.size() == 0) {??????????? reloadCacheConfig();??????? } return needCache(principalId,subProductCode); } @Override public void run() { timeTaskLogger.warn("系统定时任务加载缓冲配置CacheConfig信息。"); reloadCacheConfig(); } private void reloadCacheConfig() { timeTaskLogger.warn("系统加载缓冲配置CacheConfig信息到map,开始执行。"); Map<String, List<String>> map = new HashMap<String, List<String>>(); List<ProdCacheConfigDO> cacheConfigDOs = this.prodCacheConfigDAO.findAll(); for (ProdCacheConfigDO configDO : cacheConfigDOs) { String principalId = configDO.getPrincipalId(); String subProductCode = configDO.getSubProductCode(); if (map.containsKey(principalId)) { List<String> subProductCodes = map.get(principalId); subProductCodes.add(subProductCode); } else { List<String> subProductCodes = new ArrayList<String>(); subProductCodes.add(subProductCode); map.put(principalId, subProductCodes); } timeTaskLogger.warn("系统加载缓冲配置CacheConfig信息到map,principalId=" + principalId + ",subProductCode=" + subProductCode); } configMap = map; timeTaskLogger.warn("系统加载缓冲配置CacheConfig信息到map,结束。"); } public void afterPropertiesSet() throws Exception { try { reloadCacheConfig(); } catch (Exception ex) { timeTaskLogger.warn("系统加载缓冲配置CacheConfig信息失败。", ex); } } public void setProdCacheConfigDAO(ProdCacheConfigDAO prodCacheConfigDAO) { this.prodCacheConfigDAO = prodCacheConfigDAO; }}?
?
?
?
恰恰由于没有考虑数据库配置为空的情况,可能会导致数据库上千万次的查询。