海量数据的优化策略
最近从事一个项目.项目完工后如期上马，本想万事大吉，但没有料到该项目的个别数据库表数据量非常大，个别表数据量达到意1亿条，而且还在继续增长中，这样的数据库表无论是检索一条数据，还是更新一条数据，都会对数据库造成非常大的影响，数据表经常死锁，前台无响应，没有办法，只有暂时重启数据库，现在不得不重新优化程序，提高性能。我想到了如下办法：
第一： 使用EHCACHE缓存数据
第二： 将数据量按月/地区等分开处理，降低数据的数量。
第三： 对程序的关键处理代码进行优化，特别对部分like语句进行优化，尽量使用数据表索引。
经过一系列的优化，现在已经基本解决问题。
1 楼 boywang004 2009-02-16 建好索引、使用memcached、拆分表
你这问题基本应该能解决～
应该用不到集群～
另外，个人觉得只有到最后实在不行了才有必要做集群。 2 楼 sdh5724 2009-02-16 数据表经常死锁
你就是有ＣＡＣＨＥ也无法解你的问题， 你要找出为什么ＤＥＡＤＬＯＣＫ才能彻底解决问题， 才１５０Ｗ数据而已，现在的普通笔记本都能顶住！ 性能不仅仅是ＩＯ问题上的解决， 而且很多是ＬＯＣＫ问题的解决。 3 楼 czx566 2009-02-17 150万~~海量~~
北京后海吧~ 4 楼 wujie2008 2009-02-17 我只查了一个表的数据，有150W，还有其他的数据库表肯定更大，没必要一个一个的查，只是锁表是经常出现的。整个数据库文件已经增长到80G了。海量不海量。我以前是没有见到过了。现在基本是解决问题了。只是想在这里交流一下经验。学习学习。 5 楼 wujie2008 2009-02-17 只要对大表进行UPDATE操作，就锁表，而且有些表每秒至少有20个人访问，估计是重建索引加上访问压力。导致锁表。具体什么原因导致锁表，我现在也查不出来，不知道怎么个查法，以前没有从事这方面的经验，所以希望各位不吝赐教。 6 楼 sdh5724 2009-02-17 这么几个人就LOCK了， 我只知道我们这儿的数据库高峰大约执行4WSQL/s。
你这个项目还是解决LOCK问题才是最重要的。 另外如果发生表LOCK， 你看看你设置的事务隔离级别， 发生这个基本是使用独占事务了。
80G不算多的， 因为你的很大内部分数据不会发生读写的。 要相信数据库的能力， 不知道你用什么数据库。 通常数据库执行更新300－500／S问题不是很大， 另外， 你是不是使用了太多的LOB型字段。 这个比较危险。 7 楼 wujie2008 2009-02-17 谢谢各位给出的建议，我们使用的MYSQL数据库，也许是事务的隔离级别的问题，我去查查看。
工作不是很久，以前只管开发程序，现在需要我去管理数据库，也没有这方面的经验。所以出了问题，有点没有方向。还是谢谢各位。 8 楼 xuyao 2009-02-19 mysql在大量并发的条件下是容易所，oracle会好一些。我觉得楼主以后开发主要要从程序上考虑不要每次都去查数据库，我们目前是生成一些数据文件，格式多样，二进制，json，xml+memcache。 9 楼 超级潜水员 2009-02-20 150W的数据量是很少的，死锁的问题ＬＺ应该找你程序上有什么问题.
如你所说，每秒20次的查询也是很少的.
