首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 数据库 > 其他数据库 >

第十三章——表跟索引分区(2)——使用拆分删除和加载大数据

2013-04-12 
第十三章——表和索引分区(2)——使用拆分删除和加载大数据前言:很多时候需要对大数据量进行归档或者删除,并周

第十三章——表和索引分区(2)——使用拆分删除和加载大数据
前言:

        很多时候需要对大数据量进行归档或者删除,并周期性加载大数据量到一个大表中,现在来做个简单的例子,你经常需要删除大数据量表中的大量数据。同时,你想加载大量数据到这个表中,当表中数据有数十亿时,这个操作可能消耗几个小时,但是如果你的表有分区,那么执行起来会很有效。

本文将模拟删除一个季度的数据,并加载整个季度到现有表,其中使用了拆分(splitting)、合并(merging)和切换分区(switching)。

假设我们需要存储季度数据,并且每个季度存放在一个分区。现在需要清除最久的季度和加载最新的季度数据,比如分区中包含:

1、 季度1:2011年1月到2011年3月

2、 季度2:2011年4月到2011年6月

3、 季度3:2011年7月到2011年9月

4、 季度4:2011年10月到2011年12月

现在需要删除季度1并加载2012年第一季度的数据到一个新的分区中。为了实现这个功能,可以使用在date和time列上针对每个季度创建分区。可以合并两个分区或者拆分现有有分区。

本文将演示使用滑动窗口实现,在滑动窗口中,可以清除最久的分区。

 

步骤:

1、 打开SQLServer

2、 执行下面脚本,创建一个分区函数,并使用RANGE RIGHT,然后创建一个分区架构:


6、 现在先移除2011年第一个季度也就是分区1的数据:


9、 现在,把分区2与分区1合并,设置下一个使用分区架构的文件组到PRIMARY并验证数据:


11、 现在加载数据到tbl_MyData,为了实现这个步骤,需要生成一些数据并插入到分期表tbl_MyStagingData:

 

 

分析:

本文使用了CREATEPARTITION FUNCTION命令,首先创建了一个分区函数pf_Quaterly_RangeRight,通过定义RecordDateTime来做分区列,使得20110101~20120101进行分区。然后使用CREATE PARTITION SCHEME命令创建分区架构ps_Quaterly_RangeRight,映射所有分区到PRIMARY文件组。通过一些列的操作处理分区中的数据。

 

扩展知识:

本文显示了一个简单的例子,可以在生产环境中配置周期性实现。重点是脚本要足够智能化和动态化。

 

 

热点排行