首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 数据库 > 其他数据库 >

(游戏)历史数据的迁徙和备份方案

2012-09-04 
(游戏)历史数据的迁移和备份方案整理了一下思路,记录下。供以后参考吧。??前言:游戏服务器。部分游戏数据。超

(游戏)历史数据的迁移和备份方案

整理了一下思路,记录下。供以后参考吧。

?

?

前言:

游戏服务器。部分游戏数据。超过一定时间后。对玩家来讲,不再有很大的使用价值。但这部分数据却一直保存在数据库中。特别是如:玩家信件,道具消费日志,等每日增加量比较大的表。问题尤其明显。

?

目标:

1.将数据库中超过指定时间的数据,从游戏服务器数据库中,迁移到备份数据库中。

2.并实现迁移目标分表的自动切分。

3.各待迁表支持设置不同的迁移间隔。

4.每次迁移备份后。将处理结果发送邮件。

?

分析:

1.仔细分析要迁移的表结构可以发现。这些表都有添加时间(createDate)类的字段标志。某些表可能出了添加时间外,还有其他的判断依据。如任务记录类。为了尽可能的保证迁移数据的正确性,还要添加任务状态的条件(state=9)类。

2.同一款游戏,不同的游戏分区。表结构基本上时完全相同的。要做的备份迁移的逻辑也基本一致的。

?

设计:

不同的最终要求,可能设计的具体方案不尽相同。

?

已知:

1.mysql存储过程中,不支持如oracle里的dblink。所以一个存储过程里调用不同机器上mysql查询,暂时实现不了。

2.mysql存储过程中,不支持动态创建数据库。但可以动态创建表。

?

准备:要迁移备份的表信息,配置表。

transfer_database_info;?????

--游戏分区信息(含:数据库名,分区名,用户名,密码等)

--主要是考虑最复杂的情况时,如,多个游戏分区在不同的电脑上。备份服务器在另外电脑上时候用。

??

transfer_table_template;????

--迁移表模板(含:表名,鉴别字段,分表间隔,迁移间隔,是否备份)

--分表间隔,过多久将备份库里面的目标表切分

--迁移间隔,每个表要迁移的间隔不尽相同。有的可能迁移3各月前的,有的可能1个月前的旧可以迁移走。

--是否备份,有些数据可能再也没有用到得可能了。只需从运行库中删除,不需备份到备份库里

?

transfer_setting_info;?????????

--前两个表的一个整合表,保存实际迁移备份过程中。实际需要处理的所有表。

?

只所以这么设计,主要是基于分析2.

?

辅助表:

transfer_table_log;

--(transferSettingInfoId,createDate,destTableName)

--记录待处理表中,要在备份库中生成的目标表表名。

transfer_task_log;

--迁移备份的日志。每运行一次该任务。生成一条日志。

?

-------------------------------------------------分割线-------------------------------------------------

实现目标一:

1.在游戏所在的服务器上,同一个mysql进程下。备份各区的数据到一个库中。

?

实现:

考虑用存储过程实现。在linux中添加shell脚本,创建cronjob。每天或指定时间运行该任务即可。

伪代码:

?

shell脚本里,查询最新日志。发送邮件。

?

?

实现目标二:

1.在游戏所在的服务器上,同一个mysql进程下。备份各区的数据到不同个库中。

?

由于mysql存储过程不支持动态创建库。所以在设置备份信息时候。先创建好备份库。

其他实现基本同目标一。

?

实现目标三:

1.各游戏服务器在不同机器上,备份库在另一台机器上。

?

思路一:

1.用java写个小程序。连接不同的数据库。

2.先将要迁移备份的信息dump到备份机。dump可以支持--where的。因此是可以实现增量处理的。

3.然后将dump文件,执行到备份机的备份库中。

?

思路二:

1。将备份处理逻辑,分别放到不同的游戏服务器上。由不同的游戏服务器上的cronjob定期执行备份处理。

2。将游戏服务器上的数据文件,文件夹映射到远程备份机的指定文件夹下。

?

思路三:

借助,mysql提供的备份策略,mysql的增量备份策略等实现。只是粗粗看了下,感觉可控性不高。就没有试验。应该也是可以实现的。

?

?

?

?

热点排行