一个增量数据同步数据的小结

一个增量数据同步数据的总结
需求：
1. 每日构建一批数据生成XML 。
2. 每10分钟读1条数据，每天最多读取144条。
3. 需要方便配置，合并数据。

1.代码：
qqxml.py
qqxml.conf
qqxml.conf是一个property。 key是相册对应的名字，value是QQ相册同步的起始ID

[board]dress=30604683scenery=30605417diy=30599014dessert=13950861office=30599116zakka=29930202trave=12954996chinese=21177698jieke=14738565tableware=10050474

2.启动方式

[admin@server9]$ python manage.py  qqxml

3.日志记录


4.总结

1. 增量数据同步要考虑同步的index,刚开始按照日期，后来改成按照ID方式。
2. 发现部分message的图片path不正确，需要去beansdb验证一下。code：

from beansdb.dbclient import Beansdbfrom xml.dom import minidomimport rer = re.compile("http://\w*.duitang.com")# three beansdb nodes on localhostfs = Beansdb({"192.168.172.3:7700": range(16), "192.168.172.5:7700": range(16)}, 16)url = "http://cdn.duitang.com/uploads/xxxx.jpg"url = r.sub("media",url)if type(fs.get(url)) is None or url=='#':     print 'error!===================='

查看更多 下一篇