首页 诗词 字典 板报 句子 名言 友答 励志 学校 网站地图
当前位置: 首页 > 教程频道 > 数据库 > Mysql >

mysql导入海量数据方案,该如何处理

2012-03-02 
mysql导入海量数据方案用python编写数据处理程序,处理之后的海量数据保存成临时文件,然后保存至基于mysql

mysql导入海量数据方案
用python编写数据处理程序,处理之后的海量数据保存成临时文件,然后保存至基于mysql的infobright数据库;
有以下问题请教:
1.海量数据用何种方式存数据库比较科学?主要考虑性能,因为数据处理和数据库服务器是分布式的。
2.如果用mysql的load infile...,性能怎样?不知load infile内部实现是怎样的?是读取文件,一条一条插入数据库吗?

[解决办法]

引用1.海量数据用何种方式存数据库比较科学?主要考虑性能,因为数据处理和数据库服务器是分布式的。

[解决办法]
1 海量数据用分布式处理 或者不用关系数据库
2 loaddata相当于一条一条insert

热点排行