寻求批量插入远程数据的方案解决办法

寻求批量插入远程数据的方案
需要将数据批量插入远程服务器，远程服务器是SQL，用什么方案效率最高、速度最快？

例如：本地数据有10000条，

日期         品名            数量
2012.06.06  中华牙膏          20
2012.06.06  白玉牙膏          50
。。。
。。。
。。。

我用如下代码测试了一下，上当了，等了半小时多！！
?sqlstringconnect("Driver=SQL Server;Server=192.168.0.2;Address=XX.XX.XX.XX,1500;Network=dbmssocn;Database=yjtest;Uid=wxj;Pwd=123")
SET TALK off

FOR i=1 TO 10000
SQLEXEC(1,"insert into ydj values('2012.06.06','阿莫西林',12)")
endf
SET TALK on

RETURN


然后我改一下，记录了时间，300条记录花了70秒

我的网络上行速率是512K

什么方案效率高？应该在哪些方面进行优化？比如说充分利用字节长度等等


有可能同时多个站点上传数据，这样会不会死人？


[解决办法]
本帖最后由 dkfdtf 于 2012-06-05 13:25:51 编辑 如果 sql server 所在服务器安装了 ftp，那就先将数据整理成符合字段顺序的格式化文本文件，上传文件，再导入 sql server
ftp 传文件就不用说了，只说说导入 sql server
最快的应该是 bulk insert 命令了，简化的语法是这样的：

BULK INSERT 被插入表名
FROM 'C:\数据文件.txt'  
WITH  
(
    FIELDTERMINATOR = ",",     -- 指定逗号作为字段分隔符，默认是制表符 \t
    ROWTERMINATOR = "\n"       -- 指定 回车符号作为 行分隔符，默认是 \r\n
)

完整的语法是：

BULK INSERT 
   [ database_name . [ schema_name ] . 
[解决办法]
 schema_name . ] [ table_name 
[解决办法]
 view_name ] 
      FROM 'data_file' 
     [ WITH 
    ( 
   [ [ , ] BATCHSIZE = batch_size ] 
   [ [ , ] CHECK_CONSTRAINTS ] 
   [ [ , ] CODEPAGE = { 'ACP' 
[解决办法]
 'OEM' 
[解决办法]
 'RAW' 
[解决办法]
 'code_page' } ] 
   [ [ , ] DATAFILETYPE = 
      { 'char' 
[解决办法]
 'native'
[解决办法]
 'widechar' 
[解决办法]
 'widenative' } ] 
   [ [ , ] FIELDTERMINATOR = 'field_terminator' ] 
   [ [ , ] FIRSTROW = first_row ] 
   [ [ , ] FIRE_TRIGGERS ] 
   [ [ , ] FORMATFILE = 'format_file_path' ] 
   [ [ , ] KEEPIDENTITY ]  
 
   [ [ , ] KEEPNULLS ] 
   [ [ , ] KILOBYTES_PER_BATCH = kilobytes_per_batch ] 
   [ [ , ] LASTROW = last_row ] 
   [ [ , ] MAXERRORS = max_errors ] 
   [ [ , ] ORDER ( { column [ ASC 
[解决办法]
 DESC ] } [ ,...n ] ) ] 
   [ [ , ] ROWS_PER_BATCH = rows_per_batch ] 
   [ [ , ] ROWTERMINATOR = 'row_terminator' ] 
   [ [ , ] TABLOCK ] 
   [ [ , ] ERRORFILE = 'file_name' ] 
    )] 

所有选项的说明参见微软帮助：http://msdn.microsoft.com/en-us/library/ms188365.aspx
[解决办法]
本帖最后由 apple_8180 于 2012-06-05 08:59:24 编辑 1、从环境角度应该提高网速（本机网速和远程服务器网速）和服务器的配置性通。
2、ftp的方法，本觉得不可取，因为，还得需要远程服务端导入入数据库的操作。
3、关于【bulk insert】方法，确实能够提高插入速度，效果明显，这里有更详细的中文讲解，你可以参考一下：
   http://blog.csdn.net/jackmacro/article/details/5959321
4、按照你的数据，300条记录如果用了70秒时间，那你的网速太慢了，不是服务器端，就是你本机，现在家庭都是2-4M的宽带，你可以换一个家庭4M机器试试，看速度有无提高。另外，是不是你用的是10000条数据，
   FOR i=1 TO 10000
       SQLEXEC(1,"insert into ydj values('2012.06.06','阿莫西林',12)")
   endf
   && 是不是10000，把10000改成300
5、通过文本文件进行处理，速度也很快，参考下面的帖子。
   http://www.itpub.net/thread-139879-4-1.html
[解决办法]
循环不用考虑，
1、用SQLSERVER的OPENDATESOURCE、OPENQUERY、BULK；
2、用JETSQL，假设连接SQLSERVER，并有相应权限，且字段类型没有特殊(如GEN、BLOB之类)
SELECT * INTO [dbase 5.0;database=r:\temp].aa FROM [ODBC;Driver=SQL Server;UID=sa;PWD=123;Server=tmp;DataBase=tmp].bb;

[解决办法]
提高网速也是比较重要的。

查看更多 下一篇