大批量数据怎么"插"才舒服?
在考虑了优化的情况下
有时数据一个表有时同时间会有几万数据同时提交上来~ 这时web会插入数据直接至超时也没成完成,形成假死都有可能. 容易丢失数据.
打算写个队列线程让他们后台慢慢扯蛋的插. 插完一批又一批.
大伙平时怎么做? 阅历浅, 未试过这么大数据处理的.
这可不是数据导入或什么的.
[解决办法]
如果数据量特别大，建议放入队列中，另外起一个线程，用线程批量插入，插完了线程关闭
[解决办法]
生产者-消费者模式来..
[解决办法]
底层的数据实现都会有针对批优化的方法的，比如jdbc的Batch方法，sql的BULK关键字等。
客户端通过js也可以进行优化，比如先写入变量再分批提交。
[解决办法]
事件驱动，后台异步处理
[解决办法]
