50万数据,80个字段,导出30-40分钟,导出excel2017data ,如何优化,sql 就是一个 select * from a,无汇总,有什么好的解决方案
无需优化,时间花费不在select from db上,而是花费在生成一个大excel文件上。比起写文件系统,查询数据库的速度简直可以忽略不计。这么大数据,能够导出已经不错了。
为什么要导出50万数据?用DB直接导出多好。50万条出来了有什么方式能看呢?最佳实践告诉我们1000行以上的excel是不适合人类操作的。
同意楼上意见,我们应该用合适的工具做合适的事情。如果导出50万条记录是为了再分析或者再导入其它库,要么可以直接用Cognos进行分析;要么直接用数据库导出工具倒成csv,再用其它分析工具分析,或者导入到其它数据库。
如果是oracle数据库,建议使用sqluldr这个工具,导出几百万的数据都很快。使用cognos不现实,或者可以使用flink
关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们 © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30