POI读取大数据EXCEL思路

POI 解析大EXCEL 思路,收集了一些资料放在这里,以后可以参考:
http://javaedge-yc.iteye.com/blog/1308714
http://poi.apache.org/spreadsheet/how-to.html#sxssf

其实总体上说来,也几时在office 2007 之后,EXCEL 其实也就是一种XML 格式,完全可以通过解析XML 来得到数据,并作出处理。
但事实上,如果数据量很大,也的确比较耗内存,所以也必须要有好的设计模式来应对。在这里我有一个基本的想法,就是多线程,这就是废话。具体来说,有如下两个思路:
1. 解析XML , 将XML 分段处理,用多线程,一个线程处理一段。
2. 采用队列,一个线程读取(一条或多条)EXCEL记录后,丢到队列中去, 然后再用几个线程从队列中取数据,插入到数据库中,其实也就是生产者消费者程序。

先记录下思路,有空去实现一个大数据的导入。


除非申明,文章均为一号门原创,转载请注明本文地址,谢谢!
文章来自: 本站原创
引用通告: 查看所有引用 | 我要引用此文章
Tags:
相关日志:
评论: 1 | 引用: 0 | 查看次数: -
回复回复liuhaihua.cn[2016-11-30 07:02 PM | del]
挺好的一个思路
发表评论
昵 称:
密 码: 游客发言不需要密码.
内 容:
验证码: 验证码
选 项:
虽然发表评论不用注册,但是为了保护您的发言权,建议您注册帐号.