POI读取大数据EXCEL思路
By:Roy.LiuLast updated:2016-11-07
POI 解析大EXCEL 思路,收集了一些资料放在这里,以后可以参考:
http://javaedge-yc.iteye.com/blog/1308714
http://poi.apache.org/spreadsheet/how-to.html#sxssf
其实总体上说来,也几时在office 2007 之后,EXCEL 其实也就是一种XML 格式,完全可以通过解析XML 来得到数据,并作出处理。
但事实上,如果数据量很大,也的确比较耗内存,所以也必须要有好的设计模式来应对。在这里我有一个基本的想法,就是多线程,这就是废话。具体来说,有如下两个思路:
1. 解析XML , 将XML 分段处理,用多线程,一个线程处理一段。
2. 采用队列,一个线程读取(一条或多条)EXCEL记录后,丢到队列中去, 然后再用几个线程从队列中取数据,插入到数据库中,其实也就是生产者消费者程序。
先记录下思路,有空去实现一个大数据的导入。
http://javaedge-yc.iteye.com/blog/1308714
http://poi.apache.org/spreadsheet/how-to.html#sxssf
其实总体上说来,也几时在office 2007 之后,EXCEL 其实也就是一种XML 格式,完全可以通过解析XML 来得到数据,并作出处理。
但事实上,如果数据量很大,也的确比较耗内存,所以也必须要有好的设计模式来应对。在这里我有一个基本的想法,就是多线程,这就是废话。具体来说,有如下两个思路:
1. 解析XML , 将XML 分段处理,用多线程,一个线程处理一段。
2. 采用队列,一个线程读取(一条或多条)EXCEL记录后,丢到队列中去, 然后再用几个线程从队列中取数据,插入到数据库中,其实也就是生产者消费者程序。
先记录下思路,有空去实现一个大数据的导入。
From:一号门
Previous:三角形横向时间轴定制
Next:js处理时间,年月日,星期的公共方法
COMMENTS