java 大量数据导出为Excel 内存溢出

java excel 大量，海量数据导出内存溢出从数据库中按查询条件一次性获取大量数据，要把这些数据导出为Excel,当前超过8000左右就出现内存溢出，请问如何做到一次性导出5万条左右的数据。
	如果是用poi或者jxl之类的，肯定会内存溢出。因为，它们都是一次在内存生成整个excel对象。 poi最新版本倒是支持excel2007写临时文件，但是2003不能用。有一种做法就是不以excel的形式导出，如：Excel另存为XML格式，以此XML为模板，将需要导出的内容拼接为XML字符串按顺序写到一个后缀为xls的文件中。也能用Excel打开的，但是这种情况适用于导出的是数据列表，如果有公式、图表之类的就不适用了。这种方式导出几十W都没问题。
	导出数据首先跟你的数据库有关系，一般数据库的游标没定义的话都是有一个上限的。而后，你的内存溢出应该是查询时将数据一条条插入的时候游标没有清空，然后越来越多，应该没查询一次就清空一次。statement=null，你可以看看你查询用的什么方式，内存溢出基本上数据库没问题就是程序上的游标没控制好了，希望能帮到你
	引用 2 楼 flying_lanying 的回复: 导出数据首先跟你的数据库有关系，一般数据库的游标没定义的话都是有一个上限的。而后，你的内存溢出应该是查询时将数据一条条插入的时候游标没有清空，然后越来越多，应该没查询一次就清空一次。statement=null，你可以看看你查询用的什么方式，内存溢出基本上数据库没问题就是程序上的游标没控制好了，希望能帮到你谢谢！我的主要是导出时内存溢出，一条条数据不断写，最后内存溢出。不知道你说的数据问题是否与这个问题有关，可不再详细一些。
	引用 1 楼 uyerp 的回复: 如果是用poi或者jxl之类的，肯定会内存溢出。因为，它们都是一次在内存生成整个excel对象。 poi最新版本倒是支持excel2007写临时文件，但是2003不能用。有一种做法就是不以excel的形式导出，如：Excel另存为XML格式，以此XML为模板，将需要导出的内容拼接为XML字符串按顺序写到一个后缀为xls的文件中。也能用Excel打开的，但是这种情…… 谢谢你的回答！能再详细一点么？
	额，说得已经很详细了呀。说你有什么不清楚的吧？我可以针对你的问题说。
	你可以创建一个xls文件，另存为xml电子表格2003的格式，用编辑器看看xml的格式，然后用io直接按照那种方式写试试，应该就可以了。那种格式用excel是可以打开的。或者你导出csv格式嘛。要么扩大内存试试
	引用楼主 huo_er 的回复: 从数据库中按查询条件一次性获取大量数据，要把这些数据导出为Excel,当前超过8000左右就出现内存溢出，请问如何做到一次性导出5万条左右的数据。 java excel 大量，海量数据导出内存溢出 …… 我现在用POI的方式处理，在1W数量级上暂时是没有问题的。在大数量级的还没有试验过。 .xlsx结尾的。现在有一个想法，能不能读的时候分批读，每次读一部分，写的时候定位写呢？晚上回去试试。
	不错啊挺好的
	路过看大神解答
	引用 1 楼 uyerp 的回复: 如果是用poi或者jxl之类的，肯定会内存溢出。因为，它们都是一次在内存生成整个excel对象。 poi最新版本倒是支持excel2007写临时文件，但是2003不能用。有一种做法就是不以excel的形式导出，如：Excel另存为XML格式，以此XML为模板，将需要导出的内容拼接为XML字符串按顺序写到一个后缀为xls的文件中。也能用Excel打开的，但是这种情…… 我之前的做法是将数据一次性写成Excel的格式，用的是 WritableWorkbook 和 WritableSheet。你的意思是我指定一个本地路径，然后再将数据以xml的格式写到该路径下的以.xls结尾的文件中，是么？
40分	引用 11 楼 huo_er 的回复: 引用 1 楼 uyerp 的回复:如果是用poi或者jxl之类的，肯定会内存溢出。因为，它们都是一次在内存生成整个excel对象。 poi最新版本倒是支持excel2007写临时文件，但是2003不能用。有一种做法就是不以excel的形式导出，如：Excel另存为XML格式，以此XML为模板，将需要导出的内容拼接为XML字符串按顺序写到一个后缀为xls的文件中。…… 简而言之就是拼接符合Excel格式的XML字符串写到一个你想写到的地方，直接response中写到用户浏览器也可以啊。你随便找个简单的Excel另存为XML，就能理解我说的了。 POI或者JXL的话把服务器内存占满，导死服务器是肯定会发生的，跟数据条数还有字段个数都有关系。如果不对导出请求做并发限制，那结果会更严重。如果要跟踪内存占用情况的话用jprofile监控下内存，做下代码级优化，但是效果不会改善多少的。
	http://iceher0.iteye.com/blog/1418484 poi可以支持大数据导出，你认真看看吧。
	到处逗号分隔的CSV格式。
	引用 3 楼 huo_er 的回复: 引用 2 楼 flying_lanying 的回复:导出数据首先跟你的数据库有关系，一般数据库的游标没定义的话都是有一个上限的。而后，你的内存溢出应该是查询时将数据一条条插入的时候游标没有清空，然后越来越多，应该没查询一次就清空一次。statement=null，你可以看看你查询用的什么方式，内存溢出基本上数据库没问题就是程序上的游标没控制好了，希望能帮到你 …… 你干脆把你查询出数据开始插入那段代码贴出来吧，让我们大家看看有什么问题，没估计错的话应该是游标没清空
	大数据量导出Excel的方案 java 大excel文件(2) 大数据量导出Excel的方案 java 大excel文件
	楼主问题解决没 fieldsList = appReader.queryForList(“Contract.exportContractList”,inDto); parametersDto.put(“合同条数”, new Integer(fieldsList.size()));// 合计条数 ExcelExporter excelExporter = new ExcelExporter(); excelExporter.setTemplatePath(“/report/excel/app/contract.xls”); excelExporter.setData(parametersDto, fieldsList); excelExporter.setFilename(“合同项目表.xls”); excelExporter.export(request, response); 溢出了和你的情况一样吗求指教
	楼主在否，问题解决了么，我遇到同样的问题了。可否加好友QQ361666358 分享下成果

java excel 大量，海量数据导出内存溢出从数据库中按查询条件一次性获取大量数据，要把这些数据导出为Excel,当前超过8000左右就出现内存溢出，请问如何做到一次性导出5万条左右的数据。
	如果是用poi或者jxl之类的，肯定会内存溢出。因为，它们都是一次在内存生成整个excel对象。 poi最新版本倒是支持excel2007写临时文件，但是2003不能用。有一种做法就是不以excel的形式导出，如：Excel另存为XML格式，以此XML为模板，将需要导出的内容拼接为XML字符串按顺序写到一个后缀为xls的文件中。也能用Excel打开的，但是这种情况适用于导出的是数据列表，如果有公式、图表之类的就不适用了。这种方式导出几十W都没问题。
	导出数据首先跟你的数据库有关系，一般数据库的游标没定义的话都是有一个上限的。而后，你的内存溢出应该是查询时将数据一条条插入的时候游标没有清空，然后越来越多，应该没查询一次就清空一次。statement=null，你可以看看你查询用的什么方式，内存溢出基本上数据库没问题就是程序上的游标没控制好了，希望能帮到你
	引用 2 楼 flying_lanying 的回复: 导出数据首先跟你的数据库有关系，一般数据库的游标没定义的话都是有一个上限的。而后，你的内存溢出应该是查询时将数据一条条插入的时候游标没有清空，然后越来越多，应该没查询一次就清空一次。statement=null，你可以看看你查询用的什么方式，内存溢出基本上数据库没问题就是程序上的游标没控制好了，希望能帮到你谢谢！我的主要是导出时内存溢出，一条条数据不断写，最后内存溢出。不知道你说的数据问题是否与这个问题有关，可不再详细一些。
	引用 1 楼 uyerp 的回复: 如果是用poi或者jxl之类的，肯定会内存溢出。因为，它们都是一次在内存生成整个excel对象。 poi最新版本倒是支持excel2007写临时文件，但是2003不能用。有一种做法就是不以excel的形式导出，如：Excel另存为XML格式，以此XML为模板，将需要导出的内容拼接为XML字符串按顺序写到一个后缀为xls的文件中。也能用Excel打开的，但是这种情…… 谢谢你的回答！能再详细一点么？
	额，说得已经很详细了呀。说你有什么不清楚的吧？我可以针对你的问题说。
	你可以创建一个xls文件，另存为xml电子表格2003的格式，用编辑器看看xml的格式，然后用io直接按照那种方式写试试，应该就可以了。那种格式用excel是可以打开的。或者你导出csv格式嘛。要么扩大内存试试
	引用楼主 huo_er 的回复: 从数据库中按查询条件一次性获取大量数据，要把这些数据导出为Excel,当前超过8000左右就出现内存溢出，请问如何做到一次性导出5万条左右的数据。 java excel 大量，海量数据导出内存溢出 …… 我现在用POI的方式处理，在1W数量级上暂时是没有问题的。在大数量级的还没有试验过。 .xlsx结尾的。现在有一个想法，能不能读的时候分批读，每次读一部分，写的时候定位写呢？晚上回去试试。
	不错啊挺好的
	路过看大神解答
	引用 1 楼 uyerp 的回复: 如果是用poi或者jxl之类的，肯定会内存溢出。因为，它们都是一次在内存生成整个excel对象。 poi最新版本倒是支持excel2007写临时文件，但是2003不能用。有一种做法就是不以excel的形式导出，如：Excel另存为XML格式，以此XML为模板，将需要导出的内容拼接为XML字符串按顺序写到一个后缀为xls的文件中。也能用Excel打开的，但是这种情…… 我之前的做法是将数据一次性写成Excel的格式，用的是 WritableWorkbook 和 WritableSheet。你的意思是我指定一个本地路径，然后再将数据以xml的格式写到该路径下的以.xls结尾的文件中，是么？
40分	引用 11 楼 huo_er 的回复: 引用 1 楼 uyerp 的回复:如果是用poi或者jxl之类的，肯定会内存溢出。因为，它们都是一次在内存生成整个excel对象。 poi最新版本倒是支持excel2007写临时文件，但是2003不能用。有一种做法就是不以excel的形式导出，如：Excel另存为XML格式，以此XML为模板，将需要导出的内容拼接为XML字符串按顺序写到一个后缀为xls的文件中。…… 简而言之就是拼接符合Excel格式的XML字符串写到一个你想写到的地方，直接response中写到用户浏览器也可以啊。你随便找个简单的Excel另存为XML，就能理解我说的了。 POI或者JXL的话把服务器内存占满，导死服务器是肯定会发生的，跟数据条数还有字段个数都有关系。如果不对导出请求做并发限制，那结果会更严重。如果要跟踪内存占用情况的话用jprofile监控下内存，做下代码级优化，但是效果不会改善多少的。
	http://iceher0.iteye.com/blog/1418484 poi可以支持大数据导出，你认真看看吧。
	到处逗号分隔的CSV格式。
	引用 3 楼 huo_er 的回复: 引用 2 楼 flying_lanying 的回复:导出数据首先跟你的数据库有关系，一般数据库的游标没定义的话都是有一个上限的。而后，你的内存溢出应该是查询时将数据一条条插入的时候游标没有清空，然后越来越多，应该没查询一次就清空一次。statement=null，你可以看看你查询用的什么方式，内存溢出基本上数据库没问题就是程序上的游标没控制好了，希望能帮到你 …… 你干脆把你查询出数据开始插入那段代码贴出来吧，让我们大家看看有什么问题，没估计错的话应该是游标没清空
	大数据量导出Excel的方案 java 大excel文件(2) 大数据量导出Excel的方案 java 大excel文件
	楼主问题解决没 fieldsList = appReader.queryForList(“Contract.exportContractList”,inDto); parametersDto.put(“合同条数”, new Integer(fieldsList.size()));// 合计条数 ExcelExporter excelExporter = new ExcelExporter(); excelExporter.setTemplatePath(“/report/excel/app/contract.xls”); excelExporter.setData(parametersDto, fieldsList); excelExporter.setFilename(“合同项目表.xls”); excelExporter.export(request, response); 溢出了和你的情况一样吗求指教
	楼主在否，问题解决了么，我遇到同样的问题了。可否加好友QQ361666358 分享下成果

文章评论已关闭！