导出超大的数据,是首先用什么方式?

比如我的 .json文件,有接近 1KM这么大,我直接用流读的过程,直接输出excel,都是
System.OutOfMemoryException
异常,我google一下,发现有个老外说导出超大数据要用数据库?难道我要解析json,插入数据库,然后导出excel?各位有什么高见,以前都没机会接触大数据.
谢了.

—- 2分

1G的东西….用excel打开不卡死了?

—- 4分

Excel恐怕Hold不住这么大的数据量吧，即使不出现OutOfMemoryException，行数也肯定超出了Excel工作表行数的限制，XLSX格式的工作表最大行数为1048576。建议改用Access或CSV文件，当然还是得看你后期打算怎么使用这些数据来确定。

—- 2分

1G东西就算xls能装下.. 就算不报错.. 存起来又有什么意义呢?

你能打开看里面的数据?

有的时候不是我们程序员不想实现功能.是根本没必要.客户是SB 你也跟着SB?

前端时间有一个人跟你一样居然要把10E条的数据导入到xls…..

—- 2分

1G数据导出表格···分批导出呗···
一次性导出10M或者多少的····
这样的倒出来就是多个excel文件咯····
但是导出一个，不管怎么搞出来，都没有意义，就算导出成功，你也打不开这个文件···

—- 3分

你确定你导出EXCEL后你能打开？导入数据库，再筛选出要的那部分数据导出呗。

—- 2分

首先就要考虑不要导出这么大的数据,根本没有任何意义

—- 2分

还有你的.json文件里到底存了什么玩意,难道把多个工程都打包放进去了??
如果是数据,你应该一开始就用数据库,而不是自己弄个文件不断的写入.

—-

引用 3 楼 diaodiaop 的回复:

1G东西就算xls能装下.. 就算不报错.. 存起来又有什么意义呢?

你能打开看里面的数据?

有的时候不是我们程序员不想实现功能.是根本没必要.客户是SB 你也跟着SB?

前端时间有一个人跟你一样居然要把10E条的数据导入到xls…..

赞一个, 最近才好好接触Excel,真发现数据量太大了,Office2003就只能放6万多的数据,Office2007就一百多万,但是他的数据却接近110万,比Office2007容量还多一点,所以我想要不要帮他再加一个sheet.貌似容量是针对sheet,是么.不过哥们说的针对.
Excel真不能搞数据量太大的东西.干脆只有用access不就得了….呵呵.

—-

引用 4 楼 yuekunge 的回复: