码迷,mamicode.com
首页 > 其他好文 > 详细

es实战之数据导出成csv文件

时间:2018-04-05 15:50:35      阅读:1706      评论:0      收藏:0      [点我收藏+]

标签:ade   优点   art   iba   div   反向   china   url编码   生成文件   

从es将数据导出分两步:

  1. 查询大量数据
  2. 将数据生成文件并下载

本篇主要是将第二步,第一步在《es实战之查询大量数据》中已讲述。

csv vs excel

excel2003不能超过65536, excel2007及以上版本支持1048576条数据。excel支持的数据量有限,并且生生成文件的速度比较慢。

csv具有支持写入量大,文件较小的优点。

故选择csv作为导出文件类型。

导出文件的几种方式:

将数据从es中查询出来,在这个大前提下,对比导出文件的速度。

由前端处理

直接将数据返回给前端,由前端生成csv文件。

存在问题:

  • content download slow
    当数据量较大时,数据网络传输延迟较大。如果时间太长,且前后端分离,采用nginx做反向代理时,会出现ClientAbortException:java,需调整nginx参数。

字符流

使用StringReader

将数据从es中查询出来后,将数据拼接成String, 并交由StringReader处理。

此种方式拼接字符串的过程比较耗时。

字节流

采用super-csv : https://github.com/super-csv/super-csv.

super-csv可以高效生产csv文件。

处理过程:

从es中查询数据-->采用super-csv生产csv文件-->用字节流方式读取文件-->response.outputStream.write()

其他

如果是内部使用,可以使用kibana中的csv文件导出功能。

实践中遇到的问题及解决方法

  1. 表头乱码问题
    JAVA以UTF-8导出CSV文件,用excel打开产生乱码的解决方法
  2. 中文文件名乱码问题
    文件下载 response.setHeader()下载中文文件名乱码问题 解决办法
  3. 空格URL编码的正确使用姿势

es实战之数据导出成csv文件

标签:ade   优点   art   iba   div   反向   china   url编码   生成文件   

原文地址:https://www.cnblogs.com/small-k/p/8722798.html

(1)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!