Excel操作工具(Easyexcel vs EEC)对比(一)

点击这里查看原文

本系列主要介绍Easyexcel和EEC的功能并从便利性、性能、内存等多方面全面的进行评测。

1. 开始

关于Easyexcel

easyexcel是alibaba开发的快速、简单、且避免OOM的java处理Excel工具，于2018.2在github上开源。它是在Apache POI基础上包装而来，主要解决Apache POI高内存且API臃肿的诟病，easyexcel提供了比原生的POI简结很多的接口，读写Excel文件均可以一行代码完成，目前(2020.4)github上有14.2k个Star和3.7K个Fork。

引用作者总结核心原理：

  1. 文件解压、读取通过文件形式
  2. 避免将全部数据一次加载到内存(采用sax模式一行一行解析并使用观察者的模式通知处理)
  3. 抛弃不重要的数据(忽略样式，字体，宽度等数据)

点击这里查看作者原文

关于EEC

EEC是国内一个个人开发者开发并于2017.10月在github开源，EEC的底层并没有使用Apache POI包，所有的底层读写代码均由作者实现，事实上EEC仅依懒dom4j和slf4j，前者用于小文件xml读取，后者统一日志接口。

核心原理：

  1. 不缓存数据或少量缓存
  2. 使用分片来处理较大的数据
  3. 单元格样式仅使用一个int值来保存，极大缩小内存使用
  4. 使用迭代模式读取行内容，不会将整个文件读入到内存

简单总结两个工具的不同：

  • 底层不同，easyexcel底层使用Apache POI，EEC使用IO/NIO
  • easyexcel最低支持JDK7，EEC最低支持JDK8
  • easyexcel简化了接口使得像设置样式这种基本功能非常困难，EEC默认带有便于阅读的样式也提供方法设置其它样式
  • easyexcel读取文件时忽略样式和字体也没有办法直接获取单元格的公式。
  • easyexcel对常用类型缺少支持（char, Timestamp, Time, LocalDate, LocalDateTime, LocalTime)，如果实体类中有这些类型就必须为这些类型编写自定义Converter

相比之下EEC更接近于Apache POI，而easyexcel更关注单元格的值而忽略其它不太关心的数据。

2. 写文件

2.1 少量数据

对于少量数据可以直接将内容放到数组/集合中一次写入，两个工具都能做到一行代码完成数据写入。下面展示两者的实现方式，代码中出现的defaultTestPath是文件路径事先已创建好。

easyexcel可以将文件直接写入OutputStream或磁盘

public void test5(List<Item> data) {
    EasyExcel.write(defaultTestPath.resolve("test5.xlsx").toString(), LargeData.class).sheet().doWrite(data);
}
test5.xlsx

EEC同样可以写入OutputStream或磁盘，使用writeTo方法指定输出位置

public void test6(List<Item> data) throws IOException {
    new Workbook("test6").addSheet(new ListSheet<>(data)).writeTo(defaultTestPath);
}
test6.xlsx

2.2 写多个worksheet页

两个工具都提供便利的方法实现多worksheet页写入，基本可以使用一行代码搞定。

easyexcel通过创建多个WriteSheet来实现

public void test7() {
    EasyExcel.write(defaultTestPath.resolve("test7.xlsx").toString()).build()
        .write(checks(), EasyExcel.writerSheet("帐单表").build())
        .write(customers(), EasyExcel.writerSheet("客户表").build())
        .write(c2CS(), EasyExcel.writerSheet("用户客户关系表").build())
        .finish();
}
test7.xlsx

EEC通过addSheet方法添加多个worksheet，看上去更直观更容易理解。

public void test8() throws IOException {
    new Workbook("test8")
        .addSheet(new ListSheet<>("帐单表", checks()))
        .addSheet(new ListSheet<>("客户表", customers()))
        .addSheet(new ListSheet<>("用户客户关系表", c2CS()))
        .writeTo(defaultTestPath);
}
test8.xlsx

2.3 大数据量

数据量较大时我们无法将数据全部装载到内存，此时需要分批写文件，好在easyexcel和EEC均支持分片处理做到边读数据边写文件。

easyexcel写大文件需要指定一个模板文件，然后调用fill方法循环写数据，需要注意如果数据量超出excel单页上限会抛异常

public void test1() {
    ExcelWriter excelWriter = EasyExcel.write(defaultTestPath.resolve("Large easyexcel.xlsx").toFile())
        .withTemplate(defaultTestPath.resolve("temp.xlsx").toFile()).build();
    WriteSheet writeSheet = EasyExcel.writerSheet().build();
    for (int j = 0; j < 100; j++) {
        excelWriter.fill(data(), writeSheet);
    }
    excelWriter.finish();
}

EEC分片写大文件时需要继承ListSheet<T>或ListMapSheet然后重写more方法并返回批量数据

public void test2() {
    new Workbook("Large EEC").addSheet(new ListSheet<LargeData>() {
        int n = 0;
        @Override
        public List<LargeData> more() {
            return n++ < 100 ? data() : null;
        }
    }).writeTo(defaultTestPath);
}

这里的data()方法模拟取数据过程，返回List<LargeData>类型。类似如下代码

private List<LargeData> data() {
    List<LargeData> list = new ArrayList<>();
    for (int i = 0; i < 1000; i++) {
        LargeData largeData = new LargeData();
        list.add(largeData);
        largeData.setStr1("str1-" + i);
        largeData.setStr2("str2-" + i);
        largeData.setStr3("str3-" + i);
        largeData.setStr4("str4-" + i);
        largeData.setStr5("str5-" + i);
    }
    return list
}

以上是两个工具类处理大文件的不同方式，easyexcel采用push方式主动向ExcelWriter推送数据，EEC采用pull方式由工具决定何时拉取下一块数据，返回空数组或null时表明没有更多数据，所以这里要注意控制分页参数防止出现死循环。

对于数据量巨大且使用关系型数据库的场景，EEC提供另一种方案，用户可以使用StatementSheet和ResultSetSheet两种方式，它们的工作方式是将SQL和参数交给EEC，EEC内部去查询并使用游标做到取一个值写一个值，省掉了将表数据转为Java实体的过程。

3. 读文件

easyexcel在读文件时使用ReadListener来监听每行数据，这样可以做到边解析文件边做业务逻辑（插库或其它），不用把文件解析完成后再做业务逻辑，以下是解析图示：

easyexcel解析图示

EEC采用迭代模式，同样做到边解析文件边做业务逻辑，解决POI的高内存问题。


eec解析图示

从两者图示大致可以看出两者的设计与写文件时正好相反。easyexcel通过监听主动把行数据推给用户，EEC这边需要用户主动拉数据，只有当用户真正需要某行数据时才去解析它们来实现延迟读取。

3.1 easyexcel读文件

public void test3() {
    EasyExcel.read(defaultTestPath.resolve("Large easyexcel.xlsx").toFile(), LargeData.class,
    new AnalysisEventListener<LargeData>() {

        @Override
        public void invoke(LargeData data, AnalysisContext context) {
            // 业务处理
        }

        @Override
        public void doAfterAllAnalysed(AnalysisContext context) { }
    }).headRowNumber(1).sheet().doRead();
}

你需要实现一个ReaderListener来处理行数据。

3.2 EEC读文件

try (ExcelReader reader = ExcelReader.read(defaultTestPath.resolve("Large easyexcel.xlsx"))) {
    reader.sheet("帐单表") // 解析指定worksheet
        .flatMap(Sheet::dataRows) // 只取数据行，跳过表头
        .map(row -> row.to(LargeData.class)) // 转为实体对象
        .forEach(o -> {
            // 业务处理
        });
} catch (IOException e) {
    e.printStackTrace();
}

EEC引入java8的stream+lambda功能，你可以像操作集合类一样来操作Excel，而不用担心OOM发生。

3.3 读取多个worksheet页

两个工具都提供方便的多worksheet读取，可以看示例

easyexcel示例

public void test9() {
    ExcelReader excelReader = EasyExcel.read(defaultTestPath.resolve("test7.xlsx").toFile(), simpleListener).headRowNumber(0).build();
    List<ReadSheet> sheets = excelReader.excelExecutor().sheetList();
    sheets.forEach(sheet -> {
        System.out.println("----------" + sheet.getSheetName() + "-----------");
        excelReader.read(sheet);
    });
}

// 输出内容
----------帐单表-----------
{0=1.0, 1=100.8}
{0=2.0, 1=34.2}
{0=3.0, 1=983.0}
----------客户表-----------
{0=1001.0, 1=张三}
{0=1002.0, 1=李四}
----------用户客户关系表-----------
{0=1.0, 1=1001.0}
{0=2.0, 1=1002.0}
{0=3.0, 1=1002.0}

EEC示例

public void test10() {
    try (ExcelReader reader = ExcelReader.read(defaultTestPath.resolve("test8.xlsx"))) {
        reader.sheets()
            .peek(sheet -> System.out.println("----------" + sheet.getName() + "-----------"))
            .flatMap(Sheet::rows)
            .forEach(System.out::println);
    } catch (IOException e) {
        e.printStackTrace();
    }
}

// 输出内容
----------帐单表-----------
id | total
1 | 100.8
2 | 34.2
3 | 983
----------客户表-----------
id | name
1001 | 张三
1002 | 李四
----------用户客户关系表-----------
ch_id | cu_id
1 | 1001
2 | 1002
3 | 1002

操作都还算方便，相较easyexcel来说EEC要更简单一点，如果不输出worksheet名那么一行命令就可以完成输出reader.sheets().flatMap(Sheet::rows).forEach(System.out::println);

4. EEC更多使用方式

由于EEC采用迭代模式因此可以使用JDK8的Stream全部功能，下面展示一些常用功能。

4.1 将内容转为集合

数据量小的时候可以将数据全部放入内存像下面这样

try (ExcelReader reader = ExcelReader.read(defaultTestPath.resolve("Large easyexcel.xlsx"))) {
    List<LargeData> list = reader.sheets().flatMap(Sheet::dataRows)
        .map(row -> row.to(LargeData.class)).collect(Collectors.toList());
    
    // 保存到数据库
    save(list);
} catch (IOException e) {
    e.printStackTrace();
}

当然我们谁也无法预料文件中有多少数据量，直接转为集合可能产生OOM，此时你可以通过sheet#getDimension方法先获取Worksheet的维度再按实际情况来选择执行方式，就像下面这样：

public void test11() {
    try (ExcelReader reader = ExcelReader.read(defaultTestPath.resolve("test8.xlsx"))) {
        Sheet firstSheet = reader.sheet(0);

        Dimension dimension = firstSheet.getDimension();
        // lastRow - firstRow = 数据行的行数，不包含header
        if (dimension.lastRow - dimension.firstRow > 1000) {
            // 如果数据量超过1千则选择流式处理，forEach里也可以收集一定量的实体再批量处理
            firstSheet.dataRows().map(row -> row.too(Check.class)).forEach(check -> {
                // TODO 业务处理
            });
        } else {
            // 数据量小于1千则直接转为集合处理
            List<Check> checks = firstSheet.dataRows().map(row -> row.to(Check.class)).collect(Collectors.toList());
            // TODO 业务处理
        }
    } catch (IOException e) {
        e.printStackTrace();
    }
}

4.2 取单列数据

EEC提供与JDBC类似的接口，用户可以使用row.getX(columnNumber)获取指定位置的值，对于读非规则表格或非表格时这是非常有效的。

示例：获取"二年级学生.xlsx"中所有学生的姓名并去重

try (ExcelReader reader = ExcelReader.read(defaultTestPath.resolve("二年级学生.xlsx"))) {
    List<String> names = reader.sheet(0) // 只取第一个worksheet页
        .dataRows()
        .map(row -> row.getString("姓名")) // 只取姓名列
        .distinct() // 去重
        .collect(Collectors.toList());
    // 业务处理

} catch (IOException e) {
    e.printStackTrace();
}

4.3 过滤某些行

我相信很多时候都会遇到这样的需求，我们仅需要处理满足某些要求的数据而过滤掉检查失败的数据，这时候filter就派上用场了

比如我们需要打印帐单页金额大于100的记录

public void test9() {
    try (ExcelReader reader = ExcelReader.read(defaultTestPath.resolve("test8.xlsx"))) {
        reader.sheet("帐单表")
            .dataRows()
            .filter(row -> row.getDouble("total") > 100.0)
            .forEach(System.out::println);
    } catch (IOException e) {
        e.printStackTrace();
    }
}

// 输出结果
1 | 100.8
3 | 983.0

4.4 其它一些亮眼功能

EEC还有一些比较亮眼的功能如高亮，水印等一些实用的功能，下面代码展示如何将低于60分的学生标红且将分数显示为不及格

public void testStyleConversion() throws IOException {
    new Workbook("testStyleConversion") // 文件名
        .setCreator("奈留·智库") // 作者
        .setCompany("Copyright (c) 2020") // 公司名
        .setWaterMark(WaterMark.of("Secret")) // 水印
        .setAutoSize(true) // 自动计算列宽
        .addSheet(new ListSheet<>("期末成绩", Student.randomTestData(20)
            , new org.ttzero.excel.entity.Sheet.Column("学号", "id", int.class)
            , new org.ttzero.excel.entity.Sheet.Column("姓名", "name", String.class)
            , new org.ttzero.excel.entity.Sheet.Column("成绩", "score", int.class)
                // 低于60分显示`不及格`
                .setProcessor(n -> n < 60 ? "不及格" : n)
                // 低于60分单元格标红
                .setStyleProcessor((o, style, sst) -> {
                    if ((int)o < 60) {
                        style = Styles.clearFill(style) | sst.addFill(new Fill(Color.red));
                    }
                    return style;
                })
            )
        )
        .writeTo(defaultTestPath);
}

最终生成文件如下


5. 后记

读excel时不要试图将数据转为Map类型，因为每个Map都需要保存表头和单元格值，这将极大的消耗内存。

简单总结: easyexcel和EEC两个工具都极大的简化了java操作excel，从原本Apache POI繁锁的API和高内存中解脱出来。其中easyexcel支持更低的JDK版本，而EEC使用了更灵活的设计模式，同时所有的底层代码均是独立实现，意味着它的依懒非常小。但是EEC现阶段鲜有人使用有很多BUG也就无从发现，稳定性还有待考验。

下一篇将对比两者在各数据量下的读写性能

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 206,482评论 6赞 481
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 88,377评论 2赞 382
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 152,762评论 0赞 342
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 55,273评论 1赞 279
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 64,289评论 5赞 373
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,046评论 1赞 285
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 38,351评论 3赞 400
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,988评论 0赞 259
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 43,476评论 1赞 300
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,948评论 2赞 324
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,064评论 1赞 333
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,712评论 4赞 323
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,261评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,264评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,486评论 1赞 262
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 45,511评论 2赞 354
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,802评论 2赞 345