验证：如何快速插入100w数据

插入100W条数据

100W

准备数据

    private static int getBetweenRandom(int countA, int countB) {
        return getRandom(countB - countA) + countA;
    }

    private static int getRandom(int count) {
        return (int) Math.round(Math.random() * (count));
    }

    private static String string = "爱慕与爱不同，爱慕因为有了仰慕的存在，转而显得更为纯粹，内省，也更为无私。这从郭襄真心为杨过夫妇团聚而祈福这件事中就能看得出来。在郭襄与杨过的关系中，郭襄一直处于主动的位置，主动奉献出爱，主动地为了杨过辗转反侧，从偶遇杨过后回到襄阳的一切表现中，我们可以看到郭襄是动了真感情的，她收藏神雕大侠的玩偶，为杨过祈福，因杨过为她做的一切欢欣鼓舞。那三件生日贺礼，表面上是为了贺寿，实际上却在借花献佛帮的是郭靖的忙。不能说杨过一点不爱郭襄，只能说是消受不起。一方面心中有人，另一方面，越是成熟的男人他的内心其实越是懦弱，在感情上尤是，他已经不可能全盘付出了，他没有那么多可以付出。郭襄却实实在在是无私的，甚至可说在她对杨过的感情上“慕”更大于“爱”，因为如果“爱”还有自私的一面的话，那么“慕”则完全是奉献的，直到掏空自己为止。这样飞蛾扑火式的情感，也只有处于花季时期的少女才会拥有，如此单纯，如此动人。";

    private static String getRandomString(int length) {
        StringBuffer sb = new StringBuffer();
        int len = string.length();
        for (int i = 0; i < length; i++) {
            sb.append(string.charAt(getRandom(len - 1)));
        }
        return sb.toString();
    }

最原始的方法，逐条插入

public class Chapter {
    private static int total = 1000000;

    public static void main(String[] args) {
        Date startTime = new Date();
        insertOneByOne();
        Date endTime = new Date();
        // 耗时
        System.out.println("cast : " + (endTime.getTime() - startTime.getTime()) / 1000 + " s");
    }
    
    public static void mainOne(int oneTotal) {
        String sql = "INSERT INTO self_ddyoung.test_100w (name, age, addr, remark) VALUES (?,?,?,?)";
        DBHelper dbHelper = new DBHelper(sql);
        try {
            String prefix = "INSERT INTO self_ddyoung.test_100w (name, age, addr, remark) VALUES ";
            StringBuffer suffix = new StringBuffer();
            for (int j = 1; j <= oneTotal; j++) {
                String name = getRandomString(getBetweenRandom(3, 10));
                byte age = (byte) getBetweenRandom(1, 99);
                String address = getRandomString(getBetweenRandom(10, 30));
                String remark = getRandomString(getBetweenRandom(20, 40));
                suffix.append("('").append(name).append("',").append(age).append(", '").append(address).append("','").append(remark).append("'),");
                if (j % 60000 == 0) {
                    String insertSql = prefix + suffix.substring(0, suffix.length() - 1);
                    dbHelper.pst.addBatch(insertSql);
                    dbHelper.pst.executeBatch();
                    dbHelper.pst.clearBatch();
                    dbHelper.conn.commit();
                    prefix = "INSERT INTO self_ddyoung.test_100w (name, age, addr, remark) VALUES ";
                    suffix = new StringBuffer();
                }
            }
            if (oneTotal%6000!=0){
                String insertSql = prefix + suffix.substring(0, suffix.length() - 1);
                dbHelper.pst.addBatch(insertSql);
                dbHelper.pst.executeBatch();
                dbHelper.pst.clearBatch();
                dbHelper.conn.commit();
                dbHelper.pst.executeBatch();
                dbHelper.conn.commit();
            }
        } catch (SQLException e) {
            e.printStackTrace();
        } finally {
            try {
                dbHelper.conn.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }
        }
    }
}

呵呵哒，这种办法大概只有我会想到了，耗时

cast : 283 s

单条sql插入，分批次提交

public class Chapter {


    private static int total = 1000000;

    public static void main(String[] args) {
        Date startTime = new Date();
        insertOneCommitBatch();
        Date endTime = new Date();
        // 耗时
        System.out.println("cast : " + (endTime.getTime() - startTime.getTime()) / 1000 + " s");
    }
    
    
    public static void insertOneCommitBatch() {
        String sql = "INSERT INTO self_ddyoung.test_100w (name, age, addr, remark) VALUES (?,?,?,?)";
        DBHelper dbHelper = new DBHelper(sql);
        try {
            for (int i = 1; i <= total; i++) {
                String name = getRandomString(getBetweenRandom(3, 10));
                byte age = (byte) getBetweenRandom(1, 99);
                String address = getRandomString(getBetweenRandom(10, 30));
                String remark = getRandomString(getBetweenRandom(20, 40));
                dbHelper.pst.setString(1, name);
                dbHelper.pst.setByte(2, age);
                dbHelper.pst.setString(3, address);
                dbHelper.pst.setString(4, remark);
                dbHelper.pst.addBatch();
                if (i % 60000 == 0) {
                    dbHelper.pst.executeBatch();
                    dbHelper.pst.clearBatch();
                    dbHelper.conn.commit();
                }
            }
            if (total%6000!=0){
                dbHelper.pst.executeBatch();
                dbHelper.pst.clearBatch();
                dbHelper.conn.commit();
            }
        } catch (SQLException e) {
            e.printStackTrace();
        } finally {
            try {
                dbHelper.conn.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }
        }
    }
}

最开始，尝试的是，10000条sql的时候，提交一次

耗时，cast : 115 s，居然比单挑提交还慢。

于是尝试5000提交一次，

耗时，cast : 114 s

真的好慢，难道多次提交真的这么慢吗？

改成6000

cast : 108 s

可能就是慢吧。

尝试下单条sql插入多条数据，然后提交

public class Chapter {

    private static int total = 1000000;

    public static void main(String[] args) {
        Date startTime = new Date();
        mainOne(total);
        Date endTime = new Date();
        // 耗时
        System.out.println("cast : " + (endTime.getTime() - startTime.getTime()) / 1000 + " s");
    }
    
    public static void mainOne(int oneTotal) {
        String sql = "INSERT INTO self_ddyoung.test_100w (name, age, addr, remark) VALUES (?,?,?,?)";
        DBHelper dbHelper = new DBHelper(sql);
        try {
            String prefix = "INSERT INTO self_ddyoung.test_100w (name, age, addr, remark) VALUES ";
            StringBuffer suffix = new StringBuffer();
            for (int j = 1; j <= oneTotal; j++) {
                String name = getRandomString(getBetweenRandom(3, 10));
                byte age = (byte) getBetweenRandom(1, 99);
                String address = getRandomString(getBetweenRandom(10, 30));
                String remark = getRandomString(getBetweenRandom(20, 40));
                suffix.append("('").append(name).append("',").append(age).append(", '").append(address).append("','").append(remark).append("'),");
                if (j % 60000 == 0) {
                    String insertSql = prefix + suffix.substring(0, suffix.length() - 1);
                    dbHelper.pst.addBatch(insertSql);
                    dbHelper.pst.executeBatch();
                    dbHelper.pst.clearBatch();
                    dbHelper.conn.commit();
                    prefix = "INSERT INTO self_ddyoung.test_100w (name, age, addr, remark) VALUES ";
                    suffix = new StringBuffer();
                }
            }
            if (oneTotal%6000!=0){
                String insertSql = prefix + suffix.substring(0, suffix.length() - 1);
                dbHelper.pst.addBatch(insertSql);
                dbHelper.pst.executeBatch();
                dbHelper.pst.clearBatch();
                dbHelper.conn.commit();
                dbHelper.pst.executeBatch();
                dbHelper.conn.commit();
            }
        } catch (SQLException e) {
            e.printStackTrace();
        } finally {
            try {
                dbHelper.conn.close();
            } catch (SQLException e) {
                e.printStackTrace();
            }
        }
    }
}

6000，惊喜的是，看到了突破性的进展

cast : 12 s

改成10000，5000， 8000等，都是在11、12、13之间

可是我之前明明是试出6000为最佳的。。。囧

接下来，尝试多线程

public class Chapter {


    private static int total = 1000000;

    public static void main(String[] args) {
        Date startTime = new Date();
        mainTread2(startTime, 10);
        Date endTime = new Date();
        // 耗时
        System.out.println("cast : " + (endTime.getTime() - startTime.getTime()) / 1000 + " s");
    }

    public static void mainTread2(final Date startTime, final int countTread) {
        for (int i = 1; i <= countTread; i++) {
            final int finalI = i;
            new Thread(new Runnable() {
                @Override
                public void run() {
                    if (finalI == countTread){
                        mainOne(total - total/countTread * (finalI-1));
                    }else {
                        mainOne(total/countTread);
                    }
                    Date endTime = new Date();
                    // 耗时
                    System.out.println("cast : " + (endTime.getTime() - startTime.getTime()) / 1000 + " s");
                }
            }).start();
        }
    }
}

10个线程，最终耗时，

cast : 7 s

20个线程，最终耗时，

cast : 9 s

综上，多线程最快。批量插入效率提升较快。

以上。

最后编辑于：2017.12.06 05:22:26

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 206,602评论 6赞 481
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 88,442评论 2赞 382
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 152,878评论 0赞 344
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 55,306评论 1赞 279
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 64,330评论 5赞 373
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 49,071评论 1赞 285
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,382评论 3赞 400
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,006评论 0赞 259
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 43,512评论 1赞 300
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,965评论 2赞 325
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,094评论 1赞 333
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,732评论 4赞 323
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,283评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,286评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,512评论 1赞 262
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 45,536评论 2赞 354
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,828评论 2赞 345