1. 遇到的问题
在使用Neo4j时遇到一个问题，需要导入上百亿数据(同时导入节点和关系)，想找一个最合适的方案来导入数据。于是就想测测各种导入方式的效率以及成本。
2. 常见数据导入方式概览
(1) Cypher create 语句，为每一条数据写一个create
(2) Cypher load csv 语句，将数据转成CSV格式，通过LOAD CSV读取数据。
(3) 官方提供的neo4j-import工具，未来将被neo4j-adminimport代替
(4) 官方提供的Java API BatchInserter
(5) 大牛编写的 batch-import 工具
(6) neo4j-apocload.csv +apoc.load.relationship
(7) 针对实际业务场景，定制化开发
这些工具有什么不同呢？速度如何？适用的场景分别是什么？
注释：本次测试使用的id(不是Neo4j id)类型是String，为uuid，如果同一Label下数据不超过2^32，可以用int类型
3. 各种导入方法实际测试
3.1 create
未测试。
批量插入语句
./bin/neo4j-shell-c < /data/stale/data01/neo4j/neo4j_script.cypher
./bin/neo4j-shell -path ./data/dbms/ -conf ./conf/neoo4j.conf -file create_index.cypther
3.2 load csv
load csv 不能动态传Label、RelationShip，所以测试时Label、RelationShip是写死的
数据格式
uuid,name,Label
b6b0ea842890425588d4d3cfb38139a9,"文烁",Label1
5099c4f943d94fa1873165e3f6f3c2fb,"齐贺喜",Label3
c83ed0ae9fb34baa956a42ecf99c8f6e,"李雄",Label2
e62d1142937f4de994854fa1b3f0670a,"房玄龄",Label
3.2.1 导入10w节点
neo4j-sh (?)$ using periodic commit 10000 load csv with headers from "file:/data/stale/data01/neo4j/node_uuid_10w.csv" as line with line create (:Test {uuid:line.uuid, name:line.name});
+-------------------+
| No data returned. |
+-------------------+
Nodes created: 100000
Properties set: 200000
Labels added: 100000
3412 ms
10万数据(只有节点，没有关系)导入用时3.412s
3.2.2 导入1kw节点
neo4j-sh (?)$ load csv from "file:/data/stale/data01/neo4j/node_uuid_1kw.csv" as line return count(*);
+----------+
| count(*) |
+----------+
| 10000010 |
+----------+
1 row
7434 ms
neo4j-sh (?)$ using periodic commit 10000 load csv with headers from "file:/data/stale/data01/neo4j/node_uuid_1kw.csv" as line with line create (:Test {uuid:line.uuid, name:line.name});
+-------------------+
| No data returned. |
+-------------------+
Nodes created: 10000009
Properties set: 20000018
Labels added: 10000009
151498 ms
1千万数据(只有节点，没有关系)导入用时151.498s
3.2.3 导入100w关系
neo4j-sh (?)$ using periodic commit 100000 load csv with headers from "file:/data/stale/data01/neo4j/relathionship_uuid_100w.csv" as line with line merge (n1:Test {uuid:line.uuid1}) merge (n2:Test {uuid:line.uuid2}) with * create (n1)-[r:Relationship]->(n2);
+-------------------+
| No data returned. |
+-------------------+
Relationships created: 1000000
75737 ms
创建100w关系用时75.737s
因为我节点已经提前导入了，所以merge的时候节点全部存在，根据结果可以看到，只创建了100w关系，没有创建节点
但是这种方式有一个弊端，关系要写死，在只有一种关系时试用，在有多种关系时，不适用。还有一个不好的地方就是用的merge，uuid是String类型，会随着数据的正常速度变慢。
load csv 的速度我用的是导入节点时间+导入关系时间
导入100w 节点+数据 (Label写死，RelationShip写死，也就是只有一种Label和一种RelationShip) 共花费15.149 + 75.737 = 90.886 。load csv的速度大概在1.1w/s，但这种情况一般很少使用，仅供参考。
3.3 neo4j-import
3.3.1 数据格式
node.csv
uuid:ID(users),name:String,:Label
c63bc1e7dc594fd49fbe36dd664ff0a6,"
维特",Label1
b52fb5f2266b4edbadc82b5ec4c430b8,"廖二松",Label2
d95d430cfeee47dd95f9bf5e0ec1ae93,"徐青偏",Label3
b2d1fffc8173461fa603d4fbb601b3ee,"杨础维",Label2
relationship.csv
uuid:START_ID(users),uuid:END_ID(users),:TYPE
c63bc1e7dc594fd49fbe36dd664ff0a6,b2d1fffc8173461fa603d4fbb601b3ee,RelationShip1
d95d430cfeee47dd95f9bf5e0ec1ae93,c63bc1e7dc594fd49fbe36dd664ff0a6,RelationShip2
b2d1fffc8173461fa603d4fbb601b3ee,b52fb5f2266b4edbadc82b5ec4c430b8,RelationShip3
b52fb5f2266b4edbadc82b5ec4c430b8,d95d430cfeee47dd95f9bf5e0ec1ae93,RelationShip1
3.3.2 导入1000w数据
IMPORT DONE in 27s 932ms.
Imported:
10000000 nodes
10000000 relationships
20000000 properties
Peak memory usage: 209.81 MB
空库初始化导入1千万数据(1kw节点 1kw关系 2kw属性，id使用integer，属性中只有数字和英文)花费27s 932ms
3.3.3 导入1000w数据
IMPORT DONE in 1m 50s 9ms.
Imported:
10000000 nodes
10000000 relationships
20000000 properties
Peak memory usage: 209.81 MB
空库初始化导入1千万数据(1kw节点 1kw关系 2kw属性，包含中文属性)花费1min 50s 9ms
3.3.4 导入1.1y数据
IMPORT DONE in 15m 9s 37ms.
Imported:
110000010 nodes
110000000 relationships
220000020 properties
Peak memory usage: 2.27 GB
There were bad entries which were skipped and logged into /data/stale/data01/neo4j/neo4j-community-3.1.0/data/databases/test_uuid_1y_graph.db/bad.log
空库初始化导入1.1亿数据(1.1亿节点 1.1关系 2.2亿属性)花费15min 9s 37ms
3.4 BatchInster
batch-import调的BatchInserter的代码，所以BatchInserter没测，可以认为BatchInster和batch-import速度一样
3.5 batch-import
数据格式
node.csv
uuid:string:users,name:String,:label
c63bc1e7dc594fd49fbe36dd664ff0a6,"
维特",Label1
b52fb5f2266b4edbadc82b5ec4c430b8,"廖二松",Label2
d95d430cfeee47dd95f9bf5e0ec1ae93,"徐青偏",Label3
b2d1fffc8173461fa603d4fbb601b3ee,"杨础维",Label2
relationship.csv
uuid:string:users,uuid:string:users,type
c63bc1e7dc594fd49fbe36dd664ff0a6,b2d1fffc8173461fa603d4fbb601b3ee,RelationShip1
d95d430cfeee47dd95f9bf5e0ec1ae93,c63bc1e7dc594fd49fbe36dd664ff0a6,RelationShip2
b2d1fffc8173461fa603d4fbb601b3ee,b52fb5f2266b4edbadc82b5ec4c430b8,RelationShip3
b52fb5f2266b4edbadc82b5ec4c430b8,d95d430cfeee47dd95f9bf5e0ec1ae93,RelationShip1
Using: Importer batch.properties /data/stale/data01/neo4j/neo4j-community-3.1.0/data/databases/test_uuid_1000w_graph.db /data/stale/data01/neo4j/node_uuid_100w.csv /data/stale/data01/neo4j/relationship_uuid_100w.csv
Using Existing Configuration File
..........
Importing 1000000 Nodes took 15 seconds
..........
Importing 1000000 Relationships took 16 seconds
Total import time: 92 seconds
在数据库中已有1kw数据的情况下，导入100w数据(100w节点 100w关系 200w属性，包含中文属性)花费92s
3.6 apoc
load csv + merge + apoc.create.relationship
neo4j-sh (?)$ using periodic commit 1000000
> load csv from 'file:/data/stale/data01/neo4j/relathionship_uuid_1kw.csv' as line fieldterminator ','
> merge (n1:Test {uuid: line[0]})
> merge (n2:Test {uuid: line[1]})
> with n1, n2, line
> CALL apoc.create.relationship(n1, line[2], {}, n2) YIELD rel
> return count(rel) ;
+------------+
| count(rel) |
+------------+
| 10000010 |
+------------+
1 row
Nodes created: 8645143
Properties set: 8645143
Labels added: 8645143
2395852 ms
在1.1亿数据上增量更新1kw数据花费2395.852s
VIRT Memory 90G RES Memory 78G
因为这部分也用到merge了，数据量越大，速度越慢
4. 结论
根据实际情况选用最好的方式
(1) neo4j-import导入速度快，但是要求是空库，导入时要停止neo4j，也就是脱机导入，而且你要提前处理好数据，数据最好不要有重复，如果有重复，可以导入时跳过，然后根据bad.log来查看或者修正这部分数据
(2) batch-import可以增量导入，但是要求导入时停止neo4j数据库(脱机导入)，而且增量更新的数据不会和库里存在的数据对比，所以要求数据全是新的，否则会出现重复数据
(3) load csv比较通用，而且可以在neo4j数据库运行时导入，但是导入速度相对较慢，要提前整理好数据，而且不能动态创建 Label RelationShip
(4) apoc挺好用的，可以动态创建Label、RelationShip，但是速度一般.
转载文献：https://mp.weixin.qq.com/s/ZYqDSx333nTCYBpHydfYMg
