之前介绍了利用LOAD CSV语句导入导入Neo4J的方法，但是这种方法对于百万级的数据是无能为力的。我亲自实践了在python中利用py2neo和LOAD CSV语句导入百万级数据到Neo4J中，效率奇慢无比，大约估计了一下运行时间，构建全量的图数据库可能需要一个多月时间，这个时间是万万不能接受的。
聪明的我灵机一动，就想到了利用python中的_thread实现多线程导入。发现多线程导入的方式也行不通，因为Neo4J拥有锁的机制，同一时间不能多次写入，即使是多线程，也只有一个线程能正常运行，其余的线程会报错，无法成功导入。
其实目前主要有以下几种导入方式，如果进行十万级别以上的数据导入时，就已经要抛弃LOAD CSV方法了，今天我来讲一下Neo4j-import的导入实践。
几种Neo4J导入方式对比
这边重点来说一下官方最快的neo4j-import，使用的前提条件：
- graph.db需要清空(首次导入)或者新建一个数据库；
- neo4j需要停掉；
- 导入文件格式为CSV；
neo4j-import参数说明：
- –into：数据库名称
- –bad-tolerance：能容忍的错误数据条数（即超过指定条数程序直接挂掉），默认1000
- –multiline-fields：是否允许多行插入（即有些换行的数据也可读取）
- –nodes：插入节点
- –relationships：插入关系
属性
- 数据类型 int, long, float, double, boolean, byte, short, char,string，默认为string
- 并列值的默认分隔符为; --array-delimiter用这个声明其他的分隔符
- 使用:IGNORE忽略字段的数据
网上的相关教程有很多，方法各不相同（有的带表头有的不带，有的还把表头和数据分成两个文件存储），大坑也比较多，我也是结合了多个教程加上自己的理解才成功导入了数据。
我要一次性导入十个实体和十几种关系。我采用表头和数据在同一个文件中的形式，对于多个实体和多种关系，这种方式比较方便简介，文件看起来不会特别多特别乱。
首先对于实体csv文件，修改表头：
- :ID 有一个字段定义id，必须存在，而且唯一（后面加上实体名）
- :LABEL 定义标签，用;分割多标签
:ID(机构),:LABEL,companyname,companysname,companytypecode,companytypename,regaddress,officeaddress,orgform,founddate
10324824,机构,华夏银行股份有限公司武汉硚口支行,华夏银行武汉硚口支行,01,银行,,,,
10324851,机构,国家开发银行股份有限公司贵州省分行,国家开发银行贵州省分行,01,银行,,,,
10324871,机构,盛京银行股份有限公司北京官园支行,盛京银行北京官园支行,01,银行,,,,
10324880,机构,天津津南村镇银行股份有限公司,天津津南村镇银行,01,银行,津南区津沽大街景明花园三号楼底商2号,,,2010-12-10
:ID(人物),:LABEL,personname,othername,englishname,sex,birthdate,highestdegreecode,highestdegree
20000001,人物,钱明光,,,0,1947,340002,本科
20000002,人物,谭文鋕,,,0,194802,,
20000003,人物,黄蓉芳,,,1,194410,,
之后对于关系文件,修改表头：
- :START_ID 起点id （后面加上实体名）
- :END_ID 终点id （后面加上实体名）
- :TYPE 关系类型
:TYPE,:START_ID(机构),:END_ID(人物),relationstarttime,relationendtime
最终控制方,10007173,,2013-03-22 12:00:00,2012-12-31 12:00:00
最终控制方,10004301,,2013-03-26 12:00:00,2012-12-31 12:00:00
最终控制方,10004137,,2013-04-19 12:00:00,2012-12-31 12:00:00
最终控制方,10109782,,2014-02-26 12:00:00,2013-12-31 12:00:00
csv数据文件处理完之后，开始编写导入命令，运行neo4j****/bin目录下的neo4j-import。
- bad-tolerance建议设置的大一点，如果存在关系中的START_ID 或者END_ID找不到实体的对应ID就会被判定为错误的数据，如果错误数据数超过了bad-tolerance，导入将直接停止，所以我在这里设置为了10000000。
- 虽然有默认值，保险起见--id-type再指定一下为string
- 一个--nodes后面跟一个实体的csv文件
- 一个--relationships后面跟一个关系的csv文件
最终在Ubuntu18.04上导入命令为：
bin/neo4j-import --multiline-fields=true --bad-tolerance=10000000 --into /media/brx/2d79a6a5-f419-aa4c-b391-314a73033208/neo4j-community-3.3.6/data/databases/graph.db --id-type string --nodes 行业.csv --nodes 业务.csv --nodes 主营产品.csv --nodes 事件.csv --nodes 人物.csv --nodes 机构.csv --nodes 金 融产品.csv --nodes 地区.csv --relationships 主营产品-主营产品.csv --relationships 事件-业务.csv --relationships 事件-机构.csv --relationships 人物-人物.csv --relationships 机构-主营产品.csv --relationships 机构-人物.csv --relationships 机构-地区.csv --relationships 机构-机构.csv --relationships 机构-行业.csv --relationships 金融产品-机构.csv
如果服务器环境为CentOS，需要把所有的相对路径改为绝对路径，导入命令为：
bin/neo4j-import --multiline-fields=true --bad-tolerance=10000000 --into /data/program/neo4j-community-3.5.3/data/databases/yuqing.db --id-type string --nodes /data/program/neo4j-community-3.5.3/行业.csv --nodes /data/program/neo4j-community-3.5.3/业务.csv --nodes /data/program/neo4j-community-3.5.3/主营产品.csv --nodes /data/program/neo4j-community-3.5.3/事件.csv --nodes /data/program/neo4j-community-3.5.3/人物.csv --nodes /data/program/neo4j-community-3.5.3/机构.csv --nodes /data/program/neo4j-community-3.5.3/金融产品.csv --nodes /data/program/neo4j-community-3.5.3/地区.csv --relationships /data/program/neo4j-community-3.5.3/主营产品-主营产品.csv --relationships /data/program/neo4j-community-3.5.3/事件-业务.csv --relationships /data/program/neo4j-community-3.5.3/事件-机构.csv --relationships /data/program/neo4j-community-3.5.3/人物-人物.csv --relationships /data/program/neo4j-community-3.5.3/机构-主营产品.csv --relationships /data/program/neo4j-community-3.5.3/机构-人物.csv --relationships /data/program/neo4j-community-3.5.3/机构-地区.csv --relationships /data/program/neo4j-community-3.5.3/机构-机构.csv --relationships /data/program/neo4j-community-3.5.3/机构-行业.csv --relationships /data/program/neo4j-community-3.5.3/金融产品-机构.csv
如果没有报错的话，就是导入成功了，会提示你有多少个实体，多少个关系，导入失败的数据也会存储到一个文件大功告成，导入成功，bin/neo4j console应该就可以看到数据已经被成功导入啦
网友评论