1. 数据导入导出
1.1 导入
1.1.1 CREATE 语句
为每一条数据写一个CREATE:
CREATE (:label {property1:value, property2:value, property3:value} )
1.1.2 LOAD CVS 语句
将数据转化为CSV格式，通过 LOAD CSV读取数据；
using periodic commit 1000
load csv from "file:///fscapture_screencapture_syscall.csv" as line
create (:label {a:line[1],b:line[2],c:line[3],d:line[4],e:line[5]})
这里使用了语句USING PERIODIC COMMIT 1000，使得每1000行作为一次Transaction提交
1.1.3 neo4j-import工具
官方提供的工具
/bin/neo4j-import --into ./data/databases/test.db --nodes ../neo4j-import/EndVertexData.csv --nodes ../neo4j-import/VertexData.csv --relationships ../neo4j-import/EdgeData.csv
1.1.4 对比
| item | CREATE语句 | LOAD CSV语句 | Neo4j-import |
|---|---|---|---|
| 适用场景 | 1 ~ 1w nodes | 1w ~ 10 w nodes | 千万以上 nodes |
| 速度 | 很慢 (1000 nodes/s) | 一般 (5000 nodes/s) | 非常快 (数万 nodes/s) |
| 优点 | 使用方便，可实时插入。 | 使用方便，可以加载本地/远程CSV；可实时插入。 | 官方出品，占用更少的资源 |
| 缺点 | 速度慢 | 需要将数据转换成CSV | 需要转成CSV；必须停止neo4j；只能生成新的数据库，而不能在已存在的数据库中插入数据。 |
1.1.5 结论
- 如果项目刚开始，想要将大量数据导入数据库，Neo4j-import是最好的选择。
- 如果数据库已经投入使用，且不能容忍Neo4j的临时关闭，那么LOAD CSV是最好的选择。
- 最后，如果只是想插入少量的数据，且不怎么在乎实时性，那么请直接看Cypher语言。
1.2 导出
1.2.1 参考文档
1.2.2 语法
curl -H accept:application/json -H content-type:application/json \
-H Authorization:bmVvNGo6cGFzc3dvcmQ= \
-d '{"statements":[{"statement":"Match (n)-[r]->(m) return distinct id(r) as id, n.id as START_ID, m.id as END_ID, r.createTime as createTime, r.updateTime as updateTime, r.namespace as namespace, r.time as time"}]}' \
http://192.168.6.89:7474/db/data/transaction/commit | \
jq -r '(.results[0]) | .columns,.data[].row | @csv' >> all_relationships.csv
neo4j监控
windows企业版，使用windows power shell ,进入neo4j 文件目录，执行.\neo4j.bat status|start|stop 命令启用停止查看neo4j服务
call dbms.listQueries()
企业版效果,而且命令会有自动补全：
listQueries
企业版导入数据非常的快
导入1
导入2
社区版效果：
社区版导入
call dbms.killQuery("query-id")
dbms.transaction.timeout=10s
-
此时设置的事务超时时间为3s
3s事务
-
此时设置的为5s
5s事务
- 此时设置的为15s
15s事务
General-purpose metrics
Database Checkpointing Metrics
- [x] 目前为止总共执行的检查点事件
- [x] 目前为止检查点所花费的时间
- [x] 检查点期间
Database Data Metrics
- [x] 数据库中关系类型数
- [x] 数据库中属性名数
- [x] 数据库中关系条数
- [x] 数据库中节点个数
Database PageCache Metrics
- [x] 使用页面缓存时因清除导致的异常次数
- [x] 页面缓存使用的次数
- [x] 页面缓存被更新的次数
- [x] 页面缓存执行引脚总数
- [x] 页面缓存执行拆迁总数
- [x] 页面缓存发生的错误总数
- [x] 页面缓存中标总数
- [x] 使用页面缓存的点击率
Database Transaction Metrics
- [x] 开启的事务总数
- [x] 数据库并发事物的最高点
- [x] 当前在执行的事务数量
- [x] 当前在执行的读取事务数量
- [x] 当前在执行的写入事务数量
- [x] 所有已提交事务数量
- [x] 所有已提交的读取事务数量
- [x] 所有已提交的写入事务数量
- [x] 所有的回滚事务数量
- [x] 所有被终止的事务数量
- [x] 所有被终止的读取事务数量
- [x] 所有被终止的写入事务数量
- [x] 最后提交事务的id
- [x] 最后被关闭事务的id
Cypher Metrics
- [x] Cypher重新规划查询所花费的所有时间
Database LogRotation Metrics
- [x] 目前为止事务日志轮训执行的总数
- [x] 目前为止事务日志轮训执行所费总时
- [x] 日志轮训间隔
Network Metrics
- [x] 事务数据从一个slvave传输到master上提交的总字节数
- [x] 从一台机器拷贝数据存储到另一台的总字节数
- [x] 事务数据从master传输到一个slave上传播提交的事务的总字节数
Cluster Metrics
- [x] 在当前实例上执行的更新拉的总数
- [x] 目前为止在当前实例上进行的所有更新拉中最高的事务id
- [x] 当前实例是否为master节点
- [x] 当前节点在集群中是否可用
Core Metrics
- [x] 追加RAFT日志索引
- [x] 提交RAFT日志索引
- [x] Server上的RAFT
- [x] 尝试提交事务时Leader not found
- [x] 事务重试
- [x] 此server是否为leader
- [x] 丢掉了多少RAFT数据信息
- [x] 多少RAFT数据在队列中
Java Virtual Machine Metrics
- [x] Server上的raft提交索引表明有多少事务已经成功提交到Raft日志中
- [x] Server上的追击索引表明有多少事务被追加（不一定要提交）到raft日志中
- [x] Raft term表明此server上曾经对leader的选举次数
- [x] 当前server不能为raft协议定位Leader的次数
- [x] 当前server接受到的事务日志传送次数
- [x] 当前server上重试事务的次数
- [x] 当前server是否扮演raft leader 角色
- [x] 因为通讯问题导致的当前server与其他核心server间信息被drop的次数
- [x] 向core server的out raft 消息的聚合队列大小
Read replica
- [x] 当前server上执行的异步更新请求事务
- [x] 当前server从 core servers 上接收到的最高事务id
- [x] 当前server 从core servers 上接收到的最后事务id
Logging
The features described in this section are available in Neo4j Enterprise Edition
Query logging
dbms.logs.query.enabled = true
4. BackUp
The backup features are available in Neo4j Enterprise Edition.
执行命令：
bin/neo4j-admin backup --from=127.0.0.1 --backup-dir=/backup --name=graph.db-
backup
备份
备份
完成备份：
备份
增量备份
首先关闭
Neo4j
neo4j-home> bin/neo4j stop
neo4j-home>bin/neo4j-admin restore --from=/mnt/backup/graph.db-backup --database=graph.db –force
neo4j-home> bin/neo4j start
网友评论