美文网首页图数据库Neo4j
Neo4j如何对大量数据(千万节点及以上)进行初始化

Neo4j如何对大量数据(千万节点及以上)进行初始化

作者: 布口袋_天晴了 | 来源:发表于2018-08-10 11:44 被阅读2210次

参考文章:

【1】Neo4j的查询速度为何这么慢?这能商用吗?

【2】如何将大规模数据导入Neo4j

如果对大量数据进行初始化加载,那么就用Neo4j-import;增量数据的同步加载又不想暂停数据库服务,那就要用load csv,如果可以忍受数据库的短暂停服,那么Batch-inserter更适合。如果只是想插入少量的数据,且不怎么在乎实时性,那么请直接看Cypher语言。

常见的数据插入方式:

1.Cypher CREATE 语句,为每一条数据写一个CREATE

2.Cypher LOAD CSV 语句,将数据转成CSV格式,通过LOAD CSV读取数据。

3.官方提供的Java API —— Batch Inserter

4.大牛编写的 Batch Import 工具

5.官方提供的 neo4j-import 工具

截图于:http://paradoxlife.me/how-to-insert-bulk-data-into-neo4j 截图于:http://paradoxlife.me/how-to-insert-bulk-data-into-neo4j

【*】Neo4j社区版的neo4j最大节点存储量2**35,大约二百多亿,企业版没限制。如果服务器容许挂载的硬盘最大容量很大,采用企业版产品,那么也还是可以满足要求。不要实时性的话,titan也可以做;预算不够的话,arangodb、orientdb都支持分片存储。另外别指望all in one,慎重进行物理模型设计,仔细考虑图数据库的定位(当个图结构的索引最合适)。

【*】neo4j是权威性较高的老牌图数据库,用java写的,因为存储模型比较固定,灵活性不足,而且无法实现分片存储,所以愈发对超大规模数据适应不能;orient改进了存储模型,采用混合模型存储,可以分片存储,用java写成;arango应该借鉴了orient的设计思路,不过据说它更快,它是用c++写成的。另外,对非中立的厂商所做的性能测评,还是要持怀疑态度。

【*】插入慢一方面需要给他建立索引,另一方面可能的确是超级节点引起的。超级节点的解决方案是为Neo4j添加了wrapper,导向自己的代码。



Neo4j图数据库中的索引

给需要查询的节点标签创建索引。

CREATE INDEX ON:类别标签名 (创建索引的字段名)

CREATE INDEX ON:BaiduBaike(id)

相关文章

  • Neo4j如何对大量数据(千万节点及以上)进行初始化

    参考文章: 【1】Neo4j的查询速度为何这么慢?这能商用吗? 【2】如何将大规模数据导入Neo4j 如果对大量数...

  • neo4j之图计算

    如何通过neo4j做图计算 spark中graphx对neo4j的数据进行读取,然后通过graphx的相关算法进行...

  • Neo4j算法介绍

    neo4j为图数据库,其中涉及的也就为图算法,图算法被用来度量图形,节点及关系。 在neo4j中,通过call a...

  • 对大量数据进行排序

    简介 bitmap在很多海量数据处理的情况下会用到。一些典型的情况包括数据过滤,数据位设置和统计等。 它的引入和应...

  • Neo4j-spring data 基本使用一

    Neo4j 图数据库 善于维护数据间的关系 数据对象(节点)是一种数据,需要单独存储;数据节点间的关系(边)也是一...

  • Neo4j数据库节点和标签问题

    对Neo4j 来说,节点代表的是查询得到的实例对象集合或者创建的对应对象. 节点是可以不写的 如果你不对对象进行操...

  • neo4j删除所有节点和关系

    1、neo4j清空所有节点和关系命令如下: 2、neo4j中删除所有节点属性: (1)进入neo4j的安装目录: ...

  • 模板编译

    Vue初次渲染流程: => 先初始化数据=> 将模板进行编译=> 变成render()=> 生成虚拟节点=> 将虚...

  • Neo4j清空数据库

    Neo4j清空数据库 1 清空数据,保留数据库 删除所有节点和关系 删除一个节点及其所有关系: 2 清除数据库 参...

  • neo4j中数据导入——neo4j-admin批量导入

    当需要导入大量的数据时,可以使用neo4j自带的neo4j-admin import工具来进行批量导入,但是该种方...

网友评论

    本文标题:Neo4j如何对大量数据(千万节点及以上)进行初始化

    本文链接:https://www.haomeiwen.com/subject/uklqbftx.html