py2neo——Neo4j&python的配合使用

作者: Gun_Fox | 来源:发表于2016-12-02 15:12 被阅读12211次

    概要

    之前在CSDN上写过一个blog(http://blog.csdn.net/wrzcy/article/details/51905977 ),简单的介绍了Neo4j图形数据库,主要是以基础概念和定义为主。今天就通过python面向Neo4j的库py2neo来对Neo4j进行一些简单的操作,包括:

    • 连接Neo4j数据库
    • 节点的建立
    • 节点之间关系的建立
    • 关系属性赋值以及属性值的更新
    • 通过属性值查找节点/关系
    • 通过节点/关系查找相关联的节点/关系
    • 结合目前的一个项目来说说一些坑和注意点

    连接Neo4j数据库

    要通过python来操作Neo4j,首先需要安装py2neo,可以直接使用pip安装。

    pip install py2neo
    

    在完成安装之后,在python中调用py2neo即可,常用的有Graph,Node,Relationship。

    from py2neo import Graph,Node,Relationship
    

    连接Neo4j的方法很简单:

    test_graph = Graph(
        "http://localhost:7474", 
        username="neo4j", 
        password="neo4j"
    )
    

    test_graph就是我们建立好的Neo4j的连接。
    Neo4j的服务器装好了之后,默认的端口号就是7474,所以本地的主机就是"http://localhost:7474" 。
    默认的用户名密码都是neo4j,不过也可以在浏览器中进入http://localhost:7474 ,首次进入会提示你进行密码修改。

    节点的建立

    节点的建立要用到py2neo.Node,建立节点的时候要定义它的节点类型(label)以及一个基本属性(property,包括property_key和property_value)。以下代码为建立了两个测试节点。

    test_node_1 = Node(label = "Person",name = "test_node_1")
    test_node_2 = Node(label = "Person",name = "test_node_2")
    test_graph.create(test_node_1)
    test_graph.create(test_node_2)
    

    这两个节点的类型(label)都是Person,而且都具有属性(property_key)为name,属性值(property_value)分别为"test_node_1","test_node_2"。

    节点间关系的建立

    节点间的关系(Relationship)是有向的,所以在建立关系的时候,必须定义一个起始节点和一个结束节点。值得注意的是,起始节点可以和结束节点是同一个点,这时候的关系就是这个点指向它自己。

    node_1_call_node_2 = Relationship(test_node_1,'CALL',test_node_2)
    node_1_call_node_2['count'] = 1
    node_2_call_node_1 = Relationship(test_node_2,'CALL',test_node_1)
    node_2_call_node_1['count'] = 2
    test_graph.create(node_1_call_node_2)
    test_graph.create(node_2_call_node_1)
    

    如以上代码,分别建立了test_node_1指向test_node_2和test_node_2指向test_node_1两条关系,关系的类型为"CALL",两条关系都有属性count,且值为1。

    在这里有必要提一下,如果建立关系的时候,起始节点或者结束节点不存在,则在建立关系的同时建立这个节点。

    节点/关系的属性赋值以及属性值的更新

    节点和关系的属性初始赋值在前面节点和关系的建立的时候已经有了相应的代码,在这里主要讲述一下怎么更新一个节点/关系的属性值。

    我们以关系建立里的 node_1_call_node_2 为例,让它的count加1,再更新到图数据库里面。

    node_1_call_node_2['count']+=1
    test_graph.push(node_1_call_node_2)
    

    更新属性值就使用push函数来进行更新即可。

    通过属性值来查找节点和关系(find,find_one)

    通过find和find_one函数,可以根据类型和属性、属性值来查找节点和关系。
    示例如下:

    find_code_1 = test_graph.find_one(
      label="Person",
      property_key="name",
      property_value="test_node_1"
    )
    print find_code_1['name']
    

    find和find_one的区别在于:
    find_one的返回结果是一个具体的节点/关系,可以直接查看它的属性和值。如果没有这个节点/关系,返回None。
    find查找的结果是一个游标,可以通过循环取到所找到的所有节点/关系。

    通过节点/关系查找相关联的节点/关系

    如果已经确定了一个节点或者关系,想找到和它相关的关系和节点,就可以使用match和match_one。

    find_relationship = test_graph.match_one(start_node=find_code_1,end_node=find_code_3,bidirectional=False)
    print find_relationship
    

    如以上代码所示,match和match_one的参数包括start_node,Relationship,end_node中的至少一个。

    bidirectional参数的意义是指关系是否可以双向。
    如果为False,则起始节点必须为start_node,结束节点必须为end_node。如果有Relationship参数,则一定按照Relationship对应的方向。
    如果为True,则不需要关心方向问题,会把两个方向的数据都返回。

    match_relation  = test_graph.match(start_node=find_code_1,bidirectional=True)
    for i in match_relation:
        print i
        i['count']+=1
        test_graph.push(i)
    

    如以上代码所示,查找和find_code_1相关的关系。
    match里面的参数只写了start_node,bidirectional的值为True,则不会考虑方向问题,返回的是以find_code_1为起始节点和结束节点的所有关联关系。
    如果,bidirectional的值为False,则只会返回以find_code_1为起始节点的所有关联关系。

    结合项目浅谈Neo4j里值得注意的地方

    写这篇blog主要也是因为最近再做一个关系查找的数据库,在使用Neo4j的时候还是自己挖了不少坑愉快的跳了下去然后到处挣扎。不过大部分的情况下终归还是能爬出来,在这里把遇到的一些问题和值得注意的地方分享出来,希望别人不要走我的老路。

    关于节点和关系的建立

    建立节点和关系之前最好先查找一下是否已经存在这个节点了。如果已经存在的话,则建立关系的时候使用自己查找到的这个节点,而不要新建,否则会出现一个新的节点。

    如果一条条建立关系和节点的话,速度并不快。如果条件合适的话,最好还是用Neo4j的批量导入功能。不过因为在本项目里面并不适合使用批量导入功能,所以只能一条条的插入。

    关于索引

    在Neo4j 2.0版本以后,尽量使用schema index,而不要使用旧版本的索引。

    最好在插入数据之前就建立好索引,否则索引的建立会很消耗时间。

    索引建立是非常有必要的,一个索引可以很大程度上降低大规模数据的查询速度。

    以我自己为例,这次做项目的时候因为第一次没有加入索引,当数据规模达到4w节点,7w+关系的时候,查询一个节点以及相关联的节点关系所消耗的时间已经达到了1s。

    在对节点按照name属性建立了索引之后,截止我写这篇blog的时候,数据量为节点600w+,关系1100w+,查询一个节点以及相关联的节点关系消耗的时间和数据量很小的时候几乎没有什么差别,基本上都稳定在16~20ms左右。

    关于Neo4j应当插入的数据内容

    我们在使用图数据库的时候必须要明确一点,图数据库能够帮助我们的是以尽量快的速度找出来不同的节点之间的关系。因此向一个节点或者关系里面插入很多其余无关的数据是完全没有必要的,会很大程度浪费硬盘资源,在检索的时候也会消耗更多的时间。

    仍旧是以我这次的项目为例。截止到写这篇blog时已经向里面导入了2w条原始数据,我导入的每条数据中,有大量的跟关联关系无关的其他数据,但是这些都是没有必要的冗余数据,完全不需要向Neo4j里面插入。

    在最后我设计的图数据库里,节点类型为Person,每个节点只有一个属性name,标志这个节点。每两个节点之间最多只会有一来一回两条关系,表示主从关系。

    通过这样的图,我们想要检索任何节点的关联节点都可以很快速的找到,而且可以很清楚的区分哪些节点的联系比较紧密。

    如果要把其他的不必要的数据插入进去,跟2w条原始数据对应的600w+的节点和1100w+的关系,必然会占用大量的存储空间,也会大幅增加查询的时间。

    所以务必牢记,图数据库的本质是为了方便查找不同的人或者事物之间的关系的,而不是为了存储数据的。

    相关文章

      网友评论

      • d2573cbd5661:你写的犯了一个非常致命的错误
        在节点的建立这里
        ```
        test_node_1 = Node(label = "Person",name = "test_node_1")
        test_node_2 = Node(label = "Person",name = "test_node_2")
        test_graph.create(test_node_1)
        test_graph.create(test_node_2)
        ```
        Node实例化时,不应该是label=“xxx",而应该不加label

        ```
        test_node_2 = Node( "Person",name = "test_node_2")
        ```
        否则查找时按label找根本找不到!
        慧琴如翌:请教下,去掉了label= 执行完脚本后,还是查找不到节点,是什么原因呢?
      • ae8427e66b16:您好。想请问一下,怎么在Python中绘制网络图呢
      • 半壶猪:可是速度很慢怎么破呢?博主有什么好建议吗:innocent:
      • 简单也好:请问 find 方法只能提供一个键值对查询吗
      • a1988ffbbf59:请问楼主两个节点直接有什么方法可以添加多条type一样的关系吗?谢谢
        Gun_Fox: @无敌浪子 那我就不清楚啦,因为我一般也就是两条关系,方向相反
        a1988ffbbf59:@Gun_Fox 增加一条一样type对的关系py2neo会覆盖
        Gun_Fox:我没有尝试过,但是理论上确定了那两个节点,应该可以直接create方式就ok吧?但是添加多条一样type的关系没有什么太大价值吧?也许你可以试试给关系添加属性?
      • 938d2a0848e8:请问收到JSON信息如何批量导入?
      • 1ac12f4208de:楼主你好,我想请教你,用schema建立索引时,create_index(label,property_key)一直报HTTP GET returned response 404错误,链接用户名密码我已經认证过了,大概是什么问题
        Gun_Fox:这个情况我也没有遇到过:joy: 估计没办法给您提供更多的帮助,不好意思哈
      • b36a04ef1d3a:请教一下,关于py2neo的ogm模块,您有了解吗?它和直接使用NODE、RELATION有什么不同呢?
        4a7278250173:批量导入可以试试多线程,先批量入节点,再关系
        Gun_Fox:@翊辰 您好,ogm模块我暂时也还没有使用,之后可以看一看。我也是最近才开始学习使用neo4j,还有很多地方不清楚的。最近在研究批量导入,因为直接的create方式到了一定规模的数据就会很慢很慢。

      本文标题:py2neo——Neo4j&python的配合使用

      本文链接:https://www.haomeiwen.com/subject/acofmttx.html