复杂网络分析之数据准备篇

作者: 大邓和他的python | 来源:发表于2017-04-26 16:24 被阅读234次

    文本分析之网络关系

    上一篇文章直接给大家发了个封装好的复杂网络分析脚本,bug比较多。也不方便自己DIY,今天咱么就条分缕析,一点点拆解。然后大家根据需要,自己DIY吧。

    关系图之原始数据

    我给大家编了下面两组原始数据,试图画出abcd四元素之间的关系

    nodes_data = ['a', 'b', 'c', 'd']

    raw_data = ['acW', 'aca', 'caE', 'ec', 'cd', 'dc']

    我们做关系网络前的最初始数据最好就是上面这样子,这种数据格式还是比较简单的。

    nodes_data表示节点数据,用来在图中画节点

    raw_data中含有共现的相互关系,但是需要进一步的清理规整。

    关系图之数据格式

    {source: {target: weight}}

    source起点

    target终点

    weight权重(起点到终点次数)

    nodes_data = ['a', 'b', 'c', 'd']

    raw_data = ['acW', 'aca', 'caE', 'ec', 'cd', 'dc']

    nodes_data和raw_data整理成有权有向数据格式如下:

    {'a': {'c': 4},

    'c': {'a': 4, 'd': 2},

    'd': {'c': 2}}

    上面的格式即可用来画有权有向图,也可用到无权无向图,还可画有权无向图、无权有向图。

    无权无向图 无权有向图 有权无向图 有权有向图

    所以数据保存,尽量保存为有权有权有向格式。尽可能保存多的信息,请用有权有向数据格式。

    后面所有的关系图数据格式均以有权有向格式为基准。

    如何实现有权有向数据格式

    nodes_data = ['a', 'b', 'c', 'd']

    raw_data = ['acW', 'aca', 'caE', 'ec', 'cd', 'dc']

    ||

    ||?

    \/

    {'a': {'c': 4},

    'c': {'a': 4, 'd': 2},

    'd': {'c': 2}}

    这里很难,我估计我今天也说不太清除。这个只能希望大家悟性比我高,在就是运行下,编点简单的数据实验试验下,发现规律,也就懂了。

    networkx需要的数据格式

    有了上面富有信息量的有向有权格式数据还不行,我们要再将数据微调下,才能使用networkx库。

    networkx需要啥数据格式?

    data = {'a':{'b':1},

    'c':{'a':2},

    'e':{'b':3},

    'b':{'a':4}}

    nodes = {'a','b','c','d','e'}

    networkx节点

    #首先导入库,解决中文显示问题

    import networkx as nx

    import matplotlib.pyplot as plt

    from pylab import mpl

    #解决显示中文问题

    # 指定默认字体

    mpl.rcParams['font.sans-serif'] = ['SimHei']   

    # 解决保存图像是负号'-'显示为方块的问题mpl.rcParams['axes.unicode_minus'] = False

    单节点 双节点 多节点

    可见networkx创建节点需要的数据很简单,就是字符串或者列表(集合也可以的)。而且本身nodes数据就是列表,直接就能用到networkx构建节点中来。

    但是networkx构建边时候,要用什么样式的呢?


    networkx无向边

    单边 双边 多边

    可见networkx无向边的构建只需要元组或列表数据,但是如何从有权有向格式数据转化为元组或者列表(集合也可以的)数据呢?

    data = {'a':{'b':1},

    'c':{'a':2},

    'e':{'b':3},

    'b':{'a':4}}

    一、无权无向边

    a->b 和b->a是一条边

    data的边的集合是{('e', 'b'), ('c', 'a'), ('a', 'b')}

    生成无权无向边数据的代码:

    生成无权无向边数据

    二、 有权无向边

    a->b和b->a使得 ab共出现5次。

    有权无向边应为{('c', 'a', 2), ('a', 'b', 5), ('e', 'b', 3)}

    生成有权无向边数据

    networkx有向边


    有向单边 有向多边

    可见networkx无向边的构建只需要元组或列表数据,但是如何从有权有向格式数据转化为元组或者列表(集合也可以的)数据呢?

    data = {'a':{'b':1},

    'c':{'a':2},

    'e':{'b':3},

    'b':{'a':4}}

    一、无权有向边

    a->b 和b->a是一条边

    data的边的集合是{('a', 'b'), ('b', 'a'), ('c', 'a'), ('e', 'b')}

    生成无权有向向边数据的代码:

    生成无权有向向边数据

    二、有权有向边

    [('a', 'b', 1), ('c', 'a', 2), ('e', 'b', 3), ('b', 'a', 4)]

    生成有权有向边数据

    这样更好理解些

    weight = data.get(node_k).get(node_v)

    其实涉及到有权的边画图,比如让边显示粗细以表示权重大小。这个我还没有实现,主要是刚刚学networkx。不过今天这篇文章的探讨还是很有用的。可以将数据整理成其他绘图软件指定格式。绘制有权图。

    写了这么多也不知道大家搞糊涂了没有,反正我写的有点晕!


    公众号原文

    附有文中所有代码的下载资源


    更多内容

    文本分析

    python居然有情感??真的吗??

    文本分析之网络关系

    自然语言处理库之snowNLP

    数说中南大学研究生感情状况及择偶观

    用gensim库做文本相似性分析

    基于共现发现人物关系的python实现

    用python计算两文档相似度

    神奇的python

    怜香惜玉,我用python帮助办公室文秘

    逆天的量化交易分析库-tushare

    酷炫的matplotlib

    开扒皮自己微信的秘密

    8行代码实现微信聊天机器人

    使用Python登录QQ邮箱发送QQ邮件

    爬虫

    初识Python的GUI编程

    爬虫实战视频专辑

    【视频】手把手教你抓美女~

    当爬虫遭遇验证码,怎么办

    知易行难

    用词云图解读“于欢案”

    【视频】于欢案之网民的意见(1)?

    【视频】有了selenium,小白也可以自豪的说:“去TMD的抓包、cookie”

    【视频】快来get新技能--抓包+cookie,爬微博不再是梦

    【视频教程】用python批量抓取简书用户信息

    爬豆瓣电影名的小案例(附视频操作)

    爬豆瓣电影名的小案例2(附视频操作)

    用Python抓取百度地图里的店名,地址和联系方式

    相关文章

      网友评论

        本文标题:复杂网络分析之数据准备篇

        本文链接:https://www.haomeiwen.com/subject/teoizttx.html