本篇文章是阅读实验楼Foerc的“python基于共现提取《釜山行》人物关系”的总结。如果大家对于绚丽的网络关系节点图感兴趣，可以去实验楼学习。
图1 gephi做出的关系网络图
gephi1.jpeg
图2 gephi工作界面
gephi2.jpeg
要画出上图的节点网络关系图，需要使用Gephi，下载地址,如果大家想精进学习gephi可以去这里学习.
上面的步骤实际上很简单，都是可视化操作，照着鼠标点击gephi软件就可以，我就不展开了。但是使用gephi前，我们需要知道gephi软件需要的数据格式是什么样子的，只要准备好符合gephi的数据，才能出来绚丽的关系图。
画出绚丽的关系图，需要给gephi输入两份文件，即节点文件和边文件。
节点文件，有三个变量Id， Label， Weight（节点出现的次数）
节点.png
边文件，有Source（起点），Target（终端），Weight（该起点-终点的出现次数）
边文件.png
所以现在的问题是把上述的数据结构的两份文件（节点文件、边文件）准备好。
节点文件还很好解决，只要统计出现的人物名的次数即可。
边文件里涉及到两个节点，及其出现的次数。这里就用到共现，即如果两个实体经常在一个区域出现，那么这两者存在关系的可能性会相当高。我们选择出现频率大于一定阈值的边，排除掉冗余的边，即可获取到边文件。
文件及源码
import jieba
import codecs
import jieba.posseg as psegnames = {}
names = {} # 姓名字典
relationships = {} # 关系字典
lineNames = [] # 每段内人物关系
# count names
jieba.load_userdict("/Users/apple888/Desktop/桌面文件/project/釜山行/dict.txt") # 加载字典
with codecs.open("/Users/apple888/Desktop/桌面文件/project/釜山行/busan.txt", "r", "utf-8") as f:
for line in f.readlines():
poss = pseg.cut(line) # 分词并返回该词词性
lineNames.append([]) # 为新读入的一段添加人物名称列表
for w in poss:
if w.flag != "nr" or len(w.word) < 2:
continue # 当分词长度小于2或该词词性不为nr时认为该词不为人名
lineNames[-1].append(w.word) # 为当前段的环境增加一个人物
if names.get(w.word) is None:
names[w.word] = 0
relationships[w.word] = {}
names[w.word] += 1 # 该人物出现次数加 1
# explore relationships
for line in lineNames: # 对于每一段
for name1 in line:
for name2 in line: # 每段中的任意两个人
if name1 == name2:
continue
if relationships[name1].get(name2) is None: # 若两人尚未同时出现则新建项
relationships[name1][name2]= 1
else: relationships[name1][name2] = relationships[name1][name2]+ 1 # 两人共同出现次数加 1
# output
with codecs.open("/Users/apple888/Desktop/桌面文件/project/釜山行/busan_node.txt", "a+", "utf-8") as f:
f.write("Id Label Weight\r\n")
for name, times in names.items():
f.write(name + " " + name + " " + str(times) + "\r\n")
with codecs.open("/Users/apple888/Desktop/桌面文件/project/釜山行/busan_edge.txt", "a+", "utf-8") as f:
f.write("Source Target Weight\r\n")
for name, edges in relationships.items():
for v, w in edges.items():
if w > 3:
f.write(name + " " + v + " " + str(w) + "\r\n")
之前在吴军《数学之美》提出过共现，但是不知道怎么实现，看了Foerc的这个实验，收获很大。想到了我之前做的文本情感分析，最基础的就是获得完整全面的情感词，但是不同领域的情感词是不同的，需要针对特定的领域进行针对性的建立词典。而这就需要用到共现理论，但之前苦于不懂如何实现。
欢迎关注公众号 大邓带你玩转python
大邓带你玩转python
每周有直播哦，扫码即可加入
网友评论