这个部分主要梳理下我的图谱的制作过程。
1.数据来源：中彩网
1.首先我们要分析我们要爬取哪些内容。上面这个是一个主页，一共74页，全都是上市公司，点进其中一个公司看看：
我们首先要做的就是定义一个schema也就是我们要爬取的内容，以何种形式建立实体与实体之间的连接，这里为了简化问题，我选择上图红色的部分作为我的信息，选择的内容如下：
节点包括：行业、公司业务、主要股东、流通股股东、公司名、股市类别、公司高管、股票等实体
关系包括：任职、属于、主要业务、参股、基金计划、所属公司、所属行业、股票等关系
接下来就是爬取信息然后存入到数据库中了，这里我先选择mysql数据库，将所有的爬取的数据存进mysql，然后再进行关系的建立导入到neo4j中，大致就是这么个思路吧！
2.数据爬取过程
第一步：爬取所有上市公司主页网址
- 先观察目标网站的结构，找到网址的位置：
然后这里注意还需要点击下一页这个按钮，代码如下：
这里如果你对爬虫完全不理解，建议看一下视频课程学习下，大概几天就能上手了，这里是我爬的代码和结果：
2.爬虫策略
在上面我们介绍了需要爬取的内容，那么这里我们到底是边爬取边解析网页，还是事先抓取所有的网站内容呢？当然是后者的效率要高得多，我们先爬取所有网站的源代码然后把源代码存下来，然后再解析。同时如果你的电脑资源强大，一定要利用多进程进行爬虫。也就是下面两步：
(1)针对每一只上市公司我选择建立一个词典，把他相关的且我需要的网站网址先存下来，代码和结果如下：
2.接下来就是爬取每个公司的“高管一览”，“股东信息”，“公司信息”，“主营分布”这四个信息，我在试验中发现分别爬取这四个部分速度要快一些，这里爬取的后的源代码我选择存在mongodb的数据库中，这里推荐用Robo3T这个工具进行远程访问，由于代码太多，这里只贴出结果：
3.接下来就是对这些网页源代码的批量解析了，这里我选择将他们解析完成后存到mysql数据库中，这里又涉及到了一点点数据库的增删改查操作，建议大家花一点点时间熟悉下：
这里注意，我所有的操作都是利用python的API完成的。都是些工程性的东西，没必要讲的太细，之后会给出源代码，这里只梳理大致思路吧。
比如mysql的使用，我这里封装了一个函数，使用的时候直接设置表名称、表头字段，传入相关的数据就可以了
这里再推荐一个mysql可视化工具navicat,将数据导入到mysql中，就是这样的：
所有表单数据
股东数据
股票信息
上面只列举了一部分，这里注意，每张表里面涉及的id一定要一致，必然没法建立数据之间的关系，这点很重要，另外就是要有一个全局意识，先要统筹规划好自己要做的事情，耐心的调试才能出结果，说的很虚很鸡汤，但事实就是如此哈！！！
4.然后就是把数据导入neo4j里面了，关键是如何批量导入，一条一条导入肯定是不行的，数据量比较大。下面就来说明我是怎么做的：
我用的办法应该不是最好的办法，我做这个事的时候是7月份的时候，是基于python做的，网上关于用neo4j的python接口的批量导入方案并不是很多，但是逐条导入实在是太慢不高效了，所以干脆我用了最直接的办法，就是现将mysql的表单生成csv文件，然后再导入neo4j中，具体过程如下：
这里传入三个参数给load_config函数，表名，生成的csv名称，节点名（neo4j）,然后用最原始的办法将生成的CSV导入到了neo4j中，速度还是挺快的的，生成的csv文件如下：
注意：neo4j导入csv表单时如果没有特定设置，会在自己的安装路径下的import文件夹下导数据。
5.最后就是建立数据之间的关系了，之间根据id索引创建你需要建立的关系ok了。
最后就可以打开neo4j看到你的图数据了，这里建议安装一个桌面版来启东neo4j比较方便。
网友评论