此学习笔记整理于 Ryan Mitchell Web Scraping with Python- Collecting Data from the Modern Web (2015) Chapter 8 Reading and writing natural languages
天啦噜！这个笔记真是让人兴奋不已啊！代码写得太好了作者。不多说了，上代码和解释。
1，首先，新建database，这一段代码直接在mysql里写的。
值得学习的地方有：1）并没有create database Wikipedia；这个过程，直接上table，然后后面跟着‘Wikipedia’.‘pages’.厉害了，我的书。
然后依次是名称，类型，默认值，还有其他，比如第一个是自动增加，第三个是系统时间。
最后加上primary key是哪一个。
2. 开始从wiki的一个页面开始爬取wiki内部链接并存储起来。
从上面的database结构我们可以看出，存储的内容主要分为两个部分：链接地址url和链接之间的关系（links from onepage to the other one）
Note:conn那一行需要自己修改下
还是一个函数一个函数看吧。
insertpageifnotexits函数
在数据库找url这个链接，如果没有（rowcount=0）,那就把这个链接存到database里面的pages。cur.commit() 确认更改。返回pages的最后一行，就是我们新存进去的那个链接所在的行。如果存在的话就返回cur.fetchone()[0],这个【0】是代表pages这个table的第一列即是id这一列。id是自动编号的，所以id的值等于其所在行的行数。
insertLink函数
看链接是否存在，如果不存在插入并确认保存。跟上面一个函数类似，就不多说了。
getLinks函数
先看打开这个一个站点，找到所有的内部链接，然后是把内部链接存储起来，再把link存储起来。然后空的pages，如果发现的新页面没有研究过再进入这个新页面并向下一层.最多向下走4层，总共走到第5层（第5层也分析了。）。
这个getlinks也可以这么写。
P.S.：没能上车的小伙伴欢迎留言，如果我会我直接回答你！如果不会，我谷歌后回答你！如果要加我微信，不行。
网友评论