记录一下折腾了近一天的爬虫过程。
学习python半月以来，算是颇有收获。还以为自己已经掌握了许多知识，没想到写个网站的爬虫代码竟折腾了一天，若非道友相助，怕是今晚都没法睡觉了。（没办法，栽在了一个我都不知道为什么这样处理的问题上）。为了不能让今日的辛苦白白付出，还是要写一篇总结，来提炼一下今日的收获。（ps：本人小白，大神看见勿喷，不过其中有错还望指点一二，哈哈）
此次爬虫其实也没用到什么复杂的框架，只是跟着慕课网的一个爬虫教程学习了一下，便着手开始了自己的爬虫之旅。通过本次对斗鱼网站的爬虫，可将网页爬虫的过程逐个分为以下几个部分：
一、获取网页内容
二、定义正则表达式
说来也是辛酸，其实整体的代码早就已经写好了，问题一直出在正则表达式上却迟迟得不到解决。最后道友出面为我做法，解决的方式竟然是在第三个正则的fr”后加两个空格。我真的搞不懂是为啥，道友也不知道...且看且学吧。不得不说网页爬虫的过程中正则的运用应该是最难的地方了
三、提取网页中自己所需内容
当然了，提取内容首先要定义好正则表达式，在将与之匹配的内容集成字典，收入到一个列表当中。
四、定义函数优化列表中字典值的内容格式
由于之前根据正则表达式匹配到的内容格式实在不堪入眼，需要定义一个函数来将其进行优化（实际优化方法需要根据上一阶段调试中返回的字典中值的格式来进行确定）。
五、排序
其中分为两个部分：
1、对优化格式后的列表按需进行排序
排序当然离不开sorted方法了，不过由于列表中的元素都是字典，排序时，需自定义排序规则。于是便有了下面的步骤：
2、定义排序方式
将排序所需的依据，也就是字典中number对应的值化为统一的格式。
六、定义入口方法
上述定义的所有方法都是私有方法，故需定义一个入口方法来调用，并在最后对排序之后的内容再做调整并增加排名。
以上就是网页爬虫过程中几大主要的步骤了。当然爬虫的世界是浩瀚无垠的，本次爬虫案例也十分简单，只可称之为沧海一粟。但是麻雀虽小，五脏俱全，思考的过程还是值得借鉴的！
网友评论