掘金随机最新100篇文章的分词
本人前端狗一名，也想追随人工智能的道路，于是在java、php、python的选择中徘徊，因为身边java和php的coder太多了，于是乎选择了python，学习python第二天发文；
因为我是前端，学习python基本算是毫无基础，习惯性搂一遍runoob，笼统过度，只是有印象，方便后期查找，基本的了解了之后，开始爬！！
python比较好的一点就是有非常强大且数量够多的库，所以大多数时候你只需要会用轮子而不需要造轮子；
我今天选择爬的网站是掘金:https://juejin.im,首页的最新随机文章
第一步:查看页面的渲染方式:
首先要确定你要爬的网站是如何进行前端渲染的，我用的方式比较简单，用chrome打开目标网站，在页面中右键-》查看网页源代码，如果从源代码中能看到网站上所有的数据，就代表你可以使用传统的爬虫方式，反之则需要使用ajax的方式爬，如下图
掘金Ajax方式渲染页面，查看网页源代码时，只能看到固定的html和一堆东西，这类网站需要使用ajax的方式爬
这是简书的源代码，传统方式爬即可
PS：安全性的问题，我不太情书，但是从我现在掌握的技术来看，对于ajax方式的爬虫技术稍稍复杂一点点
第二步:查找数据接口
已经确认目标网站的渲染方式，那么现在需要找到传输数据的接口，通常这类接口是都会暴露的，因为安全性问题，访问接口的时候可能会有header的验证，因为我们只是查看数据，并不存在ddos攻击或者其他的不法行为，所以，用自己浏览器真实的参数就可以
先来找接口，chrome打开目标网站，F12->network->刷新页面，不出意外的话你会看到如下界面
chrome开发者工具
然后选择XHR，为什么选xhr不做过多的解析google、百度即可，这是ajax的一种方法，选择xhr后数据量会小很多
变这样了
这里发现的基本都是需要请求返回的数据接口，我的习惯是先看大的，为什么呢（因为我技术LOW啊，哈哈），不行就每个都点一次，总会发现的，哈哈
选择一个之后，看到的信息
因为我们要看数据所以这里选择Preview，如图
貌似有数据啊
因为掘金是滚动加载，所以我们继续向下滚动，对比一下每次加载数据的变化（这里为爬多数据准备，因为掘金首页每次只加载10条数据）
向下滚动页面后，我们发下有新数据进来
因为我对比过，就不发图了，每次请求的接口数据都一样，没有区别，就代表这，用户每次向下滑动页面请求的都是这个接口，但是返回的数据是不同的，这个应该是掘金后台进行的处理，咱们不需要管，换言之如果要获得更多的数据，多请求几次这个接口就可以了(切记是掘金首页的数据，因为其他栏目的方式和首页不一样)
接下来我们要查看具体的接口是什么？所需参数都有啥？
选择Headers标签
注意红框
这里的数据大多数同学应该能看明白
Request_url：请求的接口地址，这里是带参数的
Request Method:请求方式
Host：Host地址
Referer：触发接口的路由地址
User-Agent:浏览器信息
Query String Parameters ：请求的数据
sudi，ab， src 在Url中可以看到这些数据
以上就是我们需要的数据，数据请求的接口地址为：https://recommender-api-ms.juejin.im/v1/get_recommended_entry? ，现在我们基本分析完了，可以写代码啦
第三步：在python中实现功能
直接上代码
新手写的LOW
到此，爬完结束！
网友评论