美文网首页python学习程序猿阵线联盟-汇总各类技术干货
Python新手写爬虫!尝试动态加载的电影网站爬虫

Python新手写爬虫!尝试动态加载的电影网站爬虫

作者: 云飞学编程 | 来源:发表于2018-02-04 15:04 被阅读43次

    昨天小编写了个抓取电影下载链接的小爬虫《新手也能做爬虫!一起来爬电影信息吧》,然后有网友推荐小编爬取某动态加载的电影网站,尽管能力有限,小编还是去尝试了一下,分享给大家。

    URL放上:gaoqing.fm,有兴趣的小伙伴也可以尝试下哦!

    因为是动态加载的,所以url基本就没啥用了,我们直接使用浏览器的开发者工具查找真实网址(这个工作个人认为是整个过程中最难受的!),还好,这次很快就找到了

    提取出来

    http://gaoqing.fm/ajax.php?type=&country=&director=&actor=&year=&p=3&sort=

    继续往后加载查找url,进行对比,查找规律

    查找加载数据的时候,建议先清空,然后点击加载更多,这样新加载的就会出现,查找起来也方便一些哦!

    再次找到url

    点击链接加入群【python┮】:https://jq.qq.com/?_wv=1027&k=5qk3grn

    http://gaoqing.fm/ajax.php?type=&country=&director=&actor=&year=&p=4&sort=

    对比发现,&p=4&这里是控制页面加载页数的关键,然后就是写代码,导出,存盘的过程了,不啰嗦,直接上代码和结果,中间保存文件名的时候借鉴了网友的一段代码,大家感受一下!

    各种清晰度的种子都已经到碗里了↖(▔▽▔)↗,慢慢观看吧!

    喜欢就关注一波呗ㄟ(▔▽▔ㄟ) (╯▔▽▔)╯。

    相关文章

      网友评论

        本文标题:Python新手写爬虫!尝试动态加载的电影网站爬虫

        本文链接:https://www.haomeiwen.com/subject/lvmmzxtx.html