最近姐姐我也掉《三生三世十里桃花》的坑里了，所以今天来爬点美图，这次用requests。
1.目标网站
分析目标网站https://tieba.baidu.com/p/5008608157，发现这个帖子一共有5页，可以以url?pn=x访问。
代码如下，其中spider是我们要写的爬虫函数：
2.写爬虫
我们写爬虫的时候，要从爬下来的源代码提取需要的信息，可以用re正则表达式。但是正则表达式使用起来不那么方便，容易写错，我们试一下更强大更简单的XPATH。XPATH是一种语言，用来在XML文档中查找信息，支持HTML。具体的写法参考XPATH的语法http://www.w3school.com.cn/xpath/xpath_syntax.asp
在python里使用XPATH，需要安装lxml库。lxml是Python语言中处理XML和HTML功能最丰富，最易于使用的库。
>pip install lxml
运行脚本：
我需要的图片已经被爬下来啦：
欣赏一下姑姑的美照：
最近姐姐我也掉《三生三世十里桃花》的坑里了，所以今天来爬点美图，这次用requests。 1.目标网站 分析目标网...
爬取百度贴吧python文件源代码如下（欢迎点赞哦） import urllib.request import u...
爬取百度贴吧python文件源代码如下（欢迎点赞哦） import urllib.request import u...
依然是参考崔庆才写的关于Python爬虫的文章，大家有兴趣的话可以去他的个人博客静觅学习。 源代码还是在我的Git...
代码操作一 爬取 贴吧战狼2 网页信息 运行结果： 代码操作二 百度图片 爬取美女图网页 结果展示 代...
最近又尝试着爬取了百度贴吧，发现新增的几个反爬点，故来做下记录。 爬取百度贴吧大致流程为： 1 - 构造url，h...
前几天有位读者问我一个爬虫的问题，就是在爬去百度贴吧首页的热门动态下面的图片的时候，爬取的图片总是爬去不完整，比首...
前几天有位读者问我一个爬虫的问题，就是在爬去百度贴吧首页的热门动态下面的图片的时候，爬取的图片总是爬去不完整，比首...
本爬虫可以爬取百度贴吧帖子中的图片，代码有待完善，欢迎大家指教！出处：https://github.com/jin...
本文标题：Day3-用request爬百度贴吧图片
本文链接：https://www.haomeiwen.com/subject/eygygttx.html
网友评论