1.下载postman,postman是一种网页调试工具,它可以发送几乎所有HTTP请求。很万能的
2.爬取数据之前必需要有一个目标URL才能获取到自己想要的数据,利用postman可以用来分析我们想要爬取的请求相关的数据
3.python导入requests、json、csv、pandas库
requests库:用来获取网页的URL相关信息
json库:通常是要将我们爬取的数据转换成json的格式
csv库:csv是一种通用的简单的纯文本格式存储表格数据
pandas库:在获取到的数据文字过多或者想要 csv与excel格式之间转换的话,pandas可以做到
4.代码如下,上图
爬取的最后结果是这样子的
简单的爬取数据可以做到了,实现它的方式有很多种,我们要找到最快速最简单的方法,这个过程需要慢慢优化。
总之,爬取数据是一个既简单也复杂的过程。
网友评论