美文网首页
Python系列:第一篇 爬虫

Python系列:第一篇 爬虫

作者: work_zhangxt | 来源:发表于2020-01-02 11:36 被阅读0次

1.下载postman,postman是一种网页调试工具,它可以发送几乎所有HTTP请求。很万能的

2.爬取数据之前必需要有一个目标URL才能获取到自己想要的数据,利用postman可以用来分析我们想要爬取的请求相关的数据

3.python导入requests、json、csv、pandas库

requests库:用来获取网页的URL相关信息

json库:通常是要将我们爬取的数据转换成json的格式

csv库:csv是一种通用的简单的纯文本格式存储表格数据

pandas库:在获取到的数据文字过多或者想要 csv与excel格式之间转换的话,pandas可以做到

4.代码如下,上图

爬取的最后结果是这样子的

简单的爬取数据可以做到了,实现它的方式有很多种,我们要找到最快速最简单的方法,这个过程需要慢慢优化。

总之,爬取数据是一个既简单也复杂的过程。

相关文章

网友评论

      本文标题:Python系列:第一篇 爬虫

      本文链接:https://www.haomeiwen.com/subject/ohnnoctx.html