美文网首页
python实现简单的爬虫

python实现简单的爬虫

作者: 白菜松 | 来源:发表于2019-05-23 20:26 被阅读0次

目标:爬取虎嗅网24小时新闻,存入数据库。分析热词
方案:爬虫有多种方案,我们采取requests + lxml/xpath的方案。

1. 使用到的工具

requests

一个简单好用的网络请求库

lxml/xpath
lxml是python的一个解析库,支持HTML和XML的解析,支持XPath解析方式,而且解析效率非常高
XPath,全称XML Path Language,即XML路径语言,它是一门在XML文档中查找信息的语言,它最初是用来搜寻XML文档的,但是它同样适用于HTML文档的搜索
XPath的选择功能十分强大,它提供了非常简明的路径选择表达式,另外,它还提供了超过100个内建函数,用于字符串、数值、时间的匹配以及节点、序列的处理等,几乎所有我们想要定位的节点,都可以用XPath来选择
django

一个web框架,此处用来操作数据库。

2. 大致步骤

  1. 分析目标网页,制定爬取策略。
  2. 写代码爬取数据。
  3. 保存数据。

1. 分析目标网页,制定爬取策略。

分析网页源码,使用浏览器、charles等分析接口请求。一般大量列表的网页的分页大致有两种:

  1. 网址分页,即网址中传page来请求,一页一个链接。https://www.kuaidaili.com
  2. 使用ajax一个界面实现分页。https://www.huxiu.com/moment

虎嗅的24小时列表采用的是ajax加载的。

#接口:
https://www.huxiu.com/moment/ajaxGetList
#参数:
last_dateline
#返回数据
{
    "success": true,
    "data": {
        "msg": "获取成功",
        "pagesize": 20,
        "total_page": 149,
        "last_dateline": "1558238914",
        "data": " html内容 "
    }
}

他们是以时间来分页的,返回结果包含下次的请请求时间,可以以此来循环请求获取数据。
返回的数据是一个<li>新闻列表,我们只需要遍历每个li,从中取到数据即可。

2. 写代码爬取数据

  • 获取源码:
res = requests.post(url, headers=headers, data=data)
res.encoding = 'utf-8'
return res.text
路径表达式
nodename选取此节点的所有直子节点,相当于./
/  选取子节点
//  选取子孙节点

.  从当前节点
..  从当前节点的父节点

@选取属性
  • 创建数据库:

使用Django框架操作数据库,步骤:
1,创建好model。
2,执行创建命令。

python manage.py makemigrations
python manage.py migrate

3. 爬取注意

有道德,注意爬取速度
应对反爬虫:

代理分类
判断是否使用成功:http://httpbin.org/get

4. 生成词云图,分析热点

使用wordcloud

1, 数据库读取数据;
2,wordcloud分析;

代码地址

image

相关文章

  • selenium和pantomjs学习

    Selenium + PhantomJS + python 简单实现爬虫的功能 Selenium 一、简介 sel...

  • 山东大学-VirtualJudge-总结1

    在这个周根据小组进度安排,我主要学习了Python爬虫的编写,学习主要参考:python实现简单爬虫功能 根据博客...

  • 各语言简单爬虫

    各语言简单爬虫 Python 简单爬虫 golang简单爬虫

  • 2019-01-01

    python爬虫---requests库的用法 requests是python实现的简单易用的HTTP库,使用起来...

  • python爬虫记录

    爬虫是比较常用的程序,用python实现起来非常简单,有几个相关的库,这里就记录一下python常用的爬虫代码,备...

  • python简单爬虫实现

    功能点 维护待爬取的url列表 url去重 提取想要的url

  • Python 实现简单爬虫

    玩Python不做点爬虫都不好意思说自己会Python了 不过多解释、适合有一点编程基础的来看,Python其实很...

  • Python爬虫简单实现

    所需要使用模块 requests官网API:https://requests.readthedocs.io/zh_...

  • 爬虫相关的一些命令

    requestsrequests是python实现的最简单易用的HTTP库,建议爬虫使用requests 获取某个...

  • python实现简单的爬虫

    目标:爬取虎嗅网24小时新闻,存入数据库。分析热词方案:爬虫有多种方案,我们采取requests + lxml/x...

网友评论

      本文标题:python实现简单的爬虫

      本文链接:https://www.haomeiwen.com/subject/agnnaqtx.html