美文网首页解密大数据
Python 爬虫入门课作业1－ 获取网络数据的原理

Python 爬虫入门课作业1－ 获取网络数据的原理

作者: 不忘初心2017 | 来源:发表于2017-07-03 15:07 被阅读94次

课堂作业

  • 要爬取的数据类别
  • 对应的数据源网站
  • 爬取数据的URL
  • 数据筛选规则(选做)

学习python，想研究一些兼职的python脚本工作，分析一下主要的需求方面，重点学习和练习。

要爬取的数据类型

爬取网站每天发布的python相关工作需求，抓取的数据包括：

  • 所有的python job list
  • 每个 Job 的数据：
  • job title
  • job skills
  • job details
  • pricing

对应的数据源网站

https://www.upwork.com/

爬取数据的URL

https://www.upwork.com/o/jobs/browse/?q=python

数据筛选规则

根据id= "jobs-list"获取job list,
根据class="job-title"获取单个job,
根据class="break visited"获取单个job url

  • 根据class="row"获取单个job 的数据
  • 如需details，继续爬取该job url

相关文章

网友评论

    本文标题：Python 爬虫入门课作业1－ 获取网络数据的原理

    本文链接：https://www.haomeiwen.com/subject/fenacxtx.html

    延伸阅读

    深度阅读

    • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

    栏目导航

    热点阅读

    解密大数据

    关于我们|服务条款|联系我们|Python 爬虫入门课作业1－ 获取网络数据的原理|投稿指南|网站地图|RSS订阅|排版工具|手机版

    提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

    Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

    备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

    本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

    所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！