美文网首页数据采集数据分析@IT·互联网@产品
不用代码,10分钟学会爬取微博、微信、知乎、58同城等网站数据信

不用代码,10分钟学会爬取微博、微信、知乎、58同城等网站数据信

作者: 书生婉悠 | 来源:发表于2018-01-07 21:15 被阅读866次

    之前在简书上写了一篇关于web scraper安装和基础使用的文章,短短几天将近6000次阅读,598次喜欢,而且阅读量每天都在以数百量级增加,也给我带来了300多位简书粉丝和500多位微信粉丝。

    这篇文章被产品、简书首页、职业、爬虫工具、数据抓取、新媒体、程序员、小程序等19个专栏收录:

    在我看来简书是偏文艺和文青的平台,能够对技术方面有这么高的热度,的确出乎我的意料。看到这么大的流量进来,我特地留意他们的职业,发现大部分都是从事文案、运营、策划、推广的工作,还有一部分从事助理类、公务员的工作。

    加到我微信后,很多朋友都向我咨询关于web scraper的更高级别的使用方法,比如关于如何采集微博、微信、淘宝、京东、58同城、豆瓣等等大型平台网站的数据,由于时间有限,无法一一作答。

    使用web scraper也有2年多了,采集了有近百个网站数据:

    案例1:汽车之家网站奔驰宝马宝马信息采集

    案例2:天涯论坛各个板块文章信息采集

    案例3:豆瓣电影、读书板块信息数据和评论数据采集

    案例4:淘宝茶叶数据采集、竹浆纸数据采集、充电宝数据采集

    案例5:京东小米手机数据采集、京东众筹商品数采集

    案例6:大众点评泉州美食数据采集、58同城泉州租房信息数据采集

    案例7:咪蒙、韩寒、郭敬明微博粉丝及评论采集

    案例8:舌尖上的泉州、李叫兽、咪蒙等20个公众号文章、阅读数据采集

    深深感受到它带给我的方便:

    让我在面对成百上千的数据和信息的时候,不用花大量时间重复性复制粘贴,只需要打开web scraper花5分钟简单设置,在点击开始采集按钮后,起身倒杯茶、看看窗外的风景,或者和同事聊聊天,几分钟后就可以把我要的数据完整地采集成excel表格。

    让我对数据和资料的分析成为可能,朋友圈里的朋友可能会经常看我的数据分析文章,也都知道我现在在做的是数据分析的工作。Web scraper让我拥有了分析的基本数据,之后才能通过这些数据分析出关于产品前景、市场前景、客户属性、渠道特征等等隐藏在数据背后的秘密:

    案例1:咪蒙文章特点分析-为什么咪蒙文章那么受欢迎

    案例2:京东商城加湿器产品销售分析

    案例3:京东众筹成功影响因素分析

    案例4:泉州美食、租房情况分析

    案例5:淘宝面膜产品分析

    案例6:铁观音茶叶市场前景和竞争分析

    所以我决定开设关于web scraper从零基础入门到精通的课程,从基本的安装和小型网站采集,到例如微博、淘宝等大型网站平台的数据采集课程。

    一、课程目录

    1、基础知识学习

    (1)web scraper安装和基础设置;

    (2)网站网页基本知识;

    (3)以爬取知乎为例,掌握基本采集流程;

    (4)以豆瓣、it桔子、卖淘网为例不规律分页采集;

    (5)以知乎为例,选取多元素并且实现连续采集;

    2、进阶部分目录:

    (1)以旅游网为例,实现一级和二级网页采集;

    (2)采集网站上的图片、表格等信息;

    (3)掌握动态页面采集;

    (4)常见的反爬虫方法及其合理使用;

    3、高级部分—案例实践:

    (1)抓取微博评论数据;

    (2)抓取微博信息数据;

    (3)抓取58同城联系方式、企业信息、招聘信息、兼职信息等

    (4)基础代码和表达式的应用

    这是从入门到精通的课程目标,循序渐进地从基本开始,保证每一位没有基础的朋友都能够学会,再结合经典的案例,理论和实践结合,操作有趣的案例,解决可能遇到的实际问题,真正提高掌握和运用的能力。

    二、课程形式及课程安排:

    所有报名的朋友我将都会邀请进入专属微信群,在微信群中,可以将关于数据采集、数据分析的疑问提出来,在充分了解的基础上,完善上面的课程目录。在1月15号之前同学员确定时间和课程内容后,将在20号前以视频直播的形式开课,在本月31号之前讲完所有内容。

    三、报名方式及费用:

    1、本次课程收费为99元,只需要少买一件便宜的衣服、少看一次电影、少吃一顿火锅的前,就可以获得提高工作效率、提高工作能力的知识,这是非常值得的。毕竟,钱留着不会生钱,用知识和技能赚更多的钱才是王道。

    2、满100人后,这100人每邀请一位即可获得50%的奖励,100名之后报名的朋友,邀请一位朋友报名,可获得25%的奖励。

    3、每位报名的朋友,都可以加入我的“营销生财”小密圈,我会在里面分享数据采集、数据分析、营销案例、商业案例等方面的知识。

    部分资料

    4、报名唯一联系人:微信号zds369466004

    相关文章

      网友评论

        本文标题:不用代码,10分钟学会爬取微博、微信、知乎、58同城等网站数据信

        本文链接:https://www.haomeiwen.com/subject/qlimnxtx.html