美文网首页爬虫专题Python 爬虫专栏网络爬虫
如何用Web Scraper抓取巨潮资讯网全站乐视相关pdf文件

如何用Web Scraper抓取巨潮资讯网全站乐视相关pdf文件

作者: 风巢 | 来源:发表于2018-02-08 21:39 被阅读111次

    今天乐视的股价可以说是从水深火热到激情澎湃,振幅高达 19.5%,不知大家都赚到了吗?

    不管赚没赚到,买股票前收集资料进行调研还是必须的。

    上市公司信息发布哪里权威呢,自然是巨潮资讯,毕竟是中国证监会指定信息披露网站。

    如何抓取其中乐视相关 pdf 文件呢,从网站上一个个下载多累,还未必能找全,我教你个办法,自动化抓取,一劳永逸。下面开始演示。

    一、搜索

    这里以从巨潮资讯网 全站乐视 相关 pdf 为例,巨潮网址:

    http://www.cninfo.com.cn

    注意里面用了 site 和 filetype 两个操作符,这两个啥用途呢?

    site 用于列出某域名下所有网页(包含文件)

    filetype 用于筛选文件类型

    二者结合就起到列出网站下所有搜索词相关 pdf 文件的目的。

    二、抓取

    现在链接有了,如何抓取呢,这里就该 Web Scraper 出场了。

    1、建立 Sitemap

    2、按如下结构建立选择器

    3、抓取并导出 Excel 如下。


    三、下载

    链接有了,如何下载呢,迅雷上呗。

    下载任务圆满完成:


    四、思考

    1、乐视抓完了,格力呢?巨潮会抓了,别的网站呢?

    2、如果把搜索词乐视去掉又会如何?这里面有什么花头可挖?

    3、filetype 后面换个别的文件类型呢,比如 ppt,doc,xls?

    4、百度高级搜索 界面如下,你还能想出什么玩法?

    相关文章

      网友评论

        本文标题:如何用Web Scraper抓取巨潮资讯网全站乐视相关pdf文件

        本文链接:https://www.haomeiwen.com/subject/pqfgzxtx.html