美文网首页
用scrapy抓取数据 实验报告

用scrapy抓取数据 实验报告

作者: 爱FT的芋头 | 来源:发表于2017-05-03 21:36 被阅读0次

    刘璨 2014年信息管理与信息系统  2014141093017

    前言说明:

    由于本人代码水平较弱,作业参考和询问了其他同学,若有不足的地方,请老师谅解。

    实验报告正文

    我们小组经过商量之后决定使用阿里云。

       用ssh连接云服务器

    成功连接

    进入虚拟坏境目录并激活

    激活

    相关文件配置,生成项目树结构,创建我的空间(lc_quote)

    创建 在本地编写spider代码 这里我采用的是记事本 保持成py格式 加入py文件 执行文件 执行的结果 

    上面显示的代码有误但还是形成了html文件

    在目录中生成的html文件 形成的html文件

    爬取json数据

    本地编写spider文件 还是保持成py文件

    (中间一段过程的截图忘记保持)步骤同上,将py文件拖到spiders文件夹下

    执行scrapy crawl lc_quotes_spider -o slx_26666.json(26666是随意输入的)

    最终形成的json文件


    相关文章

      网友评论

          本文标题:用scrapy抓取数据 实验报告

          本文链接:https://www.haomeiwen.com/subject/dwsltxtx.html