美文网首页
2017.11.6项目环境搭建

2017.11.6项目环境搭建

作者: 爱痴鱼 | 来源:发表于2017-11-07 01:10 被阅读0次

    项目名称:
    用爬虫抓取豆瓣8分以上的电影名单

    项目技术:
    python+mySql+Flask+爬虫框架Scrapy

    开始日期:
    2017.11.6

    最终效果:
    能爬去数据并存储在本地硬盘,通过web展示出来,远端可以访问,最好适配于响应式。

    所需知识:
    python基础
    爬虫框架Scrapy

    今天完成了开发环境的搭建,安装了Anaconda + pyCharm
    安装Anaconda后可以方便的管理虚拟环境,管理配套的python库文件。
    注意这里使用清华的库镜像:

    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/msys2/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/
    conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/
    conda config --set show_channel_urls yes
    

    然后再安装scrapy爬虫框架

    conda install scrapy
    

    再pycharm中设置虚拟环境,
    setting > project > project interpreter中选择anaconda3的虚拟环境

    相关文章

      网友评论

          本文标题:2017.11.6项目环境搭建

          本文链接:https://www.haomeiwen.com/subject/ngdrmxtx.html