美文网首页
Python爬虫之PySpider框架安装配置

Python爬虫之PySpider框架安装配置

作者: 阿Q说代码 | 来源:发表于2018-07-13 09:37 被阅读0次

            Hello,大家好,小编又和大家见面了,自从学习了廖雪峰老师的python3之后,最近又对爬虫产生了浓厚的兴趣,不知道大家有没有学习过爬虫的相关知识。这一节,小编将带大家搭建PySpider的框架安装配置,也希望能帮助和小编一样的小白解决心中的疑惑,大家共同进步。

    注:小编使用的是Win7系统,所以接下来都以Win7为例。

    一、首先给大家附上项目地址以及官方文档

    二、首先去官网(https://www.python.org/downloads/)下载python,下载并完成安装。安装完成后启动cmd任务窗口,输入python,如果出现如图所示

        则证明安装成功,否则会出现 “‘python’不是内部或外部命令,也不是可运行的程序或批处理文件”的提示,则需要配置环境变量。配置过程如下:

        计算机—>属性—>高级系统设置—>环境变量—>找到“Path”—>将python的安装路径填进去

    这样再重新测试就没问题了。

    ps:记住,路径直接用分号";"隔开!如图:


    三、安装pip

        下载地址https://pypi.python.org/pypi/pip#downloads,将pip的tar包下载到本地并解压,这个tar.gz格式的是windows和linux通用的包,cmd窗口中执行python setup.py install命令进行安装。然后配置环境变量,配置方法如python过程

    测试是否安装成功,在cmd窗口中输入pip list,如图则安装成功。

    四、安装phantomJS,PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速、原生支持各种Web标准:DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。下载地址:http://phantomjs.org/download.html,配置环境变量如python过程。cmd窗口中输入phantomjs  --version,如图则安装成功。

    五、直接用pip安装pyspider:pip install pyspider,安装成功之后命令行输入pyspider all,然后浏览器访问 http://localhost:5000

    观察一下效果,如果可以正常出现 PySpider 的页面,那证明一切OK。

            这样PySpider框架已经安装完成,接下来就可以用此框架来开发简单的爬虫了,大家有什么不懂得地方欢迎留言,如果小编哪里写错了或者您有更好的解决方案,请联系小编吧!小编期望与您共同进步。

    相关文章

      网友评论

          本文标题:Python爬虫之PySpider框架安装配置

          本文链接:https://www.haomeiwen.com/subject/rwndpftx.html