Hello,大家好,小编又和大家见面了,自从学习了廖雪峰老师的python3之后,最近又对爬虫产生了浓厚的兴趣,不知道大家有没有学习过爬虫的相关知识。这一节,小编将带大家搭建PySpider的框架安装配置,也希望能帮助和小编一样的小白解决心中的疑惑,大家共同进步。
注:小编使用的是Win7系统,所以接下来都以Win7为例。
二、首先去官网(https://www.python.org/downloads/)下载python,下载并完成安装。安装完成后启动cmd任务窗口,输入python,如果出现如图所示
![](https://img.haomeiwen.com/i9771013/5c7ad4e18ab7c2d3.png)
则证明安装成功,否则会出现 “‘python’不是内部或外部命令,也不是可运行的程序或批处理文件”的提示,则需要配置环境变量。配置过程如下:
计算机—>属性—>高级系统设置—>环境变量—>找到“Path”—>将python的安装路径填进去
这样再重新测试就没问题了。
ps:记住,路径直接用分号";"隔开!如图:
![](https://img.haomeiwen.com/i9771013/99a7c7440d335917.png)
三、安装pip
下载地址https://pypi.python.org/pypi/pip#downloads,将pip的tar包下载到本地并解压,这个tar.gz格式的是windows和linux通用的包,cmd窗口中执行python setup.py install命令进行安装。然后配置环境变量,配置方法如python过程
![](https://img.haomeiwen.com/i9771013/fc4ba4cb38a099a8.png)
测试是否安装成功,在cmd窗口中输入pip list,如图则安装成功。
![](https://img.haomeiwen.com/i9771013/439562ec98700e09.png)
四、安装phantomJS,PhantomJS 是一个基于 WebKit 的服务器端 JavaScript API。它全面支持web而不需浏览器支持,其快速、原生支持各种Web标准:DOM 处理、CSS 选择器、JSON、Canvas 和 SVG。 PhantomJS 可以用于页面自动化、网络监测、网页截屏以及无界面测试等。下载地址:http://phantomjs.org/download.html,配置环境变量如python过程。cmd窗口中输入phantomjs --version,如图则安装成功。
![](https://img.haomeiwen.com/i9771013/036a76c9468a593a.png)
五、直接用pip安装pyspider:pip install pyspider,安装成功之后命令行输入pyspider all,然后浏览器访问 http://localhost:5000
![](https://img.haomeiwen.com/i9771013/a6ab060ae0fbd48a.png)
观察一下效果,如果可以正常出现 PySpider 的页面,那证明一切OK。
这样PySpider框架已经安装完成,接下来就可以用此框架来开发简单的爬虫了,大家有什么不懂得地方欢迎留言,如果小编哪里写错了或者您有更好的解决方案,请联系小编吧!小编期望与您共同进步。
网友评论