由于工作需要，需要做对数据分析和收集有一定了解，于是自己准备收集数据做点小东西。自己的电脑是windows平台下，尝试过用php，但单线程，太慢了。于是转投python，写下自己的流程吧，供大家分享
虽然python最新的已经是python 3.5了，但是因为python2和python3不兼容，很多python库都无法使用了，所以scrapy目前最主流的仍然是基于2.7版本，有兴趣的童鞋可以自己研究python3版本的scrapy。
一、安装python 2.7
- 下载python
下载地址：http://www.python.org/ftp/python/2.7.9/python-2.7.9.msi - 安装，记得勾选以下两项。不然就需要配置环境变量，很是麻烦。
（偷懒截图用的雪峰老师的，推荐雪峰老师的博客：http://www.liaoxuefeng.com/）
安装过程g
- 检查是否安装成功
开发cmd，输入python，看到如图所示就说明安装成功了
安装成功
二、安装Twisted
下载地址：http://twistedmatrix.com/trac/wiki/Downloads
Paste_Image.png
一直下一步下一步就可以了
安装成功
三、安装setuptools
下载地址：http://pypi.python.org/pypi/setuptools
Paste_Image.png
一直下一步下一步就可以了，这里就不截图了
四、安装zope
-
下载链接地址：http://pypi.python.org/packages/2.7/z/zope.interface/zope.interface-4.0.1-py2.7-win32.egg
-
将egg文件拷到我们的目标文件夹中，如图所示
Paste_Image.png
Paste_Image.png
- 命令行中执行以下命令
C:\>cd Python27\Scripts C:\Python27\Scripts>easy_install.exe zope.interface-3.8.0-py2.7-win32.egg - 就可以成功得到如图所示的内容表明安装完成
Paste_Image.png
- 验证是否安装成功，通过python引用看看是否报错，正常情况如下
Paste_Image.png
五、安装w3lib
- 下载链接：http://pypi.python.org/packages/source/w/w3lib/w3lib-1.2.tar.gz
- 解压缩后发现有个stup.py的文件，我们用python命令执行安装命令
Paste_Image.png
Paste_Image.png
- 验证一下安装成功了没有，成功如下，正常被引用
Paste_Image.png
六、 安装libxml2
- 下载地址：http://users.skynet.be/sbi/libxml-python/binaries/libxml2-python-2.7.7.win32-py2.7.exe
- 简单的exe安装直接下一步下一步就可以了
Paste_Image.png
- 验证是否安装成功，引用成功，我们继续
Paste_Image.png
七、安装pyOpenSSL
- 下载地址：http://pypi.python.org/packages/2.7/p/pyOpenSSL/pyOpenSSL-0.13.winxp32-py2.7.msi
- exe文件直接安装，这里可以直接选择进行安装
Paste_Image.png
- 验证是否安装成功
Paste_Image.png
八、最后一步安装Scrapy
- 下载地址：http://pypi.python.org/packages/source/S/Scrapy/Scrapy-0.14.4.tar.gz
- 发现一个setup.py文件，我们用python命令进行安装
Paste_Image.png
Paste_Image.png
- 验证安装，直接输入scrapy。查看运行结果，如下
Paste_Image.png
下一期就给开始正式写爬虫了，敬请期待
网友评论