吐个槽

在网上找了好多例子，自己试了很多次，终于搞定了简单的爬虫（包括爬图片），这里不得不说一下，Python 和 node 比起来，安装真是费事，前者差就差在缺一个给力的“大管家”（包管理器），python2和python3就像一个男人娶的两个老婆，你以为是在说大老婆，最后才发现，原来是在说小妾，更重要的是，大老婆是中国的，小妾是国外的，她们经常吵架，特别不和谐...

我在Liniux和Mac os、windows 10（看起来还差一点点就成功了）上都安装了爬虫，下面以 Mac os 的环境来介绍安装过程

安装python3

环境

__ python3(3.6.1)、Mac os(10.11.6)、Conda(4.3.22)__

为啥选Python3.6

很抱歉，我不是历史学家，也不是人类学家，我只是个coder，我讨厌已经过时了的东西，包括 Python2.x ，这个即将被淘汰的版本，大家也不要太过于依赖

为啥不在官网下载安装包

我是通过 Conda 来安装 Python3 的，为什么不在Python官网上安装呢？因为Python好装，Scrapy的依赖却会烦死你
龙套常死于话多，我们开始吧

安装Conda和Python3

Conda 是一个开源的软件包管理系统和环境管理系统，用于安装多个版本的软件包及其依赖关系，并在它们之间轻松切换。
实践证明，通过 Conda 来安装 Scrapy 是最方便的

下载地址

需要注意的是，Conda的“安装包”骨骼惊奇，在Mac 和 Linux下，其实是一个.sh 的文本文件，在windows下面则比较正常，是一个 exe 执行文件

sudo bash Miniconda3-latest-MacOSX-x86_64.sh

它是一个交互式的安装过程，其中会询问你

• 安装在哪里？（我选择的是默认值，即 ~/miniconda3/）
• 是否需要加入.bash_profile 环境（我选择的是yes）
• 同意法律协议（必须yes）
  安装结束后，它会将路径写入到环境变量中，使得你能够在Shell中直接调用Conda中的命令，因为Conda依赖Python，此时你已经安装好了Python，版本是比较新的3.6.1。

安装Scrapy

有了Conda后，安装Scrapy就是一件非常容易的事情了

sudo conda install scrapy

根据网络情况，等上几分钟基本就OK了，Conda会帮你安装好各种依赖。
安装结束后，你可以在shell中，输入scrapy来检查是否安装成功

> scrapy
Usage:
  scrapy <command> [options] [args]
  ...

这就证明成功了

使用

可以切换到工作目录，运行scrapy命令来生成爬虫项目文件

scrapy startproject xxx

这样，就在目录下生成了一个叫做xxx的爬虫项目，至此，你可以爬山爬树爬电杆了！

---

温馨提示

• 在Linux 下安装了Conda，你需要自己动手增加连接ln到环境变量目录下才可以直接以命令的方式使用那些好用到爆的命令哦
• 由于 Windows 10 下，我没有通过Conda来安装，所以被困在了一个叫做pywin32 dll error的小岛上进退不能