Mac OS X安装 Scrapy

环境：Mac OS X Yosemite 10.11.4

<h3>安装Scrapy</h3>

学习Python爬虫必须要使用的框架Scrapy，以下是安装教程 以及可能遇到的问题和解决办法.

打开终端执行以下命令:
<code>sudo easy_install pip</code>
pip 和 easy_install 都是 Python 的框架管理命令，pip 是对 easy_install的升级。
安装成功后接着执行以下命令:
<code>sudo pip install Scrapy</code>

如果执行成功，那么 Scrapy 就安装成功了

但往往事与愿违，你很有可能遇到如下错误：OSError: [Errno 1] Operation not permitted ,就是各种root都不可以,google之后才发现这和新系统有个叫sip的机制有关.
<p> 由于El Capitan引入了SIP机制(System Integrity Protection)， 默认下系统启用SIP系统完整性保护机制，无论是对于硬盘还是运行时的进程限制对系统目录的写操作。 这就是这个OSError: [Errno 1] Operation not permitted 错误的原因,解决办法就是取消SIP机制，具体做法是：
重启电脑，按住Command+R(直到出现苹果标志)进入Recovery Mode(恢复模式),左上角菜单里找到实用工具 -> 终端输入csrutil disable回车重启Mac即可
如果想重新启动SIP机制重复上述步骤改用csrutil enable即可
我们现在再看看sip的状态,
<code>$ csrutil status
System Integrity Protection status: disabled.</code>
这样再安装时再也不会提示无法写入的权限提示了</p>
如果在mac下碰到OSError: [Errno 1] Operation not permitted:的问题，就算用sudo 也无法解决，那肯定是sip在作怪了.

权限的问题解决好后,你也有可能遇见这种错误:

Paste_Image.png

解决方法有如下几种：你可以使用任意一种

1、终端执行命令安装或更新命令行开发工具：
<code>xcode-select --install</code>

2、配置路径：C_INCLUDE_PATH
<code>C_INCLUDE_PATH=/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.10.sdk/usr/include/libxml2:/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.10.sdk/usr/include/libxml2/libxml:/Applications/Xcode.app/Contents/Developer/Platforms/MacOSX.platform/Developer/SDKs/MacOSX10.10.sdk/usr/include
</code>

3、参照官网使用如下命令安装Scrapy
<code>STATIC_DEPS=true pip install lxml</code>

一般此三个方法就可解决错误成功安装Scrapy

如果安装成功了 但是在python下执行import scrapy报下面的错误
<code>Traceback (most recent call last):
File "<stdin>", line 1, in <module>
File "/Library/Python/2.7/site-packages/scrapy/init.py", line 48, in <module>
from scrapy.spiders import Spider
File "/Library/Python/2.7/site-packages/scrapy/spiders/init.py", line 10, in <module>
from scrapy.http import Request
File "/Library/Python/2.7/site-packages/scrapy/http/init.py", line 12, in <module>
from scrapy.http.request.rpc import XmlRpcRequest
File "/Library/Python/2.7/site-packages/scrapy/http/request/rpc.py", line 7, in <module>
from six.moves import xmlrpc_client as xmlrpclib
ImportError: cannot import name xmlrpc_client</code>

虽然我也不知道具体原因但已经在stackoverflow上找到解决办法:
在命令行终端依次执行下列命令即可:
<code>sudo rm -rf /Library/Python/2.7/site-packages/six</code>
<code>sudo rm -rf/System/Library/Frameworks/Python.framework/Versions/2.7/Extras
/lib/python/six</code>
<code>sudo pip install six</code>