背景
因为今天要写一个爬虫,需要长期爬,需要过滤一些重复的请求。。。
所以准备使用 scrapy-deltafetch
发现,要求必须先安装 bsddb3
如何安装bsddb3
当然pip install bsddb3
直接安装肯定是失败了
使用 anaconda
也失败了...
看了下官方文档bsddb3
找半天,竟然没有找到如何安装...wtf!
最后直接使用google大法,
找到了 Installing bsddb package - python
image然后试了下。。。发现还是不行
然后找到了 https://github.com/scrapy-plugins/scrapy-deltafetch/issues/23
image然后发现报错,提示我安装的berkeley-db
版本过高...
那我就想如何安装低版本的 berkeley-db
然后一顿搜索,发现 brew
支持安装不同版本的,发现竟然只有最新版的...(有一个4.几版本的,安装失败了。。。)
这时候,很气,甚至都想要用docker来跑了。。。
最后想想看,还是安装好吧。。。
手动安装
手动安装 berkeley-db
搜到一篇文章 Berkeley DB 6.2インストール手順,真是太感谢这篇文章了!!!
如何安装 bsddb3
-
先到 oracle berkeleydb下面指定的版本,推荐使用
6.2.32
其他的高版本不行... -
解压到适当的文件夹
cd ./db-6.2.32/build_unix
../dist/configure --prefix =/usr/local/Cellar/berkeley-db/6.2.32
sudo make install
- 记住上面的
/usr/local/Cellar/berkeley-db/6.2.32
- 去bsddb3下载 python bsddb3包
- 解压后,并
python setup.py install --berkeley-db=/usr/local/Cellar/berkeley-db/6.2.32
这后面的路径就是 刚刚上面相同的
然后就安装成功了
就可以直接 pip install scrapy-deltafetch
网友评论