美文网首页
scrapy爬虫框架

scrapy爬虫框架

作者: 会飞的_a2f9 | 来源:发表于2018-02-02 16:19 被阅读0次

最近工作之余学习Python网络爬虫,整理点笔记。window环境下做开发会有一些坑,顺便记录下。

1、安装scrap库,管理员打开命令提示符输入pip install scrapy,在这个过程中,可能会有报错,提示缺少MS Visual C++ Build Tools,按照提示给出的网址下载安装,重新pip install scrapy即可。也可以在直接Anaconda Prompt输入conda install scrapy安装而不需安装MS Visual C++ Build Tools,由于本人对Anaconda不熟悉,怕留下坑,所以采用第一种方法安装。

2、创建Scrapy项目,如命令提示符进入D:/pycodes/,输入命令scrapy startproject pydemo。

3、spiders/目录,用户自定义的spider代码增加在此目录下,此外,该目录下有以下文件无需修改:

__pycache__/ ——缓存目录,无需修改

__init__.py ——初始文件,无需修改

4、在工程下生成一个Scrapy爬虫

1)在spider/下增加代码文件demo.py

2)命令提示符在D:/pycodes/pydemo/下输入命令scrapy genspider demo python123.io

5、编写爬虫代码,运行爬虫,获取网页,命令提示符在D:/pycodes/pydemo/下输入命令scrapy crawl demo。在这个过程中,可能会有报错提示:No module named 'win32api',安装pywin32库后,重新执行命令可能会有报错:ImportError: DLL load failed: 找不到指定的模块。将pywin32包的安装目录D:\Program Files\Python36\Lib\site-packages\pywin32_system32\目录下的两个dll文件复制到C:\Windows\System32即可

基于scrapy完善的第三方库https://pypi.python.org/ 查找scrapy-开头的第三方库。

相关文章

网友评论

      本文标题:scrapy爬虫框架

      本文链接:https://www.haomeiwen.com/subject/tplezxtx.html