美文网首页
scrapy框架基本命令

scrapy框架基本命令

作者: 护国寺小学生 | 来源:发表于2019-01-31 19:03 被阅读0次

scrapy fetch https://www.baidu.com --nolog#爬虫

scrapy shell http://ww.baidu.com#进入交互模式

scrapy version#查看版本

scrapy view http://news.163.com#爬网易新闻以网页形式打开

scrapy -h#查看命令

scrapy bench#测试爬虫最大条数

scrapy startproject first#创建爬虫项目

#进入first文件夹下cd first

scrapy genspider -l#查看爬虫模板

scrapy genspider -t basic weisu baidu.com#创建爬虫文件

scrapy check weisu#检查测试爬虫文件

scrapy crawl weisu#运行爬虫文件

scrapy list#展示可使用的爬虫文件

scrapy parse http://www.baidu.com


#xpath用法

/依次寻找

//查找所有

@查找属性

text()查找文本内容

//标签[@属性=值]/标签/@属性


相关文章

网友评论

      本文标题:scrapy框架基本命令

      本文链接:https://www.haomeiwen.com/subject/fumptqtx.html