1、创建 scrapy 项目 scrapy startproject filedName
-w753 -w523明确目标
-w7932、scrapy genspider filedName itcase.cn(爬取域范围)
-w7583、爬取 scrapy crawl [crawl name] -o file
-w751 WX20180828-215138 -w822爬虫命令导出文件,支持四种导出文件方式, Json,csv,xml,json lines
爬虫出现乱码可以使用代码解决
-w803yield 作用: 返回数据,函数变为生成器,一直获取值,值不会重新执行,有 Return 一样的作用。在上次执行的地方继续执行。返回给管道,返回给管道后,继续进行到 for 循环里面。避免存放到空列表中占用较大内存。
错误提示处理:
TypeError: write() argument must be str, not bytes
之前文件打开的语句是:
filehandle = open(WAV_FILE, 'w')
然后使用二进制方式打开就没有这个问题:
filehandle = open(WAV_FILE, 'wb+')
产生问题的原因是因为存储方式默认是二进制方式。
爬虫的一般步骤
-w604469.jpg)
网友评论