若是访问的网址不在域名限制里面,会被过滤掉,两种处理方式:
第一种:
把域名加到域名限制里面
第二种:
域名限制里面什么都不写,表示都可以
发送post请求
scrapy.FormRequest(url=url,callback=处理函数,formdata=formdata)
注意:如果不重写start_request()方法,scrapy默认发送的是get方法,无论是什么请求,scrapy是先发get请求,如果想一上来就发post请求,需要重写start_request()方法
def start_request(self):
post_url = '起始网址';
注意:将start_url起始url注释掉
网友评论