昨天晚上到今天一直在搞python BeautifulSoup模块,结果出现“Nonetype”的错误信息,让我摸不着头脑。连老师的参考答案都是一样的,很疑惑。很幸运,今天终于解决了,把知识点mark一下。
没有确认服务器响应,瞎忙活
- 解决方法:使用Response的status_code属性查看服务器响应
url='your url'
res = requests.get(url)
print(res.status_code)
没有确认数据是否解析
- 解决办法:print()函数查看
url='your url'
res = requests.get(url)
print(res.status_code)
bs = BeautifulSoup(res.text,'html.parser')
print(bs) ##可能是空列表
遭遇网站反爬机制
- 解决方法:加headers,即请求头
- 查找headers的办法:
- 示例:
url='your url'
headers={'User-Agent':'your url user-agent'}
res = requests.get(url,headers=headers)
print(res.status_code)
网友评论