美文网首页
2020-04-23 HTML数据提取中的致命错误

2020-04-23 HTML数据提取中的致命错误

作者: javen_spring | 来源:发表于2020-04-23 12:17 被阅读0次

昨天晚上到今天一直在搞python BeautifulSoup模块,结果出现“Nonetype”的错误信息,让我摸不着头脑。连老师的参考答案都是一样的,很疑惑。很幸运,今天终于解决了,把知识点mark一下。

没有确认服务器响应,瞎忙活

  • 解决方法:使用Response的status_code属性查看服务器响应
url='your url'
res = requests.get(url)
print(res.status_code)

没有确认数据是否解析

  • 解决办法:print()函数查看
url='your url'
res = requests.get(url)
print(res.status_code)
bs = BeautifulSoup(res.text,'html.parser')
print(bs)  ##可能是空列表

遭遇网站反爬机制

  • 解决方法:加headers,即请求头
  • 查找headers的办法:
查找headers的办法.png

Requests设置请求头Headers

  • 示例:
url='your url'
headers={'User-Agent':'your url user-agent'}
res = requests.get(url,headers=headers)
print(res.status_code)

相关文章

网友评论

      本文标题:2020-04-23 HTML数据提取中的致命错误

      本文链接:https://www.haomeiwen.com/subject/rivoihtx.html