爬虫遇到的问题：
今天在爬虫的时候遇到一个Provisional headers are shown的问题，加上自己的爬虫程序加上了headers，可是怎么也得不到想要的结果，被阻止了。自己百度了一下，可是网上说的感觉都过于复杂了，所以本文是自己对问题解决后的一个看法，如有不对请大家指正。
爬取的网页：猫眼电影
1
出现问题：
2
问题解决办法（个人观点）：
由于爬虫被阻止了，由于自己默认的是谷歌浏览器，所以自己把默认浏览器设置为火狐浏览器，于是再次运行自己爬虫程序，所以就解决了。希望对大家有用哦。
个人猜想：
本人使用的编辑器是pycharm,我怀疑我在使用爬虫的时候，请求头是谷歌的，于是，在我们设置了默认浏览器为火狐之后，在使用火狐的headers，于是问题完美解决！！！谢谢
网友评论