python伪装浏览器爬虫读取网页内容

小弟最近学习Python，遇到解析HTML相关的，我突然就想到了Python，用Python实现应该不难吧，于是我开始试着用Python读取网页内容，不过过程有点纠结。

有些网站加了保护，CSDN、***、等等很多网站都这样，这就必须要伪装浏览器正常访问了，类似蜘蛛爬虫一样，那么只有给代码加上一个Header，再试试读取HTML。

声明：以下代码在Python 3.3中编写调试完成！

有什么问题还请各位指正，小弟也好学习！
来OSC这么久了，第一篇文章，祝大家新年快乐！红包多多！！！ [图片上传失败...(image-31f258-1549973942265)]

原来想这样实现:

import urllib.request
url = "http://www.oschina.net/"
data = urllib.request.urlopen(url).read()
print(data)

后来是这样：

Created on 2013-1-27
@author: isaced

import urllib.request

url = "http://www.oschina.net/"
headers = ('User-Agent','Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11')

opener = urllib.request.build_opener()
opener.addheaders = [headers]
data = opener.open(url).read()

print(data)

如果你跟我一样都喜欢python，想成为一名优秀的程序员，也在学习python的道路上奔跑，欢迎你加入python学习裙：python裙号：491308659 验证码：南烛 或者加扣扣1346525417
群内每天都会分享最新业内资料，分享python免费柯城，共同交流学习，让学习变（编）成（程）一种习惯！