python爬虫

http://c.biancheng.net/view/2011.html
爬虫的基本原理
网页请求的过程分为两个环节：
Request （请求）：每一个展示在用户面前的网页都必须经过这一步，也就是向服务器发送访问请求。
Response（响应）：服务器在接收到用户的请求后，会验证请求的有效性，然后向用户（客户端）发送响应的内容，客户端接收服务器响应的内容，将内容展示出来，就是我们所熟悉的网页请求，如图 8 所示。

如果只要爬取get/post的数据只要request就好
如果需要解析静态页面的需要配合beautiful soup