爬取一个网页共分为两步：
一是向服务器提出请求
当我们在上网时，每点击一个新的网页，其实都是在向服务器发送一个请求（Request），服务器在接到我们的请求之后，会返回一个回信（Response）。在提出请求（Request）的方法中，一共有get、post、head、put、options、connect、trace、delete等8种方法，其中最常用的方法是get，用get方法几乎能爬取90%的网页。
编写代码时，需加载第三方库requests，代码写为import requests。
二是爬取网页
通过爬虫获取数据一共分为3步：
①使用BeautifulSoup解析网页
代码写为：soup = BeautifulSoup(html,'lxml')，对这句代码可以这样理解：
Beautiful Soup是一个可以从HTML或XML文件中提取数据的Python库，它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式。
lxml也是Python库，将它放入 Beautiful Soup中，作为一种转化工具，去对输入的网页进行解析。
课程中，侯爵老师的类比非常生动，如果说soup是我们准备做的一碗汤，那html就是所需的食材，而lxml就是做这碗汤所需的食谱。
②描述要爬取的信息位置
定位要爬取的信息位置代码为：XXX = soup.select('需爬取信息的位置')，XXX为爬取信息的名称，select顾名思义，就是去选择并找到解析出的信息。
以即将爬取的网页http://bj.xiaozhu.com为例，打开网页，右键点击检查，在弹出的窗口中，右键点击需爬取的内容代码，在弹出的窗口内注意copy中的两个选项，一个是Copy selector，另一个是Copy XPath。两者都是选择复制网页的位置路径，但略有不同。将两者复制进行比较：
Copy selector：
body > div.wrap.clearfix.con_bg > div.con_l > div.pho_info > h4 > em
Copy XPath：
/html/body/div[3]/div[1]/div[1]/h4/em
在目前的爬虫中，主要是使用Copy selector，具体介绍一下Copy selector。在Copy selector的路径结构中，【>】表示了父子级的关系，【.】表示的是class属性。
例如我去定位“白格美居东三环地铁国贸潘家园（长租特惠）”这个标题，他的第一父级路径就写为div.wrap clearfix con_bg，子级路径写为：div.con_1，子孙级路径写为：div.pho_info，最后找到子孙节点下的h4标签下的em标签，获取标签中的信息。最终用【>】将父级、子级、子孙级等全部连接起来，最终路径写为：div.wrap.clearfix.con_bg > div.con_l > div.pho_info > h4 > em。（PS：注意在【>】前后都必须有一个空格。）
将路径写下来是为了帮助准确定位需要的信息，但路径并不是越详细越好，只要能确保所填写的路径为唯一对应就行。在这个例子中，只输入“div.pho_info > h4 > em”，通过ctrl+F查找，已经能确定只有唯一的一个查找目标，那在填写路径时，只填写“div.pho_info > h4 > em”也同样能爬取到我们需要的信息。（PS：在复制出来的路径中，有时候会包含类似div:nth-child(2)、li:nth-child(1)的信息，这时候需要将div、li等之后的:nth-child(x)删除。）
③通过方法获取数据
通过抓取以上信息所获得的数据往往很多是多于的部分，因此还需进一步获取我们想要的信息。例如刚才抓取的标题信息，输出的内容为：[<em>白格美居东三环地铁国贸潘家园（长租特惠）</em>]，但我们其实只需要【白格美居东三环地铁国贸潘家园（长租特惠）】这个内容，因此还需把不要的内容去掉。
通过调用BeautifuSoup的方法去获得信息，例如此例中，用到的方法是get_text()。
在爬虫中，常用到的方法有：
get_text()：返回选择的标签文本
get('')：选择标签中的属性 (也就是标签属性中=符号的左边)，常用于获取链接和图片
接下来是课程中的作业，爬取http://bj.xiaozhu.com/中的相关信息。
代码如下：
总结：
1.爬取一个网页共分为两步，一是向服务器提出请求，二是对网页进行解析爬取；
2.爬取一个网页需要经历大致3步，一是使用BeautifulSoup解析网页，二是描述要爬取的信息位置，三是获取所需数据。
网友评论