- webbroswer：是python自带的，打开浏览器并打开指定页面。
- requests：从因特网上下载网页和文件。需安装（pip install requests），导入（import requests）。
- beautiful soup：解析HTML，即网页编写的格式。需安装（==pip install beautifulsoup4==），导入（==import bs4==）。
文档地址：https://www.crummy.com/software/BeautifulSoup/bs4
https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/
sys.argv 变量保存了程序的文件名和命令行参数。
如果速度够，用 Beautiful Soup 等能实现解析 HTML，就别用正则，因为正则可能出现考虑不周全的情况。当然有时候特殊情况还是用正则。
用 request 请求网页（响应结果的 text 属性传给 bs4 对象）或者直接 open 打开一个 HTML 文件，然后传递给 BeautifulSoup 对象，再用 select 方法寻找元素。这就是一种简单的爬虫方法。
#! python3
import requests, bs4
res = requests.get('http://www.baixing.com/aladdin/baidu/fuwu/normal/index.xml') # 从网站请求
res.raise_for_status() #检查请求是否成功，若成功，什么也不做；若失败，则抛出异常。
# exampleFile = open('example.html') # 直接打开HTML文件的方式
# exampleSoup = bs4.BeautifulSoup(exampleFile) # 可向bs4.BeautifulSoup()传递一个HTML文件对象
exampleSoup = bs4.BeautifulSoup(res.text) # 也可向bs4.BeautifulSoup()传递从网站请求来的text内容
elems = exampleSoup.select('loc')
# for i in range(117): # 发现由于抓取的网页较多，速度较慢
# del elems[1] # 所以测试的时候，可以删除一些存放网页的元素
ans = [] # php中变量前有$符号，所以不用提前弱弱地声明一下，但Python中要！
for every in elems:
childHtml = requests.get(every.getText())
allContent = bs4.BeautifulSoup(childHtml.text)
catg = allContent.select('catg')
for eve in catg:
ans.append(eve.getText()) # php循环遍历内部，想在ans中追加元素，直接 $ans[] = 欲追加内容
# print(eve.getText())
print(type(ans))
print(len(ans))
print(ans)
| 传递给select() 方法的选择器 | 将匹配…… |
|---|---|
| bs4soup.select('div') | 所有名为<div>的元素 |
| bs4soup.select('#author') | 带有 id 属性为 author 的元素 |
| bs4soup.select('.notice') | 所有使用 CSS class 属性名 为notice 的元素 |
| bs4soup.select('div span') | 所有在 <div> 元素之内的 <span> 元素，中间没有其他元素 |
| bs4soup.select('div > span') | 所有直接在 <div> 元素之内的 <span> 元素，中间没有其他元素 |
| bs4soup.select('p #author') | 所有 id 属性为 author 的元素，只要它在一个 <p> 元素之内 |
| bs4soup.select('input[name]') | 所有名为 <input>，并有一个 name 属性，其值无所谓的元素 |
| bs4soup.select('input[type="button"]') | 所有名为 <input>，并有一个 type 属性，其值为 button 的元素 |
有 select 方法选择 CSS 选择器元素的一些用法，如：
| 传递给select() 方法的选择器 | 将匹配…… |
|---|---|
| bs4soup.select('div') | 所有名为<div>的元素 |
| bs4soup.select('#author') | 带有 id 属性为 author 的元素 |
| bs4soup.select('.notice') | 所有使用 CSS class 属性名 为notice 的元素 |
| bs4soup.select('div span') | 所有在 <div> 元素之内的 <span> 元素，中间没有其他元素 |
| bs4soup.select('div > span') | 所有直接在 <div> 元素之内的 <span> 元素，中间没有其他元素 |
| bs4soup.select('p #author') | 所有 id 属性为 author 的元素，只要它在一个 <p> 元素之内 |
| bs4soup.select('input[name]') | 所有名为 <input>，并有一个 name 属性，其值无所谓的元素 |
| bs4soup.select('input[type="button"]') | 所有名为 <input>，并有一个 type 属性，其值为 button 的元素 |
attrs 给了我们一个字典，包含该元素的属性和属性的值。Tag 对象的 get() 方法可以很方便地从元素中获取属性值。
在谷歌或百度搜索出来的结构链接元素，大概这样：
<a href="rul?sa=t&rct=j&后面可能还有一大堆">
但是 <a>元素有很多，如何区分哪些就是查询结果的链接呢？查看别的 HTML 发现，假如 r 类仅用于查询结果链接，那么就可以用选择符 '.r a'，找到需要的检索结果。若想使用 Beautiful Soup，从下载的 HTML 中，提取排名靠前的numOpen查找结果链。
# 前面代码省略
linkElems = soup.select('.r a')
for i in range(numOpen):
webbrowser.open('http://google.com' + linkElems[i].get('href'))
自动下载 XKCD 漫画
import requests, os, bs4
# url = 'http://xkcd.com' 这样会下载很久，所以直接从10张开始往前下载
url = 'http://xkcd.com/10'
os.makedirs('xkcd', exist_ok=True)
while not url.endswith('#'):
# 下载（请求）页面
print('Downloading page %s ...' % url)
res = requests.get(url)
res.raise_for_status()
soup = bs4.BeautifulSoup(res.text)
# 找到漫画图片的url，并请求之
comicElem = soup.select('#comic img')
if comicElem == []:
print('Could not find comic image.')
else:
comicUrl = 'http:' + comicElem[0].get('src')
print('Dowloading image %s' % comicUrl)
res = requests.get(comicUrl)
res.raise_for_status()
# 保存图像，并找到前一张图像
imageFile = open(os.path.join('xkcd', os.path.basename(comicUrl)), 'wb')
for chunk in res.iter_content(100000):
imageFile.write(chunk)
imageFile.close()
# 找到上一张Prev按钮的url。
prevLink = soup.select('a[rel="prev"]')[0]
url = 'http://xkcd.com' + prevLink.get('href')
print('Done.')
调用 os.path.basename() 时传入 comicURL，它只返回 URL 的最后部分 ***.png，这样就可以方便地作为文件了。用 os.path.join() 连接这个名称和 xkcd 文件夹的名称，这样程序会在 Windows 下使用到斜杠（\），在OS X 和 Linux 下使用斜杠（/）连接。
下载页面并跟踪链接，是许多网络爬虫程序的基础。类似的程序还可以做下面的事情：
☆ 顺着网站的所有链接，备份整个网站。
☆ 拷贝一个论坛的所有信息。
☆ 复制一个在线商店中所有产品的目录。
但有时候，网站可能要求你先登录，这就需要 selenium 模块来执行一些复杂任务了。
网友评论