网页数据的采集及相关库
-
在python中我们通过网络库进行数据的采集和下载。
网络库.png
urllib库、requests库，他们俩是http协议常用库
BeautifulSoup库，它是xml格式处理库
from urllib import request
url = "http://www.baidu.com"
response = request.urlopen(url,timeout=2)
print(response.read().decode('utf-8'))
- 在python中字符串和字节之间的相互转换是通过encode()、decode()、bytes()、str()这些函数实现的。Python3中严格区分了字符串和字节的概念，在网络的底层传输的文字就是字节形式，而上层是字符串形式，我们”看得懂“的是字符串，但是很多底层函数需要用到字节形式。就必然产生了字符串和字节之间相互转换的需求，那么上面提到的几个函数就是用来做字符串和字节之间转换的。
如我们需要字符串转换成字节，可以使用bytes()或encode()进行转换：
s='你好'
b1=s.encode('utf-8') # 使用utf8编码将字符串转换为字节
b2=bytes(s, encoding='utf-8') #和上面功能一样
将字节转换回字符串:
b1.decode('utf-8')
str(b2, encoding='utf-8')
这就是这几个函数之间的区别
网页常用的两种请求方式get和post
http://httpbin.org/是一个网络请求的网站
from urllib import request
from urllib import parse
# get请求和post请求
getresponse = request.urlopen("http://httpbin.org/get",timeout=1)
print(getresponse.read().decode('utf-8'))
data = bytes(parse.urlencode({'world':'hello'}),encoding='utf-8')
postresponse = request.urlopen("http://httpbin.org/post",data=data)
print(postresponse.read().decode('utf-8'))
在网络请求中一般需要设置超时时间timeout，否则当发生超时会一直卡住。我们通过设置timeout= 0.1s来模拟超时，并通过try捕获异常
import socket
import urllib
try:
response2 = request.urlopen("http://httpbin.org/get",timeout=0.1)
print(response2.read().decode('utf-8'))
except urllib.error.URLError as e:
# 判断异常的原因是不是socket超时导致的
if isinstance(e.reason,socket.timeout):
print("time out")
http头部信息的模拟
当我们使用urllib库进行网络信息的请求时，有时会被拒绝。这是因为网站为了防止用户恶意获取数据，增加了一些验证，主要是验证我们的请求是不是一个标准的浏览器。当我们使用urllib请求和浏览器请求时，请求的头部信息headers是有区别的。urllib的headers客户端信息是"User-Agent": "Python-urllib/3.6"，而浏览器的headers中客户端信息是"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.142 Safari/537.36"
所以我们在提交时不仅可以在提交我们的url请求，同时还可以提交一份我们自己模拟的http头部信息。
from urllib import request, parse
url = 'http://httpbin.org/post'
headers = {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
# "Accept-Encoding": "gzip, deflate",
"Accept-Language": "zh-CN,zh;q=0.8",
"Connection": "close",
"Cookie": "_gauges_unique_hour=1; _gauges_unique_day=1; _gauges_unique_month=1; _gauges_unique_year=1; _gauges_unique=1",
"Referer": "http://httpbin.org/",
"Upgrade-Insecure-Requests": "1",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER"
}
dict = {
'name': 'value'
}
data = bytes(parse.urlencode(dict), encoding='utf8')
req = request.Request(url=url, data=data, headers=headers, method='POST')
response = request.urlopen(req)
print(response.read().decode('utf-8'))
注：上面的示例中注释掉了"Accept-Encoding": "gzip, deflate"，否则会报如下错：
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x8b in position 1: invalid start byte
首先 HTTP Header中Accept-Encoding 是浏览器发给服务器,声明浏览器支持的编码类型 ，就是定义了客户端和浏览器传输传输”文本内容“时是否需要压缩，而gzip, deflate就是客户端和服务端通用的压缩算法。为什么会出现上面的UnicodeDecodeError的错误呢？是因为Python默认按照utf-8的编码读取网页文件时，发现是乱码（因为被压缩过了），所以报错了。就像是一个txt的文本文件如果被rar压缩软件压缩过，再用记事本打开是乱码是同样的道理。所以结论就是要根据服务端的网页编码确定是否需要进行 'Accept-Encoding':' gzip, deflate' 的解压缩操作。
Requests库的基本使用
requests是对urllib封装的第三方库，方便我们进行get和post的网络请求。
-
安装方式
也是需要通过pip来进行安装，pip install requests
-
requests进行网络请求
import requests # get请求 url = 'http://httpbin.org/get' data = {'key': 'value', 'abc': 'xyz'} # .get是使用get方式请求url，字典类型的data不用进行额外处理 response = requests.get(url,data) print(response.text) # post请求 url = 'http://httpbin.org/post' data = {'key': 'hello', 'text': 'world'} # .post表示为post方法 response = requests.post(url,data) # 返回类型可以为text，也可以为json格式 print(response.json())
Request结合正则表达式爬取图片链接
import requests
import re
content = requests.get('http://www.cnu.cc/discoveryPage/hot-人像').text
# print(content)
# <div class="grid-item work-thumbnail">
# <a href="http://www.cnu.cc/works/329928" class="thumbnail" target="_blank">
# <div class="title">四十七</div>
# <div class="author">拍照的古德卡特</div>
# re.S叫做单行模式，就是你用正则要匹配的内容在多行里，会增加你要匹配的难度，这时候使用re.S把每行最后的换行符\n当做正常的一个字符串来进行匹配的一种小技巧
pattern = re.compile(r'<a href="(.*?)".*?title">(.*?)</div>',re.S)
results = re.findall(pattern,content)
print(results)
for result in results:
url,name = result
# '\s'匹配空白的字符，在utf-8编码下，换行符 空格等都可以匹配
print(url,re.sub('\s','',name))
Beautiful Soup的安装和使用
-
安装
通过pip安装：
pip install bs4 -
示例
html_doc = """ <html><head><title>The Dormouse's story</title></head> <body> <p class="title"><b>The Dormouse's story</b></p> <p class="story">Once upon a time there were three little sisters; and their names were <a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>, <a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and <a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>; and they lived at the bottom of a well.</p> <p class="story">...</p> """ from bs4 import BeautifulSoup # 指定以'xml'的格式来解析 soup = BeautifulSoup(html_doc,'lxml') # 通过soup.prettify()来对混乱的格式进行格式化处理 print(soup.prettify()) # 找到title标签 # print(soup.title) # title 标签里的内容 # print(soup.title.string) # 找到p标签 print(soup.p) # 找到p标签class的名字 soup.p['class']默认取第一个 print(soup.p['class']) # 找到第一个a标签 # print(soup.a) # 找到所有的a标签 # print(soup.find_all('a')) # 找到id为link3的的标签 print(soup.find(id="link3")) # 找到所有<a>标签的链接 # for link in soup.find_all('a'): # print(link.get('href')) # 找到文档中所有的文本内容 # print(soup.get_text())当提示
bs4.FeatureNotFound: Couldn't find a tree builder with the features you requested: lxml. Do you need to install a parser library?报错时，需要通过pip install lxml安装lxml解决
使用爬虫爬取新闻网站
爬取百度新闻网页内容
from bs4 import BeautifulSoup
import requests
headers = {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Accept-Language": "zh-CN,zh;q=0.8",
"Connection": "close",
"Cookie": "_gauges_unique_hour=1; _gauges_unique_day=1; _gauges_unique_month=1; _gauges_unique_year=1; _gauges_unique=1",
"Referer": "http://www.infoq.com",
"Upgrade-Insecure-Requests": "1",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER"
}
# url = 'http://www.infoq.com/cn/news'
url = 'http://news.baidu.com/'
def craw(url):
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'lxml')
for hotnews in soup.find_all('div', class_='hotnews'):
for news in hotnews.find_all('a'):
print(news.text,end=' ')
print(news.get('href'))
# 获取新闻标题
craw(url)
使用爬虫爬取图片链接并下载图片
from bs4 import BeautifulSoup
import requests
import os
import shutil
headers = {
"Accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8",
"Accept-Language": "zh-CN,zh;q=0.8",
"Connection": "close",
"Cookie": "_gauges_unique_hour=1; _gauges_unique_day=1; _gauges_unique_month=1; _gauges_unique_year=1; _gauges_unique=1",
"Referer": "http://www.infoq.com",
"Upgrade-Insecure-Requests": "1",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.98 Safari/537.36 LBBROWSER"
}
url = 'http://www.infoq.com/cn/presentations'
# 取得图片
def craw3(url):
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'lxml')
for pic_href in soup.find_all('div', class_='news_type_video'):
for pic in pic_href.find_all('img'):
imgurl = pic.get('src')
dir = os.path.abspath('.')
# 通过os.path.basename()只取图片url地址后面的 xx.jpg名字
filename = os.path.basename(imgurl)
imgpath = os.path.join(dir, filename)
print('开始下载 %s' % imgurl)
download_jpg(imgurl, imgpath)
# 下载图片
# Requests 库封装复杂的接口，提供更人性化的 HTTP 客户端，但不直接提供下载文件的函数。
# 需要通过为请求设置特殊参数 stream 来实现。当 stream 设为 True 时，
# 上述请求只下载HTTP响应头，并保持连接处于打开状态，
# 直到访问 Response.content 属性时才开始下载响应主体内容
def download_jpg(image_url, image_localpath):
response = requests.get(image_url,stream = True)
if response.status_code == 200:
with open(image_localpath,'wb') as f:
response.raw.decode_content = True
shutil.copyfileobj(response.raw,f)
# 翻页
j = 0
for i in range(12, 37, 12):
url = 'http://www.infoq.com/cn/presentations' + str(i)
j += 1
print('第 %d 页' % j)
craw3(url)
主流爬虫框架
python爬虫框架非常多，比较流行主要有Scrapy、PySpider。Scrapy因为有XPath和CSS选择器，从个人使用习惯更好用一些。pyspider更简单，上手较快。还有值得学习的有urllib2、urllib3、selenium这些包，简单的爬虫用urllib就可以实现了。selenium可以调用浏览器，完整的解析js，执行速度上要慢，这些都是编写爬虫常用的包
网友评论