爬虫学习一
我的系统环境是ubuntu20.04，使用python3.8。
1.了解网页结构
-
打开chrome浏览器，按F12进入开发者模式，点击左上角箭头，再点击网页内容会找到源代码对应位置。
-
点击Network,会看到浏览器向服务器发出的请求时间图，点击图中最左边，再点击Headers，General包含url、远程服务器ip地址等信息，Response Headers是对服务器响应的格式约束，Request Headers包含了我们的浏览器信息。点击Response，看到服务器返回的信息。
2.爬虫框架
2.1整体框架
以爬取豆瓣top250影片信息为例
# -*- coding:utf-8 -*-
import urllib.request as ur
from bs4 import BeautifulSoup#网页解析获取数据
import re#正则表达式，进行文字匹配
import urllib.request,urllib.error#制定URL,获取数据
import xlwt#用于保存成excel
import sqlite3#进行SQLite数据库操作
def main() :
baseurl = "https://movie.douban.com/top250?start="
datalist = getData(baseurl)
savepath = "./Top250.xls"
saveData(datalist,savepath)
findLink = re.compile(r'<a href="(.*?)">')
#影片图片的规则
findImgSrc = re.compile(r'<img.*src="(.*?)"',re.S)#re.S让换行符包含在字符中
#影片片名
findTitle = re.compile(r'<span class="title">(.*)</span>')
#影片评分
findRating = re.compile(r'<span class="rating_num" property="v:average">(.*)</span>')
#评价人数
findJudge = re.compile(r'<span>(\d*)人评价</span>')
#找到概况
findInq = re.compile(r'<span class="inq">(.*)</span>')
#找到影片的相关内容
findBd = re.compile(r'<p class="">(.*?)</p>',re.S)
def getData(baseurl) :
datalist = []
for i in range(0,10) :
url = baseurl + str(i*25)
html = askURL(url)
soup = BeautifulSoup(html,"html.parser")
for item in soup.find_all('div',class_='item') :
data = []
item = str(item)
link = re.findall(findLink,item)[0]
data.append(link)
imgSrc = re.findall(findImgSrc,item)[0]
data.append(imgSrc)
titles = re.findall(findTitle,item)
if (len(titles) == 2) :
ctitle = titles[0]
data.append(ctitle)
otitle = titles[1].replace('/','')
data.append(otitle)
else :
data.append(titles[0])
data.append(' ')
rating = re.findall(findRating,item)[0]
data.append(rating)
judgeNum = re.findall(findJudge,item)[0]
data.append(judgeNum)
inq = re.findall(findInq,item)
if len(inq) != 0 :
inq = inq[0].replace("。",'')
data.append(inq)
else :
data.append(" ")
bd = re.findall(findBd,item)[0]
bd = re.sub('<br(\s+)?'," ",bd)
bd = re.sub('/'," ",bd)
data.append(bd.strip())
datalist.append(data)
print(len(datalist))
return datalist
def askURL(url) :
headers = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36"}#构建一个header，防止被发现是爬虫，User-Agent不要出现空格
request = ur.Request(url=url,headers=headers)#构建一个请求
response = ur.urlopen(request)#发送请求
try :
response = ur.urlopen(request)
html = response.read().decode("utf-8")
# print(html)
return html
except urllib.error.URLError as e :
if hasattr(e,"code") :
print(e.code)
if hasattr(e,'reason') :
print(e.reason)
def saveData(datalist,savepath) :
book = xlwt.Workbook(encoding = "utf-8",style_compression=0) #创建workbook对象
sheet = book.add_sheet('doubanTop250',cell_overwrite_ok=True)#创建工作表
col = ('电影详情链接','图片链接','影片中文名','影片外文名','评分','评价数','概况','相关信息')
for i in range(0,8) :
sheet.write(0,i,col[i])
for i in range(0,250) :
print("第%d条"%(i+1))
data = datalist[i]
for j in range(0,8) :
sheet.write(i+1,j,data[j])
book.save(savepath)
#影片详情链接的规则
if __name__ == "__main__" :
main()
2.2抓取网页源代码
有的写法是import urllib，然后urllib.request.Request，但是这样会显示urllib没有request模块，应该是由于python版本的问题。User-Agent在浏览器的Request Headers中可以找到。
def askURL(url) :
headers = {"User-Agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.116 Safari/537.36"}#构建一个header，防止被发现是爬虫，User-Agent不要出现空格
request = ur.Request(url=url,headers=headers)#构建一个请求
response = ur.urlopen(request)#发送请求
try :
response = ur.urlopen(request)
html = response.read().decode("utf-8")
print(html)
return html
except urllib.error.URLError as e :
if hasattr(e,"code") :
print(e.code)
if hasattr(e,'reason') :
print(e.reason)
给askURL函数传入百度首页的URL:https://www.baidu.com，就会打印出百度首页的源代码,内容较多，这里就不展示了。注意，如果返回错误信息418,则说明对方服务器识别出爬虫。
将打印内容保存到baidu.html中，用chrome浏览器打开，会发现正是百度首页的界面
baidu.html
2.3网页解析
对于一个保存好的网页baidu.html,我们可以通过BeautifulSoup来进行解析
from bs4 import BeautifulSoup
file = open("./baidu.html","rb")
html = file.read()
bs = BeautifulSoup(html,"html.parser")
#print(bs.title)
#print(bs.a)
#print(bs.head)
#查找含标签"a"的分区
t_list = bs.find_all("a")
print(t_list)
#函数法
def name_is_exists(tag) :
return tag.has_attr("name")
t_list = bs.find_all(name_is_exists)
print(t_list)
#Kwargs参数，注意class_有下划线
#t_list = bs.find_all(id = "head")
t_list = bs.find_all(class_=True)
for item in t_list :
print(item)
#text参数
t_list = bs.find_all(text = "hao123")
t_list = bs.find_all(text = ["hao123","地图",“贴吧”])
for item in t_list :
print(item)
#limit参数,限制最多查找个数
t_list = bs.find_all("a",limit=3)
for item in t_list :
print(item)
#CSS选择器
#t_list = bs.select('title') #通过标签来查找
#t_list = bs.select(".mnav") #通过类名来查找
#t_list = bs.select("#v1")#通过id来查找
#t_list = bs.select("a[class='bri'])#通过属性查找
#t_list = bs.select("head > title")#通过子标签
t_list = bs.select(".mnav ~ .bri")#通过兄弟标签
print(t_list[0].get_text())
2.4正则表达式提取信息
正则表达式能够精确提取信息，这里直接搬运一下常用操作符
常用操作符1
常用操作符2
举例，如何匹配aabbcc@126.com,可以用.*@126.com
Re库主要功能函数
修饰符
举例
import re
#创建模式对象
pat = re.compile("AA")
m = pat.search("ABCAADDCCAAA")
print(m)#默认返回第一个匹配到的位置
#输出结果<re.Match object; span=(3, 5), match='AA'>
#无模式对象匹配
#m = re.search("asd","Aasd")
#print(m)
print(re.findall("a","ASDaDFGAa"))
print(re.findall("[A-Z]+","ASDaDFGAa"))
#替换方法sub
print re.sub("a","A","abcdcasd"))
#找到所有'a'，并将其替换为'A'
建议在正则表达式中，被比较的字符串前面加上r，如 r"\aabd-'"，不用担心转义字符的问题。
2.5保存数据
def saveData(datalist,savepath) :
book = xlwt.Workbook(encoding = "utf-8",style_compression=0) #创建workbook对象
sheet = book.add_sheet('doubanTop250',cell_overwrite_ok=True)#创建工作表
col = ('电影详情链接','图片链接','影片中文名','影片外文名','评分','评价数','概况','相关信息')
for i in range(0,8) :
sheet.write(0,i,col[i])
for i in range(0,250) :
print("第%d条"%(i+1))
data = datalist[i]
for j in range(0,8) :
sheet.write(i+1,j,data[j])
book.save(savepath)
最终得到这样一张excel表
保存结果
3.补充
3.1 get和post方法的区别
get请求：
一般情况下，只从服务器获取数据，并不会对服务器数据产生影响的时候用get请求；
如 :
response = urllib.request.urlopen("http://httpbin.org/get")
print(response.read().decode("utf-8"))
post请求：
向服务器发送数据（登录），上传文件等，会对服务器资源产生影响的时候用post请求
import urllib.parse
data = bytes(urllib.parse.urlencode({"hello":"world"}),encoding="utf-8")
response = urllib.request.urlopen("http://httpbin.org/post",data=data)
print(response.read().decode("utf-8"))
网友评论