1、爬取素材网图片
import urllib.request
from lxml import etree
import os
# 定义一个函数将url和页面序号处理成请求对象
def handle_url(url,page):
# 处理url字符串
if page == 1:
page_url = url + ".html"
else:
page_url = url + "_"+str(page) + ".html"
# 处理请求头
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
# 创建请求对象
req = urllib.request.Request(url=page_url,headers=headers)
return req
# 定义一个函数用请求对象发起请求并且得出响应结果
def request_sucai(req):
# 发起请求
res = urllib.request.urlopen(req)
html = res.read().decode("utf-8")
# print(html)
# 解析html页面，得到素材图片url列表
html_tree = etree.HTML(html)# 把html字符串加载到etree中，转化成一个层级结构
# 接下来在html_tree中提取出我们想要的内容
img_list = html_tree.xpath("//div[starts-with(@class,'box')]/div//img/@src2")
# 这里有一个反爬：隐藏属性在源码用src2代替了src
# print(img_list)
return img_list
# 定义一个函数用图片的url列表下载图片
def download_imgs(img_url_list):
# 遍历url列表
for url in img_url_list:
# 生成图片存储的路径名
dirpath = "./meinvxiezhen/"
# 图片的名字
suffix = os.path.splitext(url)[-1]
# 取图片的名字
img_name = os.path.splitext(url)[0].split("/")[-1]
print(img_name)
# http: // pic1.sc.chinaz.com / Files / pic / pic9 / 201709 / zzpic7097_s.jpg
# 拼接处图片存储路径
filename = dirpath + img_name + suffix
print(filename)
# 下载图片
print("当前正在下载："+url)
urllib.request.urlretrieve(url=url,filename=filename)
# 定义main函数，处理业务逻辑
def main():
url = "http://sc.chinaz.com/tupian/meinvxiezhen"
# 输入起始页
start_page = input("请求输入起始页：")
# 请输入终止页
end_page = input("请输入终止页：")
# 从起始页遍历到终止页
print("开始下载...")
for i in range(int(start_page),int(end_page)+1):
# 处理页面的url
req = handle_url(url,i)
# 发起请求
sucai_list = request_sucai(req)
# 下载素材列表中的url对应的素材
download_imgs(sucai_list)
print("下载完毕！")
if __name__ == "__main__":
main()
2、bs4使用
from bs4 import BeautifulSoup
# bs4主要用于解析网页，在解析的的时候主要是按照css选择器的规则来选取网页上的元素
# 创建一个bs4对象
soup = BeautifulSoup(open("./soup_test.html",encoding="utf-8"),"lxml")
# 参数1，代表我们要解析的那个html字符串 参数2，代表一个本地解析器（这个解析器可以增加bs4的解析速度）
# print(soup)
# 1、根据标签名查找对象,返回的是这一类标签的第一个
print(soup.title)
print(soup.li)
# 2、获取节点的属性值
obj_a = soup.a
print(obj_a.get("title")) # 用get函数
print(obj_a["href"]) # 用[]获取
print(obj_a.attrs) # 获取obj_a所有属性
print(obj_a.name) # 获取标签名
# 3、获取标签中的内容
print(obj_a.string) # string属性代表标签内容中字符串（包含被注释掉的那些部分）
print(obj_a.get_text()) # get_text()获取内容的时候，会自动把注释内容剔除掉
# 4、获取子节点
# 1) 获取直接的子节点
print(soup.body.children) # 用children属性把获取到的子节点放入一个迭代器中
# print(soup.body.contents[1]) # 用contents属性获取到是一个列表，列表存放所有的子节点
# 2) 获取所有的后代节点
print(soup.body.descendants)
# for i in soup.body.descendants:
# print(i)
# 5、根据相关的函数来查找
# 1) find函数，返回的是一个对象
print("=================================")
print(soup.find("a"))
print(soup.find("a",id="hong"))
# 2) find_all 函数，返回的是一个列表
print(soup.find_all("a"))
print(soup.find_all(["a","span",'li'],class_="taohua"))
print(soup.find_all(["a","span","li"],limit=3)) # 找前三个
# 3) select函数，根据css选择器来查找
print(soup.select(".tang ul li"))
print(soup.select("div.tang"))
3、智联抓取信息
import urllib.request
from bs4 import BeautifulSoup
import urllib.parse
import json
# 定义一个爬虫类
class ZhilianSpider(object):
# 重写构造方法
def __init__(self,url,job,area,start,end):
self.url = url
self.job = job
self.area = area
self.start = start
self.end = end
self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36'}
# 定义一个成员方法，用于处理url
def handle_url(self,page):
# jl=%E6%B7%B1%E5%9C%B3&kw=python&p=1
# 处理url，初始url就是self.url
# 处理请求体
data = {
"jl":self.area,
"kw":self.job,
"p":page
}
# 将data处理成参数
data = urllib.parse.urlencode(data)
# get请求的请求体需要拼接url后面
url = self.url + data
# print(url)
# 创建请求对象
req = urllib.request.Request(url=url,headers=self.headers)
return req
# 定义一个成员方法，用于请求网页
def request_jobs(self,req):
# 发起一个请求
res = urllib.request.urlopen(req)
return res.read()
# 定义一个方法，用于解析响应结果
def hanlde_res(self,content):
# 把content初始化成一个bs4对象
soup = BeautifulSoup(content,"lxml")
# print(soup)
# 选取所有的职务信息
job_list = soup.select(".newlist")[1:]
# print(job_list)
# 遍历所有的职务信息，从中找出我们所需要的
for job in job_list:
# 职务名称
zwmc = job.select(".zwmc > div > a")[0].get_text()
# print(zwmc)
# 公司名称
gsmc = job.select(".gsmc > a")[0].get_text()
# print(gsmc)
# 薪资
zwyx = job.select(".zwyx")[0].get_text()
print(zwyx)
# 工作地点
gzdd = job.select(".gzdd")[0].get_text()
# 整合信息
item = {"zwmc":zwmc,"gsmc":gsmc,"zwyx":zwyx,"gzdd":gzdd}
yield item
# 封装一个本类的对外接口，用于处理类内部的业务逻辑
def start_crawl(self):
# 定义一个列表用于存储所有的页面的职位信息
jobItems = []
# 从start遍历到end
for page in range(int(self.start),int(self.end)+1):
# 创建请求对象
req = self.handle_url(page)
# 发起请求
res = self.request_jobs(req)
# 解析网页
items = self.hanlde_res(res) # 每解析一个页面就会得到这个页面提取的职位信息构造生成器
# 迭代items提取出其中的职位信息，并整合到jobItems中去
for item in items:
jobItems.append(item)
print(jobItems)
# 把jobItems写入json数据中
with open("zhilian.json",'w') as fp:
fp.write(json.dumps(jobItems))
# 在类的外部定义个main函数用于处理整个爬虫的业务逻辑
def main():
url = "https://sou.zhaopin.com/jobs/searchresult.ashx?"
#jl=%E6%B7%B1%E5%9C%B3&kw=python&p=1
jobs = input("岗位：")
area = input("地点：")
start = input("起始页：")
end = input("终止页：")
# 通过上面的输入，获取到了类的成员变量对应的具体值，接下来初始化爬虫类
zhi = ZhilianSpider(url=url,area=area,job=jobs,start=start,end=end)
# 让爬虫类调用自己的对外接口方法，处理其内部的业务逻辑
zhi.start_crawl()
if __name__ == "__main__":
main()
4、jsonpath(了解)
import json
import jsonpath
# 导入一个json文件
obj = json.load(open("./book.json",'r',encoding='utf-8'))
# print(obj)
# jsonpath的作用：用来解析json字符串，可以很快速从一个非常复杂的json字符串中筛选你想要的内容
# "$"表示根，"."代表当前的子节点，".."代表后代节点
ret = jsonpath.jsonpath(obj,"$.store.book[*].author")
ret = jsonpath.jsonpath(obj,"$..author")
ret = jsonpath.jsonpath(obj,"$..book[1:]")
print(ret)
5、chromedriver使用
# 从selenium中导入浏览器驱动
from selenium import webdriver
# 创建一个webdriver对象
driver = webdriver.Chrome(r"C:\Users\fanjianbo\Desktop\chromedriver\chromedriver.exe")
# 用driver来操作chrome浏览器
driver.get("http://www.baidu.com/")
# 点击设置按钮
driver.find_elements_by_link_text("设置")[0].click()
# 搜索老王
driver.find_element_by_id("kw").send_keys("老王")
网友评论