单行注释#
爬虫需要掌握的技术
1. python基础语法
2. HTML结构
3. 爬虫模块的使用
爬虫相关
安装requests
pip install requests
(手动安装File——Settings——Project Interpreter——+——install)
1.获取到网页的源代码 requests
代码示例
import requests
# 获取指定域名的源代码
response = requests.get('https://www.baidu.com')
# 响应状态码 200 ok 404 not found
print(response.status_code)
# 相应的编码方式
# 设置编码方式
response.encoding = 'utf-8'
print(response.status_code)
print(response.encoding)
# 获取 string类型的响应
html_data = response.text
print(html_data)
# 将 爬取的文件写成 本地 html
# 文件路径 读写模式 编码方式
with open('index.html','w',encoding='utf-8') as f:#爬网页源码
if response2.status_code == 200:
f.write(html_data)
图片的爬取
代码示例
import requests
# 图片地址
#F12——左上角选择元素——src以后的网址 =url
`
url = 'http://imgsrc.baidu.com/forum/pic/item/00eaa0ec08fa513d1a4e0fbe326d55fbb3fbd94b.jpg'
response2 = requests.get(url)
# 获取byte类型的响应
img_data = response2.content
# 文件路径 读写模式 编程方式
with open('tupian.png','wb') as f: #爬网页图片
if response2.status_code == 200:
f.write(img_data)
2.然后提取我们要的信息 xpath
使用xpath语法提取本地html文件的内容
代码示例
# 安装lxml库
# pip install lxml
from lxml import html
读取本地的html文件
with open('路径','模式','编码') as f:
f.write('写入的内容')
f.read() # 读取模式
with open('index2.html','r',enconding='utf-8')as f:
# f.write('写入的内容')
html_data = f.read() # 读取模式
print(html_data)
提取h1标题中的内容
selector = html.fromstring(html_data)
# 获取标签的内容需要在路径末尾增加/text()
# /代表根节点
h1 = selector.xpath('/html/boby/h1/text()')
print(h1)
语法形式
//标签1[@属性='属性值']/标签2[@属性='属性值']/.../text()
//从任意位置开始
获取a标签的内容
a = selector.xpath('//div[@id="container"]/a/text()')
print(a)
获取标签属性语法形式
//标签1[@属性='属性值']/标签2[@属性='属性值']/.../@属性名
link = selector.xpath('//div[@id="container"]/a/@href')
print(link)
网友评论